API Management(APIM)를 활용한 Azure OpenAI 로깅 구성 가이드

📋 1단계: Azure OpenAI 리소스 및 모델 배포 (10분)
   - OpenAI 서비스 생성
   - GPT 모델 배포 (예: gpt-4o-deployment)
 
📋 2단계: API Management 서비스 생성 (15분)
   - APIM 인스턴스 구성
   - Azure OpenAI API 템플릿으로 API 생성
 
📋 3단계: Managed Identity 권한 설정 확인 (5분)
   - 시스템 할당 관리 ID 확인
   - Azure OpenAI 리소스 IAM 역할 부여 확인
 
📋 4단계: LLM 로깅 활성화 (20분: Log Analytics 초기 테이블 생성 시간 필요)
   - 진단 설정으로 Log Analytics 연결
   - API별 LLM 로깅 활성화
 
📋 5단계: 연결 및 기능 테스트 (5분)
   - 테스트 기능으로 APIM ↔ OpenAI 연결 확인
   - Log Analytics에서 로그 생성 확인
 
📋 6단계: 외부 애플리케이션 테스트 (10분)
   - Python 클라이언트로 APIM 경유 호출
   - 토큰 사용량 및 로그 추적 분석
 
📋 7단계: 보안 정책 검증 (10분)
   - IP 제한 정책 구현 및 테스트
   - 차단 로그 분석 및 검증

1. Azure Portal에서 '리소스 만들기' 선택
2. 'Azure OpenAI' 검색 후 선택
3. 기본 설정:
   - 구독: 본인의 구독 선택
   - 리소스 그룹: 새로 만들거나 기존 선택
   - 지역: East US, West Europe 등 OpenAI 지원 지역
   - 이름: 고유한 리소스 이름 (예: myopenai-resource)
   - 가격 책정 계층: Standard (S0)
4. '검토 + 만들기' → '만들기'

1. 생성된 Azure OpenAI 리소스로 이동
2. 상단에 'Go to Azure AI Foundry portal' 클릭
3. 왼쪽 블레이드 메뉴에서 '배포' - ' + 모델 배포' 클릭
4. 모델 설정:
   - 모델: gpt-4o
   - 모델 버전: 최신 버전 (예: 2024-11-20)
   - 배포 이름: gpt-4o-deployment (기억하기 쉬운 이름)
   - 배포 유형: 표준
5. '만들기' 클릭

1. Azure Portal에서 '리소스 만들기' 선택
2. 'API Management' 검색 후 선택
3. 기본 설정:
   - 구독: 본인의 구독 선택
   - 리소스 그룹: 새로 만들거나 기존 선택
   - 지역: Korea Central
   - 조직 이름: 회사명 입력
   - 관리자 이메일: 본인 이메일
   - 가격 책정 계층: Developer (개발/테스트용)
4. '검토 + 만들기' → '만들기'

⏱️ 배포 시간: 약 30분 소요

1. API Management 인스턴스 → 'APIs' 메뉴 선택
2. '+ Add API' 클릭
3. **'Azure OpenAI'** 템플릿 선택 (Microsoft에서 제공하는 공식 템플릿)

1. Azure OpenAI 리소스 → 'Access control (IAM)' 메뉴
2. 'Role assignments' 탭 확인
3. API Management의 Managed Identity가 다음 역할을 가지고 있는지 확인:
   - **Cognitive Services OpenAI User** 

1. API Management 인스턴스 → '모니터링' → '진단 설정'
2. '+ 진단 설정 추가' 클릭
3. 설정 구성:
   - 진단 설정 이름: openai-logging
   - 로그 섹션에서 다음 선택:
     ☑️ Logs related to ApiManagement Gateway
     ☑️ Logs related to Websocket Connections  
     ☑️ **Logs related to generative AI gateway** (가장 중요!)
   - 대상 세부 정보:
     ☑️ Log Analytics 작업 영역에 보내기
     - 구독: 본인 구독
     - Log Analytics workspace: 새로 만들기 또는 기존 선택
     - Destination table: **리소스별** 선택
4. 'Save' 클릭

1. API Management → 'APIs' → 생성한 'Azure OpenAI Service' 선택
2. 'Settings' 탭 클릭
3. 'Diagnostics Logs' - 'Azure Monitor' 섹션에서:
   - Override global: ✅ 체크
   - Log LLM Message: ✅ 체크 (중요!)
4. 'Save' 클릭
 
⚠️ 주의사항:
진단 설정 직후에는 'Override global' 활성화 옵션이 보이지 않을 수 있습니다.
이 경우 약 10~15분 정도 기다린 후 페이지를 새로고침하여 다시 확인하세요.

1. API Management → 'APIs' → 위에서 생성한 'Azure OpenAI Service' 선택
2. 'Test' 탭 클릭
3. 'Creates a completion for the chat message' 선택
4. 필수 파라미터 입력:
   - deployment-id: 배포한 모델명 (예: gpt-4o-deployment)
   - api-version: 2025-01-01-preview
5. Request body 예제:
   {
     "messages": [
       {"role": "user", "content": "안녕하세요, 테스트입니다."}
     ],
     "max_tokens": 100
   }
6. 'Send' 클릭

ApiManagementGatewayLlmLog
| where TimeGenerated >= ago(1d)
| where coalesce(SequenceNumber, 0) == 0
| where tolong(TotalTokens) > 0
| summarize
  TotalRequests   = count(),
  PromptTokensSum = sum(tolong(PromptTokens)),
  CompletionTokensSum = sum(tolong(CompletionTokens)),
  TotalTokensSum  = sum(tolong(TotalTokens)),
  AvgTokensPerReq = avg(tolong(TotalTokens))

import requests
import json
import os

def call_azure_openai_via_apim():
  """
  API Management를 통해 Azure OpenAI를 호출하는 함수
  """
  
  # APIM 및 Azure OpenAI 설정
  apim_url = "https://your-apim-instance.azure-api.net/openai"  # APIM Gateway URL 경로
  deployment_name = "gpt-4o-deployment"                         # 실제 배포 모델명
  api_version = "2025-01-01-preview"                            # LLM 로깅 지원 버전
  subscription_key = "your-apim-subscription-key"               # APIM 구독 키
  
  # 완전한 API 엔드포인트 URL 구성
  url = f"{apim_url}/deployments/{deployment_name}/chat/completions?api-version={api_version}"
  
  # 요청 헤더 설정
  headers = {
      "Content-Type": "application/json",
      "api-key": subscription_key  # APIM에서 구성한 인증 헤더
  }
  
  # 요청 본문 데이터
  payload = {
      "messages": [
          {
              "role": "system",
              "content": "You are an AI assistant that helps people find information."
          },
          {
              "role": "user", 
              "content": "APIM을 거쳐 Azure OpenAI를 호출하는 구조를 간결하게 설명해 주세요."
          }
      ],
      "temperature": 0.7,      # 응답의 창의성 수준 (0.0-2.0)
      "top_p": 0.95,          # 어휘 다양성 제어 (0.0-1.0)
      "max_tokens": 800       # 응답 최대 길이 제한
  }
  
  try:
      # Azure OpenAI API 호출
      response = requests.post(url, headers=headers, json=payload, timeout=30)
      
      if response.status_code == 200:
          result = response.json()
          print("성공적으로 응답을 받았습니다.")
          print("응답 내용:")
          print(result['choices'][0]['message']['content'])
          
          # 토큰 사용량 정보 출력
          print("\n토큰 사용량:")
          usage = result.get('usage', {})
          print(f"  프롬프트 토큰: {usage.get('prompt_tokens', 'N/A')}")
          print(f"  완성 토큰: {usage.get('completion_tokens', 'N/A')}")
          print(f"  총 토큰: {usage.get('total_tokens', 'N/A')}")
          
          return result
          
      else:
          # HTTP 오류 상태 코드 처리
          print(f"HTTP 오류: {response.status_code}")
          print(f"오류 응답: {response.text}")
          return None
          
  except requests.exceptions.Timeout:
      print("요청 시간 초과 오류가 발생했습니다.")
      return None
  except requests.exceptions.RequestException as e:
      print(f"요청 중 오류가 발생했습니다: {e}")
      return None
  except json.JSONDecodeError:
      print("응답을 JSON으로 파싱하는 중 오류가 발생했습니다.")
      return None

# 메인 실행 부분
if __name__ == "__main__":
  print("APIM을 통한 Azure OpenAI 연결 테스트")
  print("=" * 60)
  
  # 기본 테스트
  print("\n기본 테스트:")
  result = call_azure_openai_via_apim()
  
  if result:
      print("\n테스트 완료! Log Analytics에서 로그를 확인하세요.")
  
  print("=" * 60)

1. API Management → 'APIs' → 'Azure OpenAI Service' 선택
2. 'Design' 탭 → 'Inbound processing' → '</> Code view' 클릭  
3. 정책 편집기에서 IP 필터 추가

<policies>
  <inbound>
      <base />
      <!-- 허용 IP만 통과 -->
      <!-- 허용할 IP 대역 설정 -->
      <ip-filter action="allow">
          <address-range from="YOUR_OFFICE_IP_START" to="YOUR_OFFICE_IP_END" />
          <address-range from="YOUR_INTERNAL_NETWORK_START" to="YOUR_INTERNAL_NETWORK_END" />
          <!-- 예시: <address-range from="192.168.1.1" to="192.168.1.254" /> -->
          <!-- 예시: <address-range from="10.0.0.1" to="10.255.255.254" /> -->
      </ip-filter>
      <set-backend-service backend-id="YOUR_OPENAI_BACKEND_ID" />
  </inbound>

  <backend>
      <base />
  </backend>

  <outbound>
      <base />
  </outbound>

  <on-error>
      <base />
      <choose>
          <when condition="@(context.Response.StatusCode == 403)">
              <return-response>
                  <set-status code="403" reason="Forbidden" />
                  <set-header name="Content-Type" exists-action="override">
                      <value>application/json</value>
                  </set-header>
                  <set-body>@{
                      return Newtonsoft.Json.JsonConvert.SerializeObject(new {
                          error = new {
                              code = "IP_BLOCKED",
                              message = "Access denied: Your IP address is not allowed"
                          }
                      });
                  }</set-body>
              </return-response>
          </when>
          <when condition="@(context.LastError != null && context.LastError.Source.Equals("ip-filter"))">
              <return-response>
                  <set-status code="403" reason="Forbidden" />
                  <set-header name="Content-Type" exists-action="override">
                      <value>application/json</value>
                  </set-header>
                  <set-body>@{
                      return Newtonsoft.Json.JsonConvert.SerializeObject(new {
                          error = new {
                              code = "IP_BLOCKED",
                              message = "Access denied: Your IP address is not allowed",
                              source = context.LastError.Source,
                              reason = context.LastError.Reason
                          }
                      });
                  }</set-body>
              </return-response>
          </when>
      </choose>
  </on-error>
</policies>

ApiManagementGatewayLogs
| where TimeGenerated > ago(1h)
| where ResponseCode == 403
| project 
  TimeGenerated,
  CallerIpAddress,
  RequestUrl = Url,
  ResponseCode,
  ResponseSize,
  RequestHeaders,
  OperationName