Azure Storage 계정을 사용하여 Apache Spark 애플리케이션 로그 및 메트릭 수집(프리뷰)

Fabric Apache Spark 진단 내보내기 확장은 Apache Spark 애플리케이션에서 로그, 이벤트 로그 및 메트릭을 Azure Log Analytics, Azure Storage 및 Azure Event Hubs를 포함한 여러 대상으로 내보낼 수 있도록 하는 라이브러리입니다.

이 자습서에서는 Fabric Apache Spark 진단 내보내기 확장을 사용하여 Apache Spark 애플리케이션의 로그, 이벤트 로그 및 메트릭을 Azure 스토리지 계정으로 보내는 방법에 대해 알아봅니다.

스토리지 계정에 로그 및 메트릭 수집

1 단계: 스토리지 계정 만들기

진단 로그 및 메트릭을 수집하려면 기존 Azure Storage 계정을 사용할 수 있습니다. 계정이 없는 경우 Azure Blob Storage 계정을 만들거나 Azure Data Lake Storage Gen2에서 사용할 스토리지 계정을 만들 수 있습니다.

2단계: Apache Spark 구성을 사용하여 Fabric 환경 아티팩트 만들기

옵션 1: Azure Storage URI 및 액세스 키를 사용하여 구성

1. Fabric에서 Fabric 환경 아티팩트 만들기

2. 환경 아티팩트에 적절한 값을 가진 다음 Spark 속성을 추가하거나 리본 메뉴의 .yml 추가를 선택하여 다음 속성이 이미 포함된 샘플 yaml 파일을 다운로드합니다.

   spark.synapse.diagnostic.emitters: MyStorageBlob
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyDestination1.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyDestination1.secret: <storage-access-key>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   구성 파일에서 <my-blob-storage>, <container-name>, <folder-name>, <storage-access-key>의 매개 변수를 입력합니다. 이러한 매개 변수에 대한 자세한 내용은 Azure Storage 구성을 참조하세요.

옵션 2: Azure Key Vault로 구성

작업 영역 키를 저장하도록 Azure Key Vault를 구성하려면 다음 단계를 수행합니다.

1. Azure Portal에서 키 자격 증명 모음을 만들고 해당 키 자격 증명 모음으로 이동합니다.

2. 키 자격 증명 모음의 설정 페이지에서 비밀을 선택한 다음 생성/가져오기를 선택합니다.

3. 비밀 만들기 화면에서 다음 값을 선택합니다.

   • 이름: 비밀의 이름을 입력합니다.
   • 값: 비밀의 <storage-access-key>를 입력합니다.
   • 다른 값은 기본값으로 그대로 둡니다. 그런 다음 만들기를 선택합니다.

4. Fabric에서 Fabric 환경 아티팩트를 만듭니다.

5. 다음 Spark 속성을 추가합니다. 또는 리본 메뉴의 .yml에서 추가를 선택하여 다음 Spark 속성을 포함하는 샘플 yaml 파일을 업로드합니다.

   spark.synapse.diagnostic.emitters: <MyStorageBlob>
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyStorageBlob.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault: <AZURE_KEY_VAULT_NAME>
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   구성 파일에서 <my-blob-storage>, <container-name>, <folder-name>, <AZURE_KEY_VAULT_NAME>, <AZURE_KEY_VAULT_SECRET_KEY_NAME> 매개 변수를 입력합니다. 이러한 매개 변수에 대한 자세한 내용은 Azure Storage 구성을 참조하세요.

6. 변경 사항을 저장하고 게시합니다.

3단계: 환경 아티팩트를 Notebook 또는 Spark 작업 정의에 연결하거나 작업 영역 기본값으로 설정

환경을 Notebook 또는 Spark 작업 정의에 연결하려면 다음을 수행합니다.

1. Fabric에서 특정 Notebook 또는 Spark 작업 정의로 이동합니다.
2. 홈 탭에서 환경 메뉴를 선택하고 진단 Spark 속성이 구성된 환경을 선택합니다.
3. 구성은 Spark 세션을 시작할 때 적용됩니다.

이 환경을 작업 영역 기본값으로 설정하려면 다음 작업을 수행합니다.

1. Fabric에서 작업 영역 설정으로 이동합니다.
2. 작업 영역 설정에서 Spark 설정을 찾습니다(작업 영역 설정 -> 데이터 엔지니어링/데이터 과학 -> Spark 설정).
3. 환경 탭을 선택하고 진단 Spark 속성이 구성된 환경을 선택하고 저장을 클릭합니다.

4단계: Azure 스토리지 계정에서 로그 파일 보기

작업을 구성된 Spark 세션에 제출하면 대상 스토리지 계정의 로그 및 메트릭 파일을 볼 수 있습니다. 로그는 서로 다른 애플리케이션에 따라 해당 경로에 저장되며 <workspaceId>.<fabricLivyId>로 식별됩니다. 모든 로그 파일은 JSON 줄 형식(줄 바꿈으로 구분된 JSON, 즉 ndjson이라고도 함)으로 되어 있어 데이터 처리가 편리합니다.

사용 가능한 구성

로그 데이터 샘플

JSON 형식의 샘플 로그 레코드는 다음과 같습니다.

{
  "timestamp": "2024-09-06T03:09:37.235Z",
  "category": "Log|EventLog|Metrics",
  "fabricLivyId": "<fabric-livy-id>",
  "applicationId": "<application-id>",
  "applicationName": "<application-name>",
  "executorId": "<driver-or-executor-id>",
  "fabricTenantId": "<my-fabric-tenant-id>",
  "capacityId": "<my-fabric-capacity-id>",
  "artifactType": "SynapseNotebook|SparkJobDefinition",
  "artifactId": "<my-fabric-artifact-id>",
  "fabricWorkspaceId": "<my-fabric-workspace-id>",
  "fabricEnvId": "<my-fabric-environment-id>",
  "executorMin": "<executor-min>",
  "executorMax": "<executor-max>",
  "isHighConcurrencyEnabled": "true|false",
  "properties": {
    // The message properties of logs, events and metrics.
    "timestamp": "2024-09-06T03:09:37.235Z",
    "message": "Initialized BlockManager: BlockManagerId(1, vm-04b22223, 34319, None)",
    "logger_name": "org.apache.spark.storage.BlockManager",
    "level": "INFO",
    "thread_name": "dispatcher-Executor"
    //...
  }
}

관리형 가상 네트워크를 사용한 Fabric 작업 영역

대상 Azure Blob Storage에 대한 관리형 프라이빗 엔드포인트 만들기 자세한 지침은 Microsoft Fabric - Microsoft Fabric에서 관리형 프라이빗 엔드포인트 만들기 및 사용을 참조 하세요.

관리형 프라이빗 엔드포인트가 승인되면 사용자는 대상 Azure Blob Storage에 로그 및 메트릭을 내보낼 수 있습니다.

다음 단계

• Apache Spark 작업 정의 만들기
• Microsoft Fabric에서 환경 만들기, 구성, 사용
• Microsoft Fabric에서 관리형 프라이빗 엔드포인트를 만들고 사용하기
• Microsoft Fabric Notebook 개발, 실행 및 관리
• Spark 애플리케이션 모니터링