Azure Data Explorer에 대한 Event Grid 데이터 연결 만들기

1. 앞에서 만든 클러스터 아래에서 데이터베이스>TestDatabase를 차례로 선택합니다.

   

2. 데이터 수집>데이터 연결 추가를 선택합니다.

   

3. 기본에서 연결 형식(Blob Storage)을 선택한 후 다음 정보로 양식을 작성합니다.

   

   설정	제안 값	필드 설명
   데이터 연결 이름	test-grid-connection	Azure Data Explorer에서 만들 연결의 이름입니다.
   스토리지 계정 구독	구독 ID	스토리지 계정이 있는 구독 ID입니다.
   스토리지 계정	gridteststorage1	이전에 만든 스토리지 계정의 이름입니다.
   이벤트 유형	Blob이 만들어짐 또는 Blob 이름이 바뀜	수집을 트리거하는 이벤트 유형입니다. Blob 이름이 바뀜은 ADLSv2 스토리지에만 지원됩니다. Blob의 이름을 바꾸려면 Azure Portal에서 Blob으로 이동하고 Blob을 마우스 오른쪽 단추로 클릭하고 이름 바꾸기를 선택합니다. 지원되는 유형은 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다.
   리소스 만들기	자동	Azure Data Explorer에서 Event Grid 구독, Event Hubs 네임스페이스 및 Event Hubs를 자동으로 만들도록 할지 여부를 정의합니다. 리소스를 수동으로 만들려면 Event Grid 수집을 위한 리소스 수동 만들기를 참조하세요.

4. 특정 주제를 추적하려면 필터 설정을 선택합니다. 알림에 대한 필터를 다음과 같이 설정합니다.

   • 접두사 필드는 제목의 리터럴 접두사입니다. 적용된 패턴이 startswith이므로 여러 컨테이너, 폴더 또는 blob을 포함할 수 있습니다. 와일드카드는 허용되지 않습니다.
     • Blob 컨테이너에서 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container prefix].
     • Blob 접두사(또는 Azure Data Lake Gen2의 폴더)에 대한 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   • 접미사 필드는 Blob의 리터럴 접미사입니다. 와일드카드는 허용되지 않습니다.
   • 대/소문자 구분 필드는 접두사 및 접미사 필터가 대/소문자를 구분하는지 여부를 나타냅니다.
   • 이벤트 필터링에 대한 자세한 내용은 Blob Storage 이벤트를 참조하세요.

   

5. 다음: 수집 속성을 선택합니다.

6. 다음 정보로 양식을 작성합니다. 테이블 및 매핑 이름의 대/소문자를 구분합니다.

   

   수집 속성:

   설정	제안 값	필드 설명
   다른 데이터베이스로 데이터 라우팅 허용(다중 데이터베이스 데이터 연결)	허용 안 함	데이터 연결과 관련된 기본 대상 데이터베이스를 재정의하려면 이 옵션을 켭니다. 데이터베이스 라우팅에 대한 자세한 내용은 이벤트 라우팅을 참조하세요.
   테이블 이름	TestTable	TestDatabase에 만든 테이블입니다.
   데이터 형식	JSON	지원되는 형식은 Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW 및 W3CLOG입니다. 지원되는 압축 옵션은 Zip 및 Gzip입니다.
   매핑	TestMapping	들어오는 데이터를TestTable의 열 이름 및 데이터 형식에 매핑하는 TestDatabase에서 만든 매핑입니다. 지정하지 않으면 테이블의 스키마에서 파생된 ID 데이터 매핑이 사용됩니다.
   고급 설정	내 데이터에 머리글 표시	헤더를 무시합니다. *SV 형식 파일에 대해 지원됩니다.

   참고

   모든 기본 라우팅 설정을 지정할 필요는 없습니다. 부분 설정도 허용됩니다.

7. 다음: 검토 + 만들기를 선택합니다.

8. *검토 + 만들기에서.

9. 자동으로 만들어진 리소스를 검토하고 만들기를 선택합니다.

   

10. 배포가 완료될 때까지 기다립니다. 배포에 실패한 경우 실패한 단계 옆에 있는 작업 세부 정보를 선택하여 실패 이유에 대한 자세한 정보를 확인합니다. 리소스를 다시 배포하려면 다시 배포를 선택합니다. 배포하기 전에 매개 변수를 변경할 수 있습니다.

    

1. Azure Portal에서 스토리지 계정으로 이동합니다. 왼쪽 메뉴에서 이벤트를 선택합니다.

2. 주 창에서 Azure Data Explorer 탭을 선택합니다.

   

기본 탭이 선택된 상태로 데이터 연결 창이 열립니다.

1. 기본사항에서. 다음 정보로 양식을 작성합니다.

   

   설정	제안 값	필드 설명
   데이터 연결 이름	test-grid-connection	Azure Data Explorer에서 만들 연결의 이름입니다.
   스토리지 계정	gridteststorage1	이 마법사에 액세스한 스토리지 계정입니다. 자동으로 채워집니다.
   이벤트 유형	Blob이 만들어짐 또는 Blob 이름이 바뀜	수집을 트리거하는 이벤트 유형입니다. Blob 이름이 바뀜은 ADLSv2 스토리지에만 지원됩니다. Blob의 이름을 바꾸려면 Azure Portal에서 Blob으로 이동하고 Blob을 마우스 오른쪽 단추로 클릭하고 이름 바꾸기를 선택합니다. 지원되는 유형은 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다.
   리소스 만들기	자동	Azure Data Explorer에서 Event Grid 구독, Event Hubs 네임스페이스 및 Event Hubs를 자동으로 만들도록 할지 여부를 정의합니다. 리소스를 수동으로 만들려면 Event Grid 수집을 위한 리소스 수동 만들기를 참조하세요.

2. 다음> 수집 속성을 선택합니다.

3. 속성 수집에서.

4. 다음 정보로 양식을 작성합니다. 테이블 및 매핑 이름의 대/소문자를 구분합니다.

   

   설정	제안 값	필드 설명
   Subscription		Azure Data Explorer 구독입니다.
   클러스터 이름	TestCluster	데이터를 수집하려는 클러스터의 이름입니다.
   데이터베이스 이름	TestDatabase	TestCluster에서 만든 대상 데이터베이스입니다.
   다른 데이터베이스로 데이터 라우팅 허용(다중 데이터베이스 데이터 연결)	허용 안 함	데이터 연결과 관련된 기본 대상 데이터베이스를 재정의하려면 이 옵션을 켭니다. 데이터베이스 라우팅에 대한 자세한 내용은 이벤트 라우팅을 참조하세요.
   테이블 이름	TestTable	TestDatabase에서 만든 대상 테이블입니다.
   데이터 형식	JSON	지원되는 형식은 Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW 및 W3CLOG입니다. 지원되는 압축 옵션은 Zip 및 Gzip입니다.
   매핑	TestMapping	들어오는 데이터를TestTable의 열 이름 및 데이터 형식에 매핑하는 TestDatabase에서 만든 매핑입니다. 지정하지 않으면 테이블의 스키마에서 파생된 ID 데이터 매핑이 사용됩니다.
   고급 설정	내 데이터에 머리글 표시	헤더를 무시합니다. *SV 형식 파일에 대해 지원됩니다.

   참고

   모든 데이터 라우팅 설정을 지정할 필요는 없습니다. 부분 설정도 허용됩니다.

5. 다음: 검토 + 만들기를 선택합니다.

6. 검토 + 만들기에서.

7. 자동으로 만들어진 리소스를 검토하고 만들기를 선택합니다.

   

8. 배포가 완료될 때까지 기다립니다. 배포에 실패한 경우 실패한 단계 옆에 있는 작업 세부 정보를 선택하여 실패 이유에 대한 자세한 정보를 확인합니다. 리소스를 다시 배포하려면 다시 배포를 선택합니다. 배포하기 전에 매개 변수를 변경할 수 있습니다.

   

1. Microsoft.Azure.Management.Kusto NuGet 패키지를 설치합니다.

2. 인증에 사용할 Azure AD 애플리케이션 주체 를 만듭니다. 디렉터리(테넌트) ID, 애플리케이션 ID 및 클라이언트 암호가 필요합니다.

3. 다음 코드를 실행합니다.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var eventGridConnectionName = "myeventgridconnect";
   //The event hub and storage account that are created as part of the Prerequisites
   var eventHubResourceId = "/subscriptions/<storageAccountSubscriptionId>/resourceGroups/<storageAccountResourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>";
   var storageAccountResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var blobStorageEventType = "Microsoft.Storage.BlobCreated";
   var databaseRouting = "Multi";
   var eventGridConnectionData = new EventGridDataConnection(
       storageAccountResourceId, eventHubResourceId, consumerGroup,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, blobStorageEventType: blobStorageEventType, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(
       resourceGroupName, clusterName, databaseName, eventGridConnectionName, eventGridConnectionData
   );
   

   설정	제안 값	필드 설명
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	테넌트 ID 디렉터리 ID라고도 합니다.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	리소스를 만드는 데 사용하는 구독 ID입니다.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	테넌트의 리소스에 액세스할 수 있는 애플리케이션의 클라이언트 ID입니다.
   clientSecret	PlaceholderClientSecret	테넌트의 리소스에 액세스할 수 있는 애플리케이션의 클라이언트 암호입니다.
   resourceGroupName	testrg	클러스터가 포함된 리소스 그룹의 이름입니다.
   clusterName	mykustocluster	클러스터의 이름입니다.
   databaseName	mykustodatabase	클러스터에 있는 대상 데이터베이스의 이름입니다.
   eventGridConnectionName	myeventgridconnect	원하는 데이터 연결 이름입니다.
   tableName	StormEvents	대상 데이터베이스의 대상 테이블 이름입니다.
   mappingRuleName	StormEvents_CSV_Mapping	대상 테이블과 관련된 열 매핑의 이름입니다.
   dataFormat	csv	메시지의 데이터 형식입니다.
   eventHubResourceId	리소스 ID	Event Grid가 이벤트를 보내도록 구성된 이벤트 허브의 리소스 ID입니다.
   storageAccountResourceId	리소스 ID	수집할 데이터를 보유하는 스토리지 계정의 리소스 ID입니다.
   consumerGroup	$Default	이벤트 허브의 소비자 그룹입니다.
   위치	미국 중부	데이터 연결 리소스의 위치입니다.
   blobStorageEventType	Microsoft.Storage.BlobCreated	수집을 트리거하는 이벤트 유형입니다. 지원되는 이벤트는 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다. Blob 이름 바꾸기는 ADLSv2 스토리지에 대해서만 지원됩니다.
   databaseRouting	Multi 또는 Single	연결에 대한 데이터베이스 라우팅입니다. 값을 Single로 설정하면 databaseName 설정에 지정된 대로 데이터 연결이 클러스터의 단일 데이터베이스로 라우팅됩니다. 값을 Multi로 설정하면 데이터베이스 수집 속성을 사용하여 기본 대상 데이터베이스를 재정의할 수 있습니다. 자세한 내용은 이벤트 라우팅을 참조하세요.

1. 필요한 라이브러리를 설치합니다.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. 인증에 사용할 Azure AD 애플리케이션 주체 를 만듭니다. 디렉터리(테넌트) ID, 애플리케이션 ID 및 클라이언트 암호가 필요합니다.

3. 다음 코드를 실행합니다.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import EventGridDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The event hub and storage account that are created as part of the Prerequisites
   event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.EventHub/namespaces/xxxxxx/eventhubs/xxxxxx"
   storage_account_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Storage/storageAccounts/xxxxxx"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   blob_storage_event_type = "Microsoft.Storage.BlobCreated"
   
   #Returns an instance of LROPoller, check https://zcusa.951200.xyz/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.begin_create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=EventGridDataConnection(storage_account_resource_id=storage_account_resource_id, event_hub_resource_id=event_hub_resource_id, 
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing,
                                                                                   blob_storage_event_type=blob_storage_event_type))
   # The creation of the connection is async. Validation errors are only visible if you wait for the results.
   poller.wait()
   print(poller.result())
   

   설정	제안 값	필드 설명
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	테넌트 ID 디렉터리 ID라고도 합니다.
   subscription_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	리소스를 만드는 데 사용하는 구독 ID입니다.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	테넌트의 리소스에 액세스할 수 있는 애플리케이션의 클라이언트 ID입니다.
   client_secret	xxxxxxxxxxxxxx	테넌트의 리소스에 액세스할 수 있는 애플리케이션의 클라이언트 암호입니다.
   resource_group_name	testrg	클러스터가 포함된 리소스 그룹의 이름입니다.
   cluster_name	mykustocluster	클러스터의 이름입니다.
   database_name	mykustodatabase	클러스터에 있는 대상 데이터베이스의 이름입니다.
   data_connection_name	myeventhubconnect	원하는 데이터 연결 이름입니다.
   table_name	StormEvents	대상 데이터베이스의 대상 테이블 이름입니다.
   mapping_rule_name	StormEvents_CSV_Mapping	대상 테이블과 관련된 열 매핑의 이름입니다.
   database_routing	Multi 또는 Single	연결에 대한 데이터베이스 라우팅입니다. 값을 Single로 설정하면 databaseName 설정에 지정된 대로 데이터 연결이 클러스터의 단일 데이터베이스로 라우팅됩니다. 값을 Multi로 설정하면 데이터베이스 수집 속성을 사용하여 기본 대상 데이터베이스를 재정의할 수 있습니다. 자세한 내용은 이벤트 라우팅을 참조하세요.
   data_format	csv	메시지의 데이터 형식입니다.
   event_hub_resource_id	리소스 ID	Event Grid가 이벤트를 보내도록 구성된 이벤트 허브의 리소스 ID입니다.
   storage_account_resource_id	리소스 ID	수집할 데이터를 보유하는 스토리지 계정의 리소스 ID입니다.
   consumer_group	$Default	이벤트 허브의 소비자 그룹입니다.
   위치	미국 중부	데이터 연결 리소스의 위치입니다.
   blob_storage_event_type	Microsoft.Storage.BlobCreated	수집을 트리거하는 이벤트 유형입니다. 지원되는 이벤트는 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다. Blob 이름 바꾸기는 ADLSv2 스토리지에 대해서만 지원됩니다.

다음 예에서는 Event Grid 데이터 연결을 추가하기 위한 Azure Resource Manager 템플릿을 보여 줍니다. 양식을 사용하여 Azure Portal에서 템플릿을 편집 및 배포할 수 있습니다.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Azure Portal에서 Event Grid 연결을 제거하려면 다음을 수행합니다.

1. 클러스터로 이동합니다. 왼쪽 메뉴에서 데이터베이스를 선택합니다. 그런 다음 대상 테이블이 포함된 데이터베이스를 선택합니다.
2. 왼쪽 메뉴에서 데이터 연결을 선택합니다. 그런 다음 관련 Event Grid 데이터 연결 옆에 있는 확인란을 선택합니다.
3. 위쪽 메뉴 모음에서 삭제를 선택합니다.

Event Grid 연결을 제거하려면 다음 명령을 실행합니다.

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Event Grid 연결을 제거하려면 다음 명령을 실행합니다.

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)