來自 Azure 串流分析的 Kafka 輸出

串流分析可讓您以產生者身分直接連線至 Kafka 叢集，以輸出資料。 解決方案是低程式碼，完全由 Microsoft 的串流分析小組管理，使其符合商務合規性標準。 Kafka 輸出回溯相容，並支援從 0.10 版開始的最新用戶端版本的所有版本。 使用者可以根據設定，連線至虛擬網路內的 Kafka 叢集以及具有公用端點的 Kafka 叢集。 設定依賴於現有的 Kafka 設定慣例。 支援的壓縮類型為 無、Gzip、Snappy、LZ4 和 Zstd。

步驟

本文說明如何將 Kafka 設定為串流分析的輸出。 有六個步驟：

1. 建立串流分析作業。
2. 如果您使用 mTLS 或SASL_SSl安全性通訊協定，請將 Azure 串流分析作業設定為使用受控識別。
3. 如果您使用 mTLS 或SASL_SSl安全性通訊協定，請設定 Azure Key Vault。
4. 將憑證作為祕密上傳至 Azure Key Vault。
5. 授與串流分析權限，以存取上傳的憑證。
6. 在串流分析作業中設定 Kafka 輸出。

組態

下表列出屬性名稱及其描述以建立 Kafka 輸出：

驗證和加密

您可以使用四種類型的安全性通訊協定來連線至 Kafka 叢集：

如需連線到 Confluent cloud Kafka 的逐步教學課程，請瀏覽檔：

• Confluent Cloud Kafka 輸入：使用串流分析從 Confluent Cloud Kafka 串流資料
• Confluent Cloud Kafka 輸出：將資料從串流分析串流至 Confluent Cloud

金鑰保存庫整合

串流分析會與 Azure 金鑰保存庫緊密整合，以在使用 mTLS 或 SASL_SSL 安全性通訊協定時存取驗證和加密所需的預存祕密。 您的串流分析作業會使用受控識別連線至您的 Azure 金鑰保存庫，以確保安全連線，並避免祕密外流。 憑證會儲存為金鑰保存庫中的祕密，且必須是 PEM 格式。

使用權限設定金鑰保存庫

您可以遵循文件快速入門：使用 Azure 入口網站建立金鑰保存庫來建立金鑰保存庫資源 若要上傳憑證，您必須具有鑰保存庫的「金鑰保存庫管理員」存取權。 請遵循下列命令來授與管理員存取權。

1. 選取 [存取控制 (IAM)]。

2. 選取 [新增] > [新增角色指派]，開啟 [新增角色指派] 頁面。

3. 使用下列設定指派角色：

透過 Azure CLI 將憑證上傳至金鑰保存庫

請確定您已使用 PowerShell 在本機設定 Azure CLI。 您可以瀏覽此頁面以取得設定 Azure CLI 的指導：開始使用 Azure CLI

登入 Azure CLI：

az login

連線至包含金鑰保存庫的訂用帳戶：

az account set --subscription <subscription name>

下列命令可以將憑證作為祕密上傳至金鑰保存庫：

<your key vault> 是您要將憑證上傳的目的地金鑰保存庫的名稱。 <name of the secret> 是您想要給予祕密的任何名稱，以及其顯示在金鑰保存庫中的方式。 <file path to certificate> 是您的憑證所在位置的路徑。 您可以按一下滑鼠右鍵，並將路徑複製到憑證。

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

例如：

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

設定受控識別

串流分析會要求您設定受控識別來存取金鑰保存庫。 您可以瀏覽至左側 [設定] 下方的 [受控識別] 索引標籤，將 ASA 作業設定為使用受控識別。

1. 在左側功能表上，選取 [設定] 底下的 [受控識別] 索引標籤。
2. 選取 [切換身分識別]，然後選取要與作業搭配使用的身分識別：系統指派的身分識別或使用者指派的身分識別。
3. 針對使用者指派的身分識別，請選取使用者指派的身分識別所在的訂用帳戶，再選取您的身分識別名稱。
4. 檢閱並 [儲存]。

授與串流分析作業權限，以存取金鑰保存庫中的憑證

若要讓串流分析作業讀取您金鑰保存庫中的祕密，此作業必須具有存取金鑰保存庫的權限。 使用下列步驟，將特殊權限授與串流分析作業：

1. 選取 [存取控制 (IAM)]。

2. 選取 [新增] > [新增角色指派]，開啟 [新增角色指派] 頁面。

3. 使用下列設定指派角色：

虛擬網路整合

如果您的 Kafka 位於虛擬網路內或防火牆後方，您必須設定 Azure 串流分析作業來存取 Kafka 主題。 如需詳細資訊，請瀏覽在 Azure 虛擬網路文件中執行您的串流分析作業。

限制

• 將 Azure 串流分析作業設定為使用虛擬網路/SWIFT 時，您的作業必須至少設定六個 （6） 個串流單元或一個 （1） V2 串流單元。
• 搭配 Azure 金鑰保存庫使用 mTLS 或 SASL_SSL 時，您必須將 JAVA 金鑰存放區轉換成 PEM 格式。
• 您可以將 Azure 串流分析設定為 0.10 版的 Kafka 最低版本。
• 串流分析不支援使用 OAuth 或 SAML 單一登入 (SSO) 對 Confluent Cloud 進行驗證。 您必須透過 SASL_SSL 通訊協定使用 API 金鑰

下一步

• 快速入門：使用 Azure 入口網站建立串流分析作業
• 使用串流分析從 Confluent Cloud Kafka 串流資料
• 將資料從串流分析串流至 Confluent Cloud