整合概觀

下表摘要說明可用連接器及其功能：

下表摘要說明可用的工具和整合及其功能：

Apache Kafka

Apache Kafka 是分散式串流平台，可用來建立即時串流資料管線，以在系統或應用程式之間可靠移動資料。 Kafka Connect 是一種用於在 Apache Kafka 和其他資料系統之間進行可調整且可靠的串流工具。 Kafka 接收器可作為 Kafka 的連接器，不需要使用程式碼。 這已獲得 Confluent 金牌認證 - 經過品質、功能完整性、標準合規性與效能的全面審查及測試。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：記錄、遙測、時間序列
• 基礎 SDK：Java
• 存放庫： Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
• 檔：從 Apache Kafka 內嵌數據
• 社群部落格：Kafka 擷取至 Azure 數據總管

Apache Flink

Apache Flink 是一種架構和分散式處理引擎，可用於透過未繫結和已繫結資料流進行具狀態計算。 連接器實作資料接收器，可用於在 Azure 資料總管與 Flink 叢集之間移動資料。 您可使用 Azure 資料總管與 Apache Flink，針對資料驅動案例建置快速且可擴展的應用程式。 例如，機器學習 (ML)、擷取-變形-載入 (ETL) 與記錄分析。

• 功能：擷取
• 支援擷取類型：串流
• 使用案例：遙測
• 基礎 SDK：Java
• 存放庫： Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
• 檔：從 Apache Flink 內嵌數據

Apache Log4J 2

Log4J 是 Java 應用程式的熱門記錄框架，由 Apache Foundation 維護。 Log4j 可讓開發人員控制要輸出哪些記錄陳述式，而且可依記錄器名稱、記錄器層級與訊息模式等任意細微性進行輸出。 Apache Log4J 2 接收器可讓您將記錄資料串流至資料庫，您可在其中實時分析及視覺化記錄。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：記錄
• 基礎 SDK：Java
• 存放庫： Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
• 檔：使用 Apache Log4J 2 連接器內嵌數據
• 社群部落格：開始使用Apache Log4J和 Azure 資料總管

Apache Spark

Apache Spark 是用於進行大規模資料處理的整合分析引擎。 Spark 連接器是開放原始碼專案，可在任何 Spark 叢集執行。 其可實作資料來源與資料接收器，用於將資料移入或移出 Spark 叢集。 您可使用 Apache Spark 連接器，針對資料驅動案例建置快速且可擴展的應用程式。 例如，機器學習 (ML)、擷取-變形-載入 (ETL) 與記錄分析。 使用連接器，您的資料庫會成為有效資料儲存體，可用於標準 Spark 來源與接收器操作，例如讀取、寫入及 writeStream。

• 功能：擷取、匯出
• 支援擷取類型：批次處理、串流
• 使用案例：遙測
• 基礎 SDK：Java
• 存放庫： Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
• 檔：Apache Spark 連接器
• 社群部落格：使用 Apache Spark 進行 Azure 數據總管的 Azure 數據總管數據前置處理

適用於 Azure Synapse Analytics 的 Apache Spark

Apache Spark 是一個平行處理架構，可支援記憶體內部處理，以大幅提升巨量資料分析應用程式的效能。 Azure Synapse Analytics 中的 Apache Spark 是 Microsoft 在雲端中的其中一種 Apache Spark 實作。 您可使用適用於 Azure Synapse Analytics 的 Apache Spark，從 Synapse Studio 存取資料庫。

• 功能：擷取、匯出
• 支援擷取類型：批次處理
• 使用案例：遙測
• 基礎 SDK：Java
• 文件：連線到 Azure Synapse 工作區

Azure Cosmos DB

Azure Cosmos DB 變更摘要數據連線是擷取管線，可接聽 Cosmos DB 變更摘要，並將數據內嵌至您的資料庫。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例： 變更摘要
• 檔：從 Azure Cosmos DB 擷取資料 （預覽）

Azure Data Factory

Azure Data Factory (ADF) 是雲端資料整合服務，可讓您整合不同資料儲存體並對資料執行活動。

• 功能：擷取、匯出
• 支援擷取類型：批次處理
• 使用案例：資料協調流程
• 檔：使用 Azure Data Factory 將數據複製到資料庫

事件格線

事件方格擷取是接聽 Azure 記憶體的管線，並在訂閱事件發生時更新您的資料庫以提取資訊。 您可以從 Azure 儲存體 （Blob 記憶體和 ADLSv2） 設定連續擷取，並針對建立的 Blob 或 Blob 重新命名的通知設定 Azure 事件方格 訂用帳戶，並透過 Azure 事件中樞 串流通知。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：事件處理
• 檔：事件方格數據連線

Azure 事件中樞

Azure 事件中樞是一個巨量資料流平台與事件擷取服務。 您可從客戶管理的事件中樞設定持續擷取。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 檔：Azure 事件中樞 數據連線

Azure Functions

Azure Functions 可讓您根據排程或在回應事件時，在雲端執行無伺服器程式碼。 透過 Azure Functions 的輸入與輸出繫結，您可整合資料庫至工作流程，以擷取資料並針對資料庫執行查詢。

• 功能：擷取、匯出
• 支援擷取類型：批次處理
• 使用案例：工作流程整合
• 檔案：使用輸入和輸出系結整合 Azure Functions （預覽）
• 社群部落格：適用於 Azure Functions 的 Azure 數據總管 （Kusto） 系結

Azure IoT 中樞

Azure IoT 中樞 是裝載於雲端的受控服務，可作為IoT應用程式和所管理裝置之間雙向通訊的中央訊息中樞。 您可以使用與裝置到雲端訊息內建端點相容的事件中樞，從客戶管理的 IoT 中樞 設定連續擷取。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例： IoT 數據
• 檔：IoT 中樞 數據連線

Azure 串流分析

Azure 串流分析是即時分析與處理複雜事件的引擎，用來同時處理多個來源的大量快速串流資料。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：事件處理
• 檔：從 Azure 串流分析擷取數據

克里克爾串流

Blobl 數據流 是一種處理引擎，可安全地從任何來源收集、處理和串流計算機事件數據。 它可讓您剖析及處理任何目的地的數據以供分析。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例： 計算機數據處理，包括記錄、計量、檢測數據
• 檔：將數據從克里維爾串流內嵌至 Azure 數據總管

Fluent Bit

Fluent Bit 是開放原始碼代理程式，可收集來自各種來源的記錄、計量和追蹤。 它可讓您先篩選、修改和匯總事件數據，再將其傳送至記憶體。

• 功能：擷取
• 支援擷取類型：批次處理
• 使用案例： 記錄、計量、追蹤
• 存放庫：fluent-bit Kusto 輸出外掛程式
• 檔：使用 Fluent Bit 將數據內嵌至 Azure 數據總管
• 社群部落格：開始使用 Fluent bit 和 Azure 數據總管

JDBC

JAVA Database Connectivity (JDBC) 是用來連線到資料庫和執行查詢的 JAVA API。 您可以使用 JDBC 連線到 Azure Data Explorer。

• 功能： 查詢、視覺效果
• 基礎 SDK：Java
• 檔：使用 JDBC 連線到 Azure 數據總管

Logic Apps

Microsoft Logic Apps 連接器可讓您在排程或觸發的工作中自動執行查詢和命令。

• 功能：擷取、匯出
• 支援擷取類型：批次處理
• 使用案例：資料協調流程
• 檔：Microsoft Logic Apps 和 Azure 數據總管

Logstash

Logstash 外掛程式可讓您將事件從 Logstash 處理至 Azure 資料總管資料庫，以便日後進行分析。

• 功能：擷取
• 支援擷取類型：批次處理
• 使用案例：記錄
• 基礎 SDK：Java
• 存放庫： Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
• 檔：從 Logstash 擷取數據
• 社群部落格：如何從 Elasticsearch 遷移至 Azure 數據總管

Matlab

MATLAB 是一種程式設計與數值運算平臺，可用來分析數據、開發演算法，以及建立模型。 您可以在 MATLAB 中取得授權令牌，以在 Azure 數據總管中查詢您的數據。

• 功能： 查詢
• 檔：使用 MATLAB 查詢數據

NLog

NLog 是彈性且免費的記錄平台，適用於各種 .NET 平台，包括 .NET 標準。 NLog 可讓您寫入數個目標，例如資料庫、檔案或主控台。 您可使用 NLog 立即變更記錄設定。 NLog 接收器是 NLog 的目標，可讓您傳送記錄訊息至資料庫。 此外掛程式提供有效方法接收記錄至叢集。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：遙測、記錄、計量
• 基礎 SDK：.NET
• 存放庫： Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
• 檔：使用 NLog 接收擷取數據
• 社群部落格：開始使用 NLog 接收和 Azure 數據總管

ODBC

Open Database Connectivity （ODBC） 是廣泛接受的應用程式開發介面（API），可供數據庫存取。 Azure 數據總管與 SQL Server 通訊協定子集 （MS-TDS） 相容。 此相容性可讓您搭配 Azure 資料總管使用適用於 SQL Server 的 ODBC 驅動程式。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：遙測、記錄、計量
• 檔：使用 ODBC 連線到 Azure 數據總管

開啟遙測

OpenTelemetry 連接器支援將資料從許多接收器擷取至資料庫。 其為一座橋樑，可根據您的需求自訂匯出資料的格式，將 OpenTelemetry 所產生的資料匯入您的資料庫。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：追蹤、計量、記錄
• 基礎 SDK：Go
• 存放庫：開啟遙測 - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
• 檔：從 OpenTelemetry 擷取數據
• 社群部落格：開始使用開啟遙測和 Azure 數據總管

Power Apps

Power Apps 是一套應用程式、服務、連接器和數據平臺，可提供快速的應用程式開發環境，以建置連線到您商務數據的自定義應用程式。 如果您在 Azure 數據總管中擁有大量且日益成長的串流數據集合，且想要建置低程式代碼、功能高的應用程式來使用此數據，Power Apps 連接器會很有用。

• 功能： 查詢、擷取、導出
• 支援擷取類型：批次處理
• 檔：使用 Power Apps 在 Azure 數據總管中查詢數據

Power Automate

Power Automate 是一種用於自動化商務程序的協調流程服務。 Power Automate（以前為 Microsoft Flow）連接器可讓您在排程或觸發任務時協調及排程流程、傳送通知與警示。

• 功能：擷取、匯出
• 支援擷取類型：批次處理
• 使用案例：資料協調流程
• 檔：Microsoft Power Automate 連接器

Serilog

Serilog 是適用於 .NET 應用程式的熱門紀錄架構， 可讓開發人員控制要輸出哪些記錄陳述式，而且可依記錄器名稱、記錄器層級與訊息模式等任意細微性進行輸出。 Serilog 接收器（也稱為附加程式）可將記錄資料串流至資料庫，您可在其中即時分析及視覺化記錄。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：記錄
• 基礎 SDK：.NET
• 存放庫： Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
• 檔：使用 Serilog 接收內嵌數據
• 社群部落格：開始使用 Serilog 接收和 Azure 數據總管

Splunk

Splunk Enterprise 是軟體平台，可讓您同時從多個來源擷取資料。Azure 資料總管附加元件會將資料從 Splunk 傳送至叢集資料表。

• 功能：擷取
• 支援擷取類型：批次處理
• 使用案例：記錄
• 基礎 SDK：Python
• 存放庫： Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
• 檔：從Splunk擷取數據
• Splunk 基底：Microsoft Splunk 的 Azure 數據總管附加元件
• 社群部落格：開始使用適用於Splunk的 Azure 資料總管附加元件Microsoft

Splunk 通用轉寄站

• 功能：擷取
• 支援擷取類型：批次處理
• 使用案例：記錄
• 存放庫： Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
• 檔：將數據從Splunk通用轉寄站內嵌至 Azure 資料總管
• 社群部落格：使用 Splunk 通用轉寄站將數據內嵌至 Azure 數據總管

Telegraf

Telegraf 是開放原始碼、輕量、最小記憶體佔用代理程式，用於收集、處理及寫入遙測資料，包括記錄、計量與 IoT 資料。 Telegraf 支援數百個輸入與輸出外掛程式。 其受到廣泛使用，同時獲得開放原始碼社群的廣泛支援。 輸出外掛程式可作為 Telegraf 的連接器，並支援從許多類型輸入外掛程式將資料擷取至資料庫。

• 功能：擷取
• 支援擷取類型：批次處理、串流
• 使用案例：遙測、記錄、計量
• 基礎 SDK：Go
• 存放庫：InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
• 檔：從Telegraf擷取數據
• 社群部落格： 適用於 Telegraf 的新 Azure 數據總管輸出外掛程式可大規模啟用 SQL 監視

Azure CLI

Azure CLI 可讓您管理 Kusto 資源。

• 功能： 系統管理
• 檔：az kusto

Azure Synapse Analytics

Azure Synapse 數據總管為客戶提供互動式查詢體驗，以從記錄和遙測數據解除鎖定見解。 為了補充現有的 SQL 和 Apache Spark 分析運行時間引擎，數據總管分析運行時間會使用功能強大的索引技術，針對有效率的記錄分析優化，以自動編製遙測數據中常用的自由文字和半結構化數據索引。

• 功能： 擷取、查詢、視覺效果
• 文件： 什麼是 Azure Synapse 數據總管？

Azure Data Lake

Azure 數據總管會與 Azure Blob 儲存體 和 Azure Data Lake Storage （Gen1 和 Gen2） 整合，提供快速、快取和索引存取儲存在外部記憶體中的數據。

• 功能： 查詢
• 檔：使用 Azure 數據總管查詢 Azure Data Lake 中的數據

Azure Data Studio

適用於 Azure Data Studio 的 Kusto (KQL) 延伸模組可讓您連線及查詢 Azure 資料總管叢集。 用戶可以使用 IntelliSens 完成的 Kusto 核心撰寫和執行 KQL 查詢及撰寫筆記本

• 功能： 查詢
• 檔：Kusto 擴充功能概觀、使用 Kusto 和使用 Kqlmagic

Azure Data Share

有許多傳統方式可以共享數據，例如透過檔案共用、FTP、電子郵件和 API。 這些方法需要雙方建置和維護數據管線，以在小組和組織之間移動數據。 使用 Azure 資料總管，您可以輕鬆地安全地與公司或外部合作夥伴中的人員共用您的數據。 共用會以近乎即時的方式發生，而不需要建置或維護數據管線。 提供者端的所有資料庫變更，包括架構和數據，都會立即在取用者端取得。

• 功能： 共享數據
• 檔：Azure Data Share

Azure 監視器

Azure 數據總管支援 Azure 數據總管、 Application Insights （AI） 和 Log Analytics （LA） 之間的跨服務查詢。 您可以使用 Azure 資料總管查詢工具和跨服務查詢來查詢您的 Log Analytics 或 Application Insights 工作區。

• 功能： 查詢
• 檔：Azure 監視器

Azure Notebooks

Kqlmagic 是可在 Azure Data Studio 筆記本 中擴充 Python 核心功能的命令。 您可以使用與轉譯命令整合的豐富 Plotly 連結庫，結合 Python 和 Kusto 查詢語言 （KQL） 來查詢和可視化數據。 Kqlmagic 可在同一個位置提供筆記本、資料分析和豐富 Python 功能的優點。 Kqlmagic 支援的資料來源包括 Azure 資料總管 、 Application Insights 及 Azure 監視器記錄 。

• 功能： 查詢、視覺效果
• 檔：Azure Notebooks

Azure Pipelines

Azure DevOps Services 提供開發共同作業工具，例如高效能管線、免費的私人 Git 存放庫、可設定的工作流程看板，以及廣泛的自動化和持續測試功能。 Azure Pipelines 是 Azure DevOps 功能，可讓您管理 CI/CD，以使用任何語言、平台和雲端的高效能管線來部署程序代碼。 Azure 數據總管 - 管線工具 是 Azure Pipelines 工作，可讓您建立發行管線，並將資料庫變更部署至 Azure 數據總管資料庫。 其可在Visual Studio Marketplace 中免費取得。

• 功能： 原始檔控制
• 檔：Azure Pipelines

DeltaKusto

Delta Kusto 是一種命令行介面（CLI），可透過 Kusto 物件（例如：資料表、函式、原則、安全性角色）在 Azure 數據總管資料庫中啟用持續整合/持續部署 （CI / CD） 自動化。 它可以在單一資料庫、多個資料庫或整個叢集上運作。 Delta Kusto 也支援多租使用者案例。

• 功能： 原始檔控制
• 檔：Delta Kusto

Jupyter 筆記本

Jupyter Notebook 是開放原始碼 Web 應用程式，可讓您建立及共用包含即時程式代碼、方程式、視覺效果和敘事文字的檔。 它適用於各種工作，例如數據清理和轉換、數值模擬、統計模型、數據視覺效果和機器學習。

Kqlmagic 擴展了 Jupyter 筆記本中 Python 核心的功能，因此您可以原生執行 Kusto 查詢語言 (KQL)查詢。 您可以使用與轉譯運算子整合的豐富的 Plot.ly 程式庫結合 Python 與 KQL 來查詢及視覺化資料。 kqlmagic 延伸模組與 Jupyter Lab、Visual Studio Code Jupyter 擴充功能和 Azure Data Studio 相容，且支持的數據源包括 Azure 數據總管、Azure 監視器記錄和 Application Insights。

• 功能： 查詢、視覺效果
• 檔：Jupyter Notebook
• 社群部落格：使用適用於 Jupyter Notebook 的 KQL magic 分析 Azure 數據總管中的數據

KQL 剖析器

開放原始碼 存放庫包含 C# 剖析器和語意分析器，以及在 JavaScript 中產生相同連結庫的翻譯工具專案。

• 功能： 語言剖析
• 檔：Kusto 查詢語言 剖析器

Kusto.Explorer

Kusto.Explorer 是免費軟體，可供您 Windows 桌面下載及使用。 Kusto.Explorer 可讓您在方便使用的介面中使用 Kusto 查詢語言 （KQL） 查詢和分析您的數據。

• 功能： 查詢、視覺效果
• 檔：使用 Kusto.Explorer 安裝和使用者介面
  • 其他文章包括 選項、 疑難解答、 鍵盤快捷方式、 程序代碼功能

Kusto CLI

Kusto.Cli 是命令行公用程式，用於在 Kusto 叢集上傳送查詢和控制命令。

• 功能： 查詢
• 檔：Kusto CLI

光源最

Lightingest 是命令行公用程式，可用於將特定數據擷取至 Azure 數據總管。

• 功能：擷取
• 支援擷取類型：批次處理
• 使用案例： 歷程記錄數據載入
• 存放庫：LightIngest
• 檔：使用 LightIngest 擷取數據

Microsoft Purview

Microsoft Purview 提供統一服務來管理來自各種來源的數據，藉此簡化數據控管。

• 功能： 治理
• 檔：整合 Azure 數據總管與 Microsoft Purview

摩納哥編輯器 （外掛程式/內嵌）

您可以將摩納哥編輯器與 Kusto 查詢語言 支援 （monaco-kusto） 整合到您的應用程式中。 將monaco-kusto整合到您的應用程式提供編輯體驗，例如完成、著色、重構、重新命名和移至定義

• 功能： 查詢
• 存放庫：摩納哥編輯器
• 檔：Kusto 查詢語言 摩納哥編輯器的設定和使用方式 - Kusto 查詢語言 編輯器，可以內嵌在Web和電子型應用程式中。
  • Kusto 查詢語言 外掛程式 - 存取 Kusto 查詢語言 編輯器外掛程式。
  • 內嵌 Azure 數據總管 Web UI - Azure 數據總管 Web UI 可以內嵌在 iframe 中，並裝載於第三方網站。

PowerShell

PowerShell 腳本可以使用 Kusto 用戶端連結庫，因為 PowerShell 原本就與 .NET 連結庫整合。

• 功能： 查詢
• 檔：從 PowerShell 使用 Kusto .NET 用戶端連結庫

Microsoft Fabric 中的即時智慧

即時智慧是針對串流和時間序列數據優化的完全受控巨量數據分析平臺。

• 功能： 擷取、導出、查詢、視覺效果
• 支援的擷取類型： 串流、批處理
• 文件：什麼是 Fabric 中的實時智慧？

SyncKusto

Sync Kusto 是一種工具，可讓使用者同步處理各種 Kusto 架構實體，例如數據表架構和預存函式。 此同步處理會在本機文件系統、Azure 數據總管資料庫和 Azure 存放庫之間完成。

• 功能： 原始檔控制
• 存放庫：SyncKusto
• 檔：同步 Kusto

Web UI

Azure 資料總管提供 Web 體驗，可讓您連線到 Azure 數據總管叢集，以及寫入、執行和共用 Kusto 查詢語言 （KQL） 命令和查詢

• 功能： 擷取、導出、查詢、視覺效果
• 支援擷取類型：批次處理、串流
• 檔：Azure 數據總管 Web UI、從檔案取得數據