共用方式為


使用串流分析無程式碼編輯器,來篩選及擷取至 Azure Data Explorer

本文描述如何使用無程式碼編輯器,輕鬆建立串流分析作業。 其會持續從您的事件中樞讀取、篩選傳入的資料,然後持續將結果寫入 Azure Data Explorer。

必要條件

  • 您的 Azure 事件中樞和 Azure Data Explorer 資源必須可公開存取,且不可位於防火牆後方或在 Azure 虛擬網路中受保護
  • 事件中樞中的資料必須以 JSON、CSV 或 Avro 格式序列化。

開發串流分析作業以篩選並內嵌即時資料

  1. Azure 入口網站中,找出並選取 Azure 事件中樞執行個體。

  2. 選取 [功能>處理資料],並於 [篩選資料並將其儲存至 Azure Data Explorer] 卡片上選取 [開始]。

    此螢幕快照顯示您選取 [開始] 的 [篩選] 和 [內嵌至 Azure Data Lake Storage Gen2] 卡片。

  3. 輸入串流分析作業的名稱,然後選取 [建立]

    顯示輸入作業名稱位置的螢幕快照。

  4. 在 [事件中樞] 視窗中指定資料的 [序列化] 類型,以及作業要用於連線至事件中樞的 [驗證方法]。 然後選取 [連線]。
    顯示事件中樞連線設定的螢幕快照。

  5. 當連線成功,且有資料流量流向事件中樞執行個體,便可立即看到兩個項目:

    • 輸入資料中的欄位。 您可選擇 [新增欄位],或選取欄位旁的三個點符號,以移除、重新命名或變更其類型。
      顯示事件中樞欄位清單的螢幕快照,您可以在其中移除、重新命名或變更欄位類型。
    • 傳入資料的即時範例,位於 [資料預覽] 資料表的圖表檢視下。 此項目會定期自動重新整理。 您可選取 [暫停串流預覽],以查看範例輸入資料的靜態檢視。
      顯示 [數據預覽] 底下範例數據的螢幕快照。
  6. 選取 [篩選] 圖格以匯總資料。 在 [篩選] 區域中選取欄位,以篩選傳入資料的條件。

    顯示篩選運算符設定的螢幕快照。

  7. 選取 [管理] 圖格。 在 [管理欄位] 設定面板中,選擇您想要輸出至事件中樞的欄位。 如果您想要新增所有欄位,請選取 [新增所有欄位]。

    顯示管理欄位運算符設定的螢幕快照。

  8. 選取 Azure Data Explorer 圖格。 在設定面板中,填入所需的參數並連線。

    注意

    表格必須存在於您選取的資料庫中,而且表格結構描述必須完全符合資料預覽所產生的欄位數目及其類型。

    顯示 Kusto 輸出組態的螢幕快照。

  9. 您可以選擇性地選取 [取得靜態預覽/重新整理靜態預覽],以查看將在事件中樞中內嵌的資料預覽。
    顯示 [取得靜態預覽/重新整理靜態預覽] 選項的螢幕快照。

  10. 選取 [儲存],並選取 [啟動] 串流分析作業。
    顯示 [儲存] 和 [開始] 選項的螢幕快照。

  11. 若要啟動作業,請指定:

    • 作業執行時的串流單位 (SU) 數目。 SU 代表配置給作業的計算和記憶體數量。 建議先使用三個,再視需要調整。
    • 輸出資料錯誤處理 – 可讓您指定資料發生錯誤後作業輸出至目的地失敗時的期望行為。 依預設,您的作業會重試,直到寫入作業成功為止。 您也可選擇捨棄這類輸出事件。
      顯示 [開始串流分析] 作業選項的螢幕快照,您可以在其中變更輸出時間、設定串流單位數目,然後選取 [輸出數據錯誤處理選項]。
  12. 選取 [啟動] 之後,作業會在兩分鐘內開始執行,且計量會在下方的索引標籤區段中開啟。

    螢幕快照,顯示啟動作業計量數據之後的數據。

    您也可以在 [串流分析作業] 索引標籤的 [處理資料] 區段下看到作業。選取 [開啟計量] 以進行監視,或視需要停止並重新啟動。

    [串流分析作業] 索引標籤的螢幕快照,您可以在其中檢視執行中的作業狀態。

使用事件中樞異地復寫功能的考慮

Azure 事件中樞 最近啟動公開預覽版中的異地復寫功能。 這項功能與 Azure 事件中樞的異地災害復原功能不同。

當故障轉移類型為強制且復寫一致性為異步時,串流分析作業不保證輸出至 Azure 事件中樞 輸出的確切一次。

Azure 串流分析,作為 具有事件中樞輸出的產生者 ,可能會在故障轉移期間和事件中樞節流期間觀察到作業的浮水印延遲,以防主要和次要之間的複寫延遲達到設定的延遲上限。

Azure 串流分析,作為 事件中樞作為輸入的取用者 ,可能會在故障轉移期間觀察作業的浮浮水印延遲,而且可能會在故障轉移完成後略過數據或尋找重複的數據。

由於這些注意事項,建議您在事件中樞故障轉移完成之後,立即以適當的開始時間重新啟動串流分析作業。 此外,由於事件中樞異地復寫功能處於公開預覽狀態,因此目前不建議將此模式用於生產串流分析作業。 在事件中樞異地復寫功能正式推出之前,目前的串流分析行為將會改善,並可用於串流分析生產作業。

下一步

深入了解 Azure 串流分析,以及如何監視所建立的作業。