Azure 串流分析監視數據參考
本文包含此服務的所有監視參考資訊。
如需您可以針對 Azure 串流分析收集的數據，以及如何使用它的詳細資訊，請參閱 監視 Azure 串流分析 。
計量
本節列出針對此服務的所有自動收集平台計量。 這些計量也是 Azure 監視器中支援的所有平台計量全域清單的一部分。
如需計量保留的相關資訊，請參閱 Azure 監視器計量概觀。
Azure 串流分析會提供各種計量，可供您用來監視查詢和作業效能並進行疑難排解。 您可以在 Azure 入口網站的 [概觀] 頁面上，於 [監視] 區段檢視這些計量的資料。
如果您想要檢查特定計量，請在 [監視] 區段中選取 [計量]。 在出現的頁面上，選取計量。
Microsoft.StreamAnalytics/streamingjobs 支援的計量
下表列出適用於 Microsoft.StreamAnalytics/streamingjobs 資源類型的計量。
- 所有資料行可能不存在於每個資料表中。
- 某些資料行可能超出頁面的檢視區域。 選取 [展開資料表] 以檢視所有可用的資料行。
資料表標題
- 類別 - 計量群組或分類。
- 計量 - Azure 入口網站中顯示的計量顯示名稱。
- REST API 中的名稱 - REST API 中所指的計量名稱。
- 單位 - 測量單位。
- 彙總 - 預設彙總類型。 有效值：平均值 (Avg)、最小值 (Min)、最大值 (Max)、總計 (Sum)、計數。
- 維度 - 計量可用的維度。
- 時間精細度 - 取樣計量的間隔。 例如，
PT1M表示計量會每分鐘取樣、每 30 分鐘PT30M、每小時PT1H，以此類推。 - DS 匯出 - 計量是否可透過診斷設定，匯出至 Azure 監視器記錄。 如需匯出計量的資訊，請參閱在 Azure 監視器中建立診斷設定。
| 計量 | REST API 中的名稱 | 單位 | 彙總 | 維度 | 時間精細度 | DS 匯出 |
|---|---|---|---|---|---|---|
| 失敗的函式要求 失敗的函式要求 |
AMLCalloutFailedRequests |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 函式事件 函式事件 |
AMLCalloutInputEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 函式要求 函式要求 |
AMLCalloutRequests |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 資料轉換錯誤 資料轉換錯誤 |
ConversionErrors |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 輸入還原序列化錯誤 輸入還原序列化錯誤 |
DeserializationError |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 順序錯亂事件 次序錯誤事件 |
DroppedOrAdjustedEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 早期輸入事件 早期輸入事件 |
EarlyInputEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 執行階段錯誤 執行階段錯誤 |
Errors |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 輸入事件位元組 輸入事件位元組 |
InputEventBytes |
Bytes | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 輸入事件 輸入事件 |
InputEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 待處理輸入事件數 待處理輸入事件數 |
InputEventsSourcesBacklogged |
計數 | 平均值、最大值、最小值 | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 收到的輸入來源數 收到的輸入來源數 |
InputEventsSourcesPerSecond |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 延遲輸入事件 延遲輸入事件 |
LateInputEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 輸出事件 輸出事件 |
OutputEvents |
計數 | 總計 (總和) | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| 浮水印延遲 浮水印延遲 |
OutputWatermarkDelaySeconds |
秒 | 平均值、最大值、最小值 | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| CPU 使用率百分比 CPU 使用率百分比 |
ProcessCPUUsagePercentage |
Percent | 平均值、最大值、最小值 | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
| SU (記憶體) 使用率百分比 SU (記憶體) 使用率百分比 |
ResourceUtilization |
Percent | 平均值、最大值、最小值 | LogicalName、 、 PartitionId、 ProcessorInstanceNodeName |
PT1M | Yes |
計量描述
Azure 串流分析提供下列計量，供您監視作業的健康情況。
| 計量 | 定義 |
|---|---|
| 待處理輸入事件數 | 待處理的輸入事件數目。 此計量的非零值表示您的作業無法跟上內送事件數量。 如果此值緩慢增加或始終不為零，則您應該擴增您的作業。 若要深入了解，請參閱瞭解和調整串流單位。 |
| 資料轉換錯誤 | 無法轉換為預期輸出結構描述的輸出事件數目。 若要卸除遇到此案例的事件，您可以將錯誤原則變更為 [卸除]。 |
| CPU 使用率百分比 (預覽) | 作業所使用的 CPU 百分比。 即使此值很高 (90% 或以上)，您也不應該單獨根據此計量來增加 SU 數量。 如果待處理輸入事件或浮水印延遲數目增加，您可以使用此計量來判斷 CPU 是否面臨瓶頸。 此計量可能有間歇性尖峰。 建議您進行調整測試，以判斷作業的上限，超過該上限時會積壓輸入，或浮水印延遲會因為 CPU 瓶頸而增加。 |
| 早期輸入事件 | 應用程序時間戳記早於其抵達時間超過 5 分鐘的事件。 |
| 失敗的函式要求 | 失敗的 Azure Machine Learning 函式呼叫次數 (如果有的話)。 |
| 函式事件 | 傳送給 Azure Machine Learning 函式的事件數目 (如果有的話)。 |
| 函式要求 | 對 Azure Machine Learning 函式發出的呼叫次數 (如果有的話)。 |
| 輸入還原序列化錯誤 | 無法還原序列化的輸入事件數目。 |
| 輸入事件位元組 | 串流分析作業所收到的資料量 (以位元組為單位)。 您可使用此計量來驗證傳送到輸入來源的事件。 |
| 輸入事件 | 從輸入事件還原序列化的記錄數目。 此計數不包括導致還原序列化錯誤的傳入事件。 串流分析可以在內部復原和自我聯結等案例中多次擷取相同的事件。 如果您的作業有簡單的傳遞查詢，請勿預期 [輸入事件] 和 [輸出事件] 計量會進行比對。 |
| 收到的輸入來源數 | 作業接收的訊息數目。 對於Azure 事件中樞，訊息是單一 EventData 項目。 對於 Azure Blob 儲存體而言，訊息是單一 Blob。 請注意，輸入來源會在還原序列化之前計數。 如果有還原序列化錯誤，輸入來源可能會大於輸入事件。 否則，輸入來源可能小於或等於輸入事件，因為每則訊息都可以包含多個事件。 |
| 延遲輸入事件 | 比針對延遲傳入所設定的容錯時間範圍晚抵達的事件。 深入了解 Azure 串流分析事件的順序考量。 |
| 順序錯亂事件 | 所收到順序錯亂的事件數目，這些事件會根據事件順序原則，予以捨棄或指定調整後的時間戳記。 [順序錯亂容錯時間範圍] 設定的組態可能會影響此計量。 |
| 輸出事件 | 串流分析作業傳送到輸出目標的資料量 (以事件數為單位)。 |
| 執行階段錯誤 | 與查詢處理相關的錯誤總數。 這會排除擷取事件或輸出結果時發現的錯誤。 |
| SU (記憶體) 使用率百分比 | 作業所使用的記憶體百分比。 如果此計量持續超過 80%，浮水印延遲就會增加，且待處理事件的數目也會增加，請考慮增加串流單位 (SU)。 高使用率表示作業使用接近配置資源的上限。 |
| 浮水印延遲 | 作業中所有輸出分割區的浮水印延遲上限。 |
載入計量維度
如需計量維度是什麼的資訊，請參閱多維度計量。
此服務具有下列與其計量相關聯的維度。
| 維度 | 定義 |
|---|---|
| 邏輯名稱 | 串流分析作業的輸入或輸出名稱。 |
| 分割區識別碼 | 輸入來源的輸入資料分割區識別碼。 例如，如果輸入來源是事件中樞，分割區識別碼即是事件中樞的分割區識別碼。 如果是易於平行作業，輸出中的分割區識別碼即與輸入中的識別碼相同。 |
| 節點名稱 | 作業執行時佈建的串流節點識別碼。 串流節點代表配置給作業的計算和記憶體資源數量。 |
邏輯名稱維度
邏輯名稱是串流分析作業的輸入或輸出名稱。 例如，假設串流分析作業有四個輸入和五個輸出。 依此維度分割輸入相關和輸出相關計量時，您會看到四個個別邏輯輸入和五個個別邏輯輸出。
邏輯名稱維度可用於篩選和分割下列計量：
- 待處理輸入事件數
- 資料轉換錯誤
- 早期輸入事件
- 輸入還原序列化錯誤
- 輸入事件位元組
- 輸入事件
- 已接收的輸入來源
- 延遲輸入事件
- 順序錯亂事件
- 輸出事件
- 浮水印延遲
節點名稱維度
串流節點代表一組用來處理輸入資料的計算資源。 每六個串流單位 (SU) 會轉化為一個節點，而服務會代您自動管理。 如需串流單位和串流節點間關聯性的詳細資訊，請參閱了解並調整串流單位。
節點名稱是串流節點層級的維度。 節點名稱有助您向下切入特定計量至特定的串流節點層級。 例如，您可以依串流節點層級分割 CPU % 使用率計量，然後檢查個別串流節點的 CPU 使用率。
![顯示 [節點名稱] 維度分割平均CPU使用率的圖表螢幕快照。](media/stream-analytics-job-metrics-dimensions/07-average-cpu-splitting-by-node-name.png#lightbox)
邏輯名稱維度可以篩選和分割下列計量：
- 待處理輸入事件數
- CPU 使用率百分比 (預覽)
- 輸入事件
- 輸出事件
- SU (記憶體) 使用率百分比
- 浮水印延遲
分割區識別碼維度
串流資料內嵌至 Azure 串流分析服務處理時，輸入資料會根據輸入來源的分割區散發至串流節點。 分割區識別碼維度是輸入來源的輸入資料分割區識別碼。
例如，如果輸入來源是事件中樞，分割區識別碼即是事件中樞的分割區識別碼。 輸入中的分割區識別碼與輸出中的識別碼相同。
分割區識別碼維度可以篩選和分割下列計量：
- 待處理輸入事件數
- 資料轉換錯誤
- 早期輸入事件
- 輸入還原序列化錯誤
- 輸入事件位元組
- 輸入事件
- 已接收的輸入來源
- 延遲輸入事件
- 輸出事件
- 浮水印延遲
資源記錄
本節列出您可以針對此服務收集的資源記錄類型。 該區段會從 Azure 監視器中支援的所有資源記錄類別類型清單提取。
Microsoft.StreamAnalytics/streamingjobs 的支持資源記錄
| 類別 | 類別顯示名稱 | 記錄資料表 | 支援基本記錄計劃 | 支援擷取時間轉換 | 範例查詢 | 匯出的成本 |
|---|---|---|---|---|---|---|
Authoring |
編寫 | AzureDiagnostics 來自多個 Azure 資源的記錄。 |
No | No | 查詢 | No |
Execution |
執行 | AzureDiagnostics 來自多個 Azure 資源的記錄。 |
No | No | 查詢 | No |
資源記錄結構描述
所有記錄會儲存為 JSON 格式。 每個項目皆包含下列常見的字串欄位︰
| 名稱 | 描述 |
|---|---|
| time | 記錄的時間戳記 (UTC 時間)。 |
| resourceId | 作業執行資源的識別碼 (大寫)。 其中包含訂用帳戶識別碼、資源群組，以及作業名稱。 例如， /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT。STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB。 |
| category | 記錄類別 (執行或編寫)。 |
| operationName | 記錄的作業名稱。 例如，傳送事件︰SQL 輸出將失敗寫入 mysqloutput。 |
| status | 作業的狀態。 例如，失敗或成功。 |
| level | 記錄層級。 例如，錯誤、警告或資訊。 |
| 內容 | 記錄項目特定詳細資料 (序列化為 JSON 字串)。 如需詳細資訊，請參閱本文中下列幾節。 |
執行記錄屬性結構描述
執行記錄包含在執行串流分析作業期間所發生事件的資訊。 屬性的結構描述會根據事件是資料錯誤還是一般事件而有所不同。
資料錯誤
作業處理資料時發生的任何錯誤皆包含於此類記錄中。 這些記錄最常於資料讀取、序列化和寫入作業時建立。 這些記錄不包含連線錯誤。 連線錯誤視為一般事件。 您可以深入了解各種不同輸入和輸出資料錯誤的原因。
| 名稱 | 描述 |
|---|---|
| 來源 | 發生錯誤的作業輸入或輸出名稱。 |
| 訊息 | 與錯誤相關的訊息。 |
| 類型 | 錯誤的類型。 例如，DataConversionError、CsvParserError 或 ServiceBusPropertyColumnMissingError。 |
| 資料 | 包含有助於正確找到錯誤來源的資料。 視其大小，資料可能會遭到截斷。 |
資料錯誤會隨 operationName 值的不同而有下列結構描述：
序列化事件會在事件讀取作業期間發生。 當輸入上的資料不符合查詢結構描述時就會發生這類事件，發生原因可能是下列其中一個：
事件序列化/還原序列化期間類型不相符：找出造成錯誤的欄位。
無法讀取事件，序列化無效：針對發生錯誤的輸入資料位置列出資訊。 包含 Blob 輸入的 Blob 名稱、位移和資料範例。
傳送事件會發生在寫入作業期間。 這些事件會識別造成錯誤的串流事件。
一般事件
一般事件涵蓋所有其他事件。
| 名稱 | 描述 |
|---|---|
| 錯誤 | (選用) 錯誤資訊。 這通常是例外狀況資訊 (如果有的話)。 |
| 訊息 | 記錄訊息。 |
| 類型 | 訊息類型。 對應至錯誤的內部分類。 例如，JobValidationError或 BlobOutputAdapterInitializationFailure。 |
| 相互關聯 ID | 唯一識別作業執行的 GUID。 從作業開始直到作業停止的所有執行記錄項目皆具有同一個相互關聯識別碼值。 |
如需參考，請參閱 Azure 監視器中支援的所有資源記錄類別類型清單，或針對 Azure 串流分析收集的所有資源記錄類別類型。
Azure 監視器記錄資料表
本節列出與此服務相關的 Azure 監視器記錄資料表，並且該資料表可供 Log Analytics 使用 Kusto 查詢進行查詢。 資料表包含資源記錄資料，而且可能包含更多資料，具體取決於所收集及路由傳送至此的內容。
串流分析作業
| 類別 | 類別顯示名稱 | 記錄資料表 | 支援基本記錄計劃 | 支援擷取時間轉換 | 範例查詢 | 匯出的成本 |
|---|---|---|---|---|---|---|
Authoring |
編寫 | AzureDiagnostics 來自多個 Azure 資源的記錄。 |
No | No | 查詢 | No |
Execution |
執行 | AzureDiagnostics 來自多個 Azure 資源的記錄。 |
No | No | 查詢 | No |
活動記錄檔
連結的資料表會列出此服務活動記錄檔中可記錄的操作。 這些操作是活動記錄中的所有可能資源提供者操作的子集。
如需活動記錄項目結構描述的詳細資訊，請參閱活動記錄結構描述。