分析 Bot 的遙測數據

適用於： SDK v4

分析 Bot 行為

下列查詢集合可用來分析 Bot 行為。 您可以使用集合在 Azure 監視器 Log Analytics 中撰寫自定義查詢，以及建立監視和 Power BI 視覺效果儀錶板。

必要條件

對下列概念有基本瞭解很有説明：

• Kusto 查詢
• 如何在 Azure 入口網站 中使用Log Analytics來撰寫 Azure 監視器記錄查詢
• Azure 監視器中記錄查詢的基本概念

儀表板​​

Azure 儀錶板提供絕佳的方式，可讓您檢視和共用從查詢產生的資訊。 您可以建置自定義儀錶板，藉由將查詢與您新增至儀錶板的磚建立關聯，以協助監視 Bot 活動。 如需儀錶板的詳細資訊，以及如何將查詢與其產生關聯，請參閱 建立和共用Log Analytics資料的儀錶板。 本文的其餘部分顯示一些查詢範例，這些查詢在監視 Bot 行為方面可能很有用。

範例 Kusto 查詢

每個期間的用戶數目

此範例會產生折線圖，其中顯示過去 14 天內每天與 Bot 通訊的相異用戶數目。 藉由將不同的值指派給 queryStartDate、 queryEndDate 和 interval 變數，即可輕鬆地變更時間週期。

// number of users per period
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

每個期間使用者查詢結果的範例數目

每個期間的活動數

此範例說明如何測量每個所需維度的活動量，例如過去 14 天內交談、對話或訊息數目的計數。 藉由將不同的值指派給 querystartdate、 queryEndDate 和 interval 變數，即可輕鬆地變更時間週期。 所需的維度是由extend下列範例中的 子句所定義，metric可以設定為 InstanceId、DialogId 或 activityId。

將計量指派給您想要顯示的維度：

• InstanceId 測量交談數目
• DialogId 會測量 Dialogs 的數目
• ActivityId 會測量訊息數目

// Measures the number of activity's (conversations, dialogs, messages) per period.
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| where DialogId != '' and  InstanceId != '' and user_Id != ''
| extend metric = InstanceId // DialogId or ActivityId
| summarize Count=dcount(metric) by  bin(timestamp, groupByInterval)
| order by Count desc nulls last
| render timechart

每個期間的活動範例查詢結果

每個使用者每個期間的活動

此範例示範如何計算每個使用者每個期間的活動數目。 此查詢會向下切入每個期間查詢的活動，以專注於每個使用者每個期間的活動。 活動包括對話、交談或訊息。 此查詢會測量使用者與 Bot 的互動，以協助找出潛在問題，例如：

• 單一用戶有許多活動的日子可能表示攻擊或測試
• 與很少互動的日子可能表示服務健康情況問題

// number of users per period per dialogs
let queryStartDate = ago(14d);
let queryEndDate = now();
let interval = 6h;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| where DialogId != '' and InstanceId != '' and user_Id != ''
| extend metric = ActivityId // InstanceId // DialogId // or InstanceId for conversation count
| summarize Count=dcount(metric) by user_Id, bin(timestamp, groupByInterval)
| order by Count desc nulls last

每個週期的範例活動查詢結果

對話框完成

設定對話框的遙測客戶端之後，對話框（及其子系）將會發出一些預設遙測數據，例如 已 啟動和 完成。 這個範例可用來測量相對於已啟動對話的已完成對話框。 如果啟動的對話框數目大於完成的數目，則部分使用者未完成對話流程。 您可以使用此查詢來協助您識別並針對任何潛在的對話邏輯進行疑難解答。 它也可以用來識別哪些對話最常使用且最不常使用。

瀑布式對話完成

// % Completed Waterfall Dialog: shows completes relative to starts
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name=="WaterfallStart"
| extend DialogId = customDimensions['DialogId']
| extend InstanceId = tostring(customDimensions['InstanceId'])
| join kind=leftouter (
    customEvents
    | where name=="WaterfallComplete"
    | extend InstanceId = tostring(customDimensions['InstanceId'])
  ) on InstanceId
| summarize started=countif(name=='WaterfallStart'), completed=countif(name1=='WaterfallComplete') by tostring(DialogId)
| where started > 100  // filter for sample
// Show starts vs. completes
| project tostring(DialogId), started, completed
| order by started desc, completed asc  nulls last
| render barchart  with (kind=unstacked, xcolumn=DialogId, ycolumns=completed, started, ysplit=axes)

自適性對話已啟動和完成

// % Completed adaptive dialog: shows completes relative to starts. This type is the default dialog type when using Copilot Studio or Composer. 
customEvents
| where name=="AdaptiveDialogStart" or name == "AdaptiveDialogComplete"
| extend DialogId = tostring(customDimensions['DialogId'])
| summarize started=countif(name=='AdaptiveDialogStart'), completed=countif(name=='AdaptiveDialogComplete') by DialogId
| project DialogId, started, completed
| order by started desc, completed asc nulls last
| render barchart with (kind=unstacked, xcolumn=DialogId, ycolumns=completed, started, ysplit=axes)

範例對話框完成查詢結果

對話框完成

這個範例可用來計算在指定時段內因取消或放棄而未完成但從未完成的對話流程數目。 您可以使用它來檢閱不完整的對話，並檢查他們是否因為使用者混淆而主動取消，或因為使用者分心或失去興趣而放棄。

瀑布式對話未完成

// Show incomplete dialogs when using waterfall dialogs.
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents 
| where timestamp > queryStartDate 
| where timestamp < queryEndDate
| where name == "WaterfallStart" 
| extend DialogId = customDimensions['DialogId']
| extend instanceId = tostring(customDimensions['InstanceId'])
| join kind=leftanti (
  customEvents
  | where name == "WaterfallComplete" 
  | extend instanceId = tostring(customDimensions['InstanceId'])
  ) on instanceId
| summarize cnt=count() by  tostring(DialogId)
| order by cnt
| render barchart

調適型對話未完成

// Show incomplete dialogs for adaptive dialogs; this type is the default dialog type when using Copilot Studio or Composer.
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where name == "AdaptiveDialogStart"
| extend DialogId = tostring(customDimensions['DialogId'])
| join kind=rightanti (
customEvents
| where name == "AdaptiveDialogComplete"
| extend DialogId = tostring(customDimensions['DialogId'])
) on name, DialogId
| summarize cnt=count() by DialogId
| order by cnt
| render barchart

範例對話框完成查詢結果

對話框順序向下切入

交談中對話的瀑布開始/步驟/完成

此範例顯示對話步驟順序，依交談 （instanceId） 分組，這在判斷哪些步驟會導致對話中斷時很有用。

執行此查詢，輸入所需的 DialogId 值以取代 <SampleDialogId>

// Drill down: Show waterfall start/step/complete for specific dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
let DialogActivity=(dlgid:string) {
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| extend StepName = customDimensions['StepName']
| extend InstanceId = customDimensions['InstanceId']
| where DialogId == dlgid
| project timestamp, name, StepName, InstanceId
| order by tostring(InstanceId), timestamp asc
};
// For example see SampleDialogId behavior
DialogActivity("<SampleDialogId>")

let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| extend StepName = customDimensions['StepName']
| extend InstanceId = customDimensions['InstanceId']
| where DialogId == "<SampleDialogId>"
| project timestamp, name, StepName, InstanceId
| order by tostring(InstanceId), timestamp asc

範例查詢結果

₁ 已完成

₂ 已放棄

解譯：使用者似乎在 GetPointOfInterestLocations 步驟放棄交談。

瀑布式開始/步驟/完成/取消步驟匯總總計

此範例顯示對話框序列啟動的總次數、瀑布步驟的總總數、已成功完成的次數、已取消多少個，以及瀑布圖和瀑布圖加瀑布圖的總和總計之間的差異，都會提供放棄的總數。

// Drill down: Aggregate view of waterfall start/step/complete/cancel steps totals for specific dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
let DialogSteps=(dlgid:string) {
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| where DialogId == dlgid
| project name
| summarize count() by name
};
// For example see SampleDialogId behavior
DialogSteps("<SampleDialogId>")

範例瀑布匯總查詢結果

解譯：在對話順序的 21 個調用中，只有 11 個已完成，9 個已放棄，一個被使用者取消。

對話框中的平均持續時間

此範例會測量使用者在指定對話框中花費的平均時間量。 您的 Bot 可能受益於簡化需要用戶長時間完成的對話。

// Average dialog duration
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name=="WaterfallStart"
| extend DialogId = customDimensions['DialogId']
| extend instanceId = tostring(customDimensions['InstanceId'])
| join kind=leftouter (customEvents | where name=="WaterfallCancel" | extend instanceId = tostring(customDimensions['InstanceId'])) on instanceId
| join kind=leftouter (customEvents | where name=="WaterfallComplete" | extend instanceId = tostring(customDimensions['InstanceId'])) on instanceId
| extend duration = case(not(isnull(timestamp1)), timestamp1 - timestamp,
not(isnull(timestamp2)), timestamp2 - timestamp, 0s) // Abandoned aren't counted. Alternate: now()-timestamp
| extend seconds = round(duration / 1s)
| summarize AvgSeconds=avg(seconds) by tostring(DialogId)
| order by AvgSeconds desc nulls last
| render barchart with (title="Duration in Dialog")

範例平均持續時間查詢結果

對話框中的平均步驟

此範例顯示每個叫用對話方塊的「長度」，依平均值、最小值、最大值和標準偏差計算。 這有助於分析對話品質。 例如：

• 應該評估具有太多步驟的對話，以簡化商機。
• 在最小值/最大值/平均值之間有較大差距的對話，可能表示用戶嘗試完成工作時停滯不前。 您可能需要評估有較短路徑完成工作的可能性，或減少對話複雜度的方法。
• 具有大型標準偏差的對話會建議複雜的路徑或中斷的體驗（放棄/取消）。
• 具有幾個步驟的對話框可能是因為從未完成過。 分析完成/放棄率可能有助於做出該決定。

// min/max/std/avg steps per dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = tostring(customDimensions['DialogId'])
| extend StepName = tostring(customDimensions['StepName'])
| extend InstanceId = tostring(customDimensions['InstanceId'])
| where name == "WaterfallStart" or  name == "WaterfallStep" or  name == "WaterfallComplete"
| order by InstanceId, timestamp asc
| project timestamp, DialogId, name, InstanceId, StepName
| summarize cnt=count() by InstanceId, DialogId
| summarize avg=avg(cnt), minsteps=min(cnt),maxsteps=max(cnt), std=stdev(cnt) by DialogId
| extend avgsteps = round(avg, 1)
| extend avgshortbysteps=maxsteps-avgsteps
| extend avgshortbypercent=round((1.0 - avgsteps/maxsteps)*100.0, 1)
| project DialogId, avgsteps, minsteps, maxsteps, std, avgshortbysteps, avgshortbypercent
| order by std desc nulls last

範例平均步驟查詢結果

__Interpretation：例如，FindArticlesDialog 在最小值/最大值之間有廣泛的分佈，而且應該進行調查，並可能重新設計並優化。

依活動計量的通道活動

此範例會測量 Bot 在指定期間內每個通道接收的活動量。 它會計算下列任何一個計量，以執行這項作業：傳入訊息、使用者、交談或對話。 這對於服務健康情況分析或測量通道受歡迎程度很有用。

// number of metric: messages, users, conversations, dialogs by channel
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| extend ChannelId = tostring(customDimensions['channelId'])
| where DialogId != '' and  InstanceId != '' and user_Id != ''
| extend metric = user_Id // InstanceId or ActivityId or user_Id
| summarize Count=count(metric) by  ChannelId, bin(timestamp, groupByInterval)
| order by Count desc nulls last
| render barchart with (title="Users", kind=stacked) // or Incoming Messages or Conversations or Users

範例 channel-activity-by-activity 查詢結果

解譯：模擬器測試過去最常使用，但一旦上線，DirectLineSpeech 是最受歡迎的頻道。

依熱門程度的總意圖

此範例適用於已啟用 LUIS 的 Bot。 它會依熱門程度顯示所有意圖的摘要，以及對應的意圖偵測確定性分數。

• 實際上，檢視應該針對每個計量分隔。
• 熱門意圖路徑應針對用戶體驗進行優化。
• 低平均分數表示辨識不佳， 可能遺漏實際的使用者意圖。

// show total intents
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name startswith "LuisResult"
| extend intentName = tostring(customDimensions['intent'])
| extend intentScore = todouble(customDimensions['intentScore'])
| summarize ic=count(), ac=avg(intentScore)*100 by intentName
| project intentName, ic, ac
| order by ic desc nulls last
| render barchart with (kind=unstacked, xcolumn=intentName, ycolumns=ic,ac, title="Intents Popularity")

範例意圖逐熱門查詢結果

解譯：例如，最受歡迎的意圖，只偵測到平均信賴度為 23% 的確認。

Bot Analytics Instrumentation 的架構

下表顯示 Bot 將記錄遙測數據的最常見欄位。

一般信封

Application Insights 檢測中的常見記錄分析字段。

自訂維度

大部分的 Bot 特定活動數據會儲存在 customDimensions 字段中。

自定義維度：LUIS

LUIS 檢測會將其資料儲存在下列 [自定義維度] 字段中。

自定義維度：QnAMaker

QnAMaker 檢測會將其資料儲存在下列 [自定義維度] 字段中。

另請參閱

• 如需撰寫記錄查詢的教學課程，請參閱 開始使用 Azure 監視器中的記錄查詢
• 將來自 Azure 監視器的資料視覺化 (機器翻譯)
• 瞭解如何 將遙測新增至 Bot
• 深入瞭解 Azure 監視器記錄查詢
• Bot Framework Application Insights 事件的完整清單
• 建立和共用 Log Analytics 資料的儀表板