Conversational Analysis Authoring - Get Model Evaluation Summary
トレーニング済みモデルの評価の概要を取得します。 概要には、F 値、適合率、再現率など、モデルの高レベルのパフォーマンス測定が含まれます。
GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01
URI パラメーター
名前 | / | 必須 | 型 | 説明 |
---|---|---|---|---|
Endpoint
|
path | True |
string |
サポートされている Cognitive Services エンドポイント (例: https://.api.cognitiveservices.azure.com). |
project
|
path | True |
string |
使用するプロジェクトの名前。 |
trained
|
path | True |
string |
トレーニング済みのモデル ラベル。 |
api-version
|
query | True |
string |
クライアント API バージョン。 |
応答
名前 | 型 | 説明 |
---|---|---|
200 OK |
すべての評価結果の一覧。 |
|
Other Status Codes |
エラー応答。 |
セキュリティ
AADToken
これらは Azure Active Directory OAuth2 フローです。 Azure ロールベースのアクセス制御と組み合わせて使用すると、Azure Maps REST API へのアクセスを制御できます。 Azure ロールベースのアクセス制御は、1 つ以上のAzure Mapsリソース アカウントまたはサブリソースへのアクセスを指定するために使用されます。 REST API をAzure Mapsするための 1 つ以上のアクセス許可で構成される組み込みロールまたはカスタム ロールを使用して、ユーザー、グループ、またはサービス プリンシパルにアクセス権を付与できます。
シナリオを実装するには、 認証の概念を表示することをお勧めします。 要約すると、このセキュリティ定義は、特定の API とスコープに対するアクセス制御が可能なオブジェクトを使用してアプリケーションをモデル化するためのソリューションを提供します。
メモ
- このセキュリティ定義では、 ヘッダーを使用して、
x-ms-client-id
アプリケーションがアクセスを要求しているリソースAzure Maps示す必要があります。 これは、 Maps 管理 API から取得できます。
は Authorization URL
、Azure パブリック クラウド インスタンスに固有です。 ソブリン クラウドには、一意の承認 URL と Azure Active Directory 構成があります。
* Azure ロールベースのアクセス制御は、Azure portal、PowerShell、CLI、Azure SDK、または REST API を介して Azure 管理プレーンから構成されます。
* Azure Maps Web SDK を使用すると、複数のユース ケースに対してアプリケーションを構成ベースで設定できます。
- 現在、Azure Active Directory v1.0 または v2.0 では、職場、学校、ゲストはサポートされていますが、個人用アカウントはサポートされていません。
型:
oauth2
フロー:
implicit
Authorization URL (承認 URL):
https://login.microsoftonline.com/common/oauth2/authorize
スコープ
名前 | 説明 |
---|---|
https://cognitiveservices.azure.com/.default | https://cognitiveservices.azure.com/.default |
Ocp-Apim-Subscription-Key
言語サービス リソースのサブスクリプション キー。
型:
apiKey
/:
header
例
Successful Get Model Evaluation Summary
要求のサンプル
GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01
応答のサンプル
{
"entitiesEvaluation": {
"confusionMatrix": {
"Attachment": {
"Attachment": {
"normalizedValue": 100,
"rawValue": 3
}
},
"Category": {
"Category": {
"normalizedValue": 91.666664,
"rawValue": 11
},
"$none": {
"normalizedValue": 8.333333,
"rawValue": 1
}
},
"ContactName": {
"ContactName": {
"normalizedValue": 91.666664,
"rawValue": 22
},
"SenderName": {
"normalizedValue": 4.1666665,
"rawValue": 1
},
"$none": {
"normalizedValue": 4.1666665,
"rawValue": 1
}
},
"Date": {
"Date": {
"normalizedValue": 100,
"rawValue": 2
}
},
"EmailSubject": {
"EmailSubject": {
"normalizedValue": 93.33333,
"rawValue": 9.333334
},
"$none": {
"normalizedValue": 6.6666665,
"rawValue": 0.6666667
}
},
"FromRelationshipName": {
"FromRelationshipName": {
"normalizedValue": 100,
"rawValue": 1
}
},
"Line": {
"Line": {
"normalizedValue": 100,
"rawValue": 2
}
},
"Message": {
"Message": {
"normalizedValue": 81.2063,
"rawValue": 6.496504
},
"EmailSubject": {
"normalizedValue": 7.43007,
"rawValue": 0.5944056
},
"$none": {
"normalizedValue": 9.120047,
"rawValue": 0.7296037
},
"Date": {
"normalizedValue": 2.2435899,
"rawValue": 0.17948718
}
},
"OrderReference": {
"OrderReference": {
"normalizedValue": 100,
"rawValue": 17
}
},
"PositionReference": {
"$none": {
"normalizedValue": 100,
"rawValue": 1
}
},
"RelationshipName": {
"RelationshipName": {
"normalizedValue": 66.666664,
"rawValue": 2
},
"$none": {
"normalizedValue": 33.333332,
"rawValue": 1
}
},
"SearchTexts": {
"SearchTexts": {
"normalizedValue": 100,
"rawValue": 4
}
},
"SenderName": {
"SenderName": {
"normalizedValue": 88.888885,
"rawValue": 8
},
"ContactName": {
"normalizedValue": 11.111111,
"rawValue": 1
}
},
"Time": {
"$none": {
"normalizedValue": 100,
"rawValue": 2
}
},
"$none": {
"$none": {
"normalizedValue": 99.739265,
"rawValue": 162.575
},
"Category": {
"normalizedValue": 0.2607362,
"rawValue": 0.425
}
}
},
"entities": {
"ContactName": {
"f1": 0.9361702799797058,
"precision": 0.95652174949646,
"recall": 0.9166666865348816,
"truePositiveCount": 22,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 2
},
"Category": {
"f1": 0.8799999952316284,
"precision": 0.8461538553237915,
"recall": 0.9166666865348816,
"truePositiveCount": 11,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 1
},
"SenderName": {
"f1": 0.8888888955116272,
"precision": 0.8888888955116272,
"recall": 0.8888888955116272,
"truePositiveCount": 8,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 1
},
"EmailSubject": {
"f1": 0.8181817531585693,
"precision": 0.75,
"recall": 0.8999999761581421,
"truePositiveCount": 9,
"trueNegativeCount": 0,
"falsePositiveCount": 3,
"falseNegativeCount": 1
},
"Message": {
"f1": 0.75,
"precision": 0.75,
"recall": 0.75,
"truePositiveCount": 6,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 2
},
"Date": {
"f1": 0.800000011920929,
"precision": 0.6666666865348816,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 0
},
"OrderReference": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchTexts": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Attachment": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"RelationshipName": {
"f1": 0.800000011920929,
"precision": 1,
"recall": 0.6666666865348816,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
},
"Line": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Time": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 2
},
"FromRelationshipName": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"PositionReference": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
}
},
"microF1": 0.8923077,
"microPrecision": 0.8969072,
"microRecall": 0.8877551,
"macroF1": 0.7766601,
"macroPrecision": 0.7755879,
"macroRecall": 0.78849214
},
"intentsEvaluation": {
"confusionMatrix": {
"AddFlag": {
"AddFlag": {
"normalizedValue": 100,
"rawValue": 6
}
},
"AddMore": {
"AddMore": {
"normalizedValue": 100,
"rawValue": 17
}
},
"Cancel": {
"Cancel": {
"normalizedValue": 100,
"rawValue": 9
}
},
"CheckMessages": {
"CheckMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"Confirm": {
"Confirm": {
"normalizedValue": 100,
"rawValue": 4
}
},
"Delete": {
"Delete": {
"normalizedValue": 100,
"rawValue": 5
}
},
"Forward": {
"Forward": {
"normalizedValue": 100,
"rawValue": 6
}
},
"None": {
"None": {
"normalizedValue": 100,
"rawValue": 1
}
},
"QueryLastText": {
"QueryLastText": {
"normalizedValue": 100,
"rawValue": 6
}
},
"ReadAloud": {
"ReadAloud": {
"normalizedValue": 100,
"rawValue": 16
}
},
"Reply": {
"Reply": {
"normalizedValue": 100,
"rawValue": 6
}
},
"SearchMessages": {
"SearchMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"SendEmail": {
"SendEmail": {
"normalizedValue": 100,
"rawValue": 20
}
},
"ShowNext": {
"ShowNext": {
"normalizedValue": 100,
"rawValue": 4
}
},
"ShowPrevious": {
"ShowPrevious": {
"normalizedValue": 100,
"rawValue": 3
}
}
},
"intents": {
"AddMore": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 104,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Cancel": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SendEmail": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 20,
"trueNegativeCount": 101,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"CheckMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"AddFlag": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Reply": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ReadAloud": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 16,
"trueNegativeCount": 105,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"QueryLastText": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Delete": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 5,
"trueNegativeCount": 116,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Forward": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Confirm": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowNext": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowPrevious": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 118,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"None": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 120,
"falsePositiveCount": 0,
"falseNegativeCount": 0
}
},
"microF1": 1,
"microPrecision": 1,
"microRecall": 1,
"macroF1": 1,
"macroPrecision": 1,
"macroRecall": 1
},
"evaluationOptions": {
"kind": "percentage",
"trainingSplitPercentage": 80,
"testingSplitPercentage": 20
}
}
定義
名前 | 説明 |
---|---|
Conversational |
プロジェクトのエンティティの評価結果の概要を表します。 |
Conversational |
エンティティの評価結果を表します。 |
Conversational |
評価の実行に使用されるオプションを表します。 |
Conversational |
評価結果の概要を表します。 |
Conversational |
意図の評価の概要。 |
Conversational |
プロジェクトの意図の評価の概要を表します。 |
Error |
error オブジェクト。 |
Error |
人間が判読できるエラー コード。 |
Error |
エラー応答。 |
Evaluation |
評価の種類を表します。 既定では、評価の種類は percentage に設定されています。 |
Inner |
人間が判読できるエラー コード。 |
Inner |
エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。 |
ConversationalAnalysisAuthoringEntitiesEvaluationSummary
プロジェクトのエンティティの評価結果の概要を表します。
名前 | 型 | 説明 |
---|---|---|
confusionMatrix |
object |
2 つのエンティティ間の混同行列を表します (2 つのエンティティは同じにすることができます)。 マトリックスは、ラベル付けされたエンティティと予測されたエンティティの間にあります。 |
entities |
<string,
Conversational |
エンティティの評価の概要を表します。 |
macroF1 |
number |
マクロ F1 を表します |
macroPrecision |
number |
マクロの有効桁数を表します |
macroRecall |
number |
マクロの呼び戻しを表します |
microF1 |
number |
マイクロ F1 を表します |
microPrecision |
number |
マイクロ精度を表します |
microRecall |
number |
マイクロリコールを表します |
ConversationalAnalysisAuthoringEntityEvaluationSummary
エンティティの評価結果を表します。
名前 | 型 | 説明 |
---|---|---|
f1 |
number |
モデルの精度を表します |
falseNegativeCount |
integer |
偽陰性の数を表します |
falsePositiveCount |
integer |
誤検知の数を表します |
precision |
number |
モデルの呼び戻しを表します |
recall |
number |
モデル F1 スコアを表します |
trueNegativeCount |
integer |
真負の数を表します |
truePositiveCount |
integer |
真陽性の数を表します |
ConversationalAnalysisAuthoringEvaluationOptions
評価の実行に使用されるオプションを表します。
名前 | 型 | 説明 |
---|---|---|
kind |
評価の種類を表します。 既定では、評価の種類は percentage に設定されています。 |
|
testingSplitPercentage |
integer |
テスト データセットの分割率を表します。 評価の種類がパーセントの場合にのみ必要です。 |
trainingSplitPercentage |
integer |
トレーニング データセットの分割率を表します。 評価の種類がパーセントの場合にのみ必要です。 |
ConversationalAnalysisAuthoringEvaluationSummary
評価結果の概要を表します。
名前 | 型 | 説明 |
---|---|---|
entitiesEvaluation |
エンティティの評価に関連するデータを格納します。 |
|
evaluationOptions |
評価の実行中に使用されたオプション。 |
|
intentsEvaluation |
意図の評価に関連するデータを格納します。 |
ConversationalAnalysisAuthoringIntentEvaluationSummary
意図の評価の概要。
名前 | 型 | 説明 |
---|---|---|
f1 |
number |
モデルの精度を表します |
falseNegativeCount |
integer |
偽陰性の数を表します |
falsePositiveCount |
integer |
誤検知の数を表します |
precision |
number |
モデルの呼び戻しを表します |
recall |
number |
モデル F1 スコアを表します |
trueNegativeCount |
integer |
真負の数を表します |
truePositiveCount |
integer |
真陽性の数を表します |
ConversationalAnalysisAuthoringIntentsEvaluationSummary
プロジェクトの意図の評価の概要を表します。
名前 | 型 | 説明 |
---|---|---|
confusionMatrix |
object |
2 つの意図間の混同行列を表します (2 つの意図は同じにすることができます)。 マトリックスは、ラベル付けされた意図と予測された意図の間にあります。 |
intents |
<string,
Conversational |
意図の評価の概要を表します。 |
macroF1 |
number |
マクロ F1 を表します |
macroPrecision |
number |
マクロの有効桁数を表します |
macroRecall |
number |
マクロの呼び戻しを表します |
microF1 |
number |
マイクロ F1 を表します |
microPrecision |
number |
マイクロ精度を表します |
microRecall |
number |
マイクロリコールを表します |
Error
error オブジェクト。
名前 | 型 | 説明 |
---|---|---|
code |
サーバー定義のエラー コードのセットの 1 つ。 |
|
details |
Error[] |
この報告されたエラーの原因となった特定のエラーに関する詳細の配列。 |
innererror |
エラーに関する現在のオブジェクトよりも具体的な情報を含む オブジェクト。 |
|
message |
string |
エラーの人間が判読できる表現。 |
target |
string |
エラーのターゲット。 |
ErrorCode
人間が判読できるエラー コード。
名前 | 型 | 説明 |
---|---|---|
AzureCognitiveSearchIndexLimitReached |
string |
|
AzureCognitiveSearchIndexNotFound |
string |
|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
Conflict |
string |
|
Forbidden |
string |
|
InternalServerError |
string |
|
InvalidArgument |
string |
|
InvalidRequest |
string |
|
NotFound |
string |
|
OperationNotFound |
string |
|
ProjectNotFound |
string |
|
QuotaExceeded |
string |
|
ServiceUnavailable |
string |
|
Timeout |
string |
|
TooManyRequests |
string |
|
Unauthorized |
string |
|
Warning |
string |
ErrorResponse
エラー応答。
名前 | 型 | 説明 |
---|---|---|
error |
error オブジェクト。 |
EvaluationKind
評価の種類を表します。 既定では、評価の種類は percentage に設定されています。
名前 | 型 | 説明 |
---|---|---|
manual |
string |
データ内のすべての例について、選択したデータセットに従ってデータを分割します。 |
percentage |
string |
ユーザー定義の割合に従って、データをトレーニング セットとテスト セットに分割します。 |
InnerErrorCode
人間が判読できるエラー コード。
名前 | 型 | 説明 |
---|---|---|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
EmptyRequest |
string |
|
ExtractionFailure |
string |
|
InvalidCountryHint |
string |
|
InvalidDocument |
string |
|
InvalidDocumentBatch |
string |
|
InvalidParameterValue |
string |
|
InvalidRequest |
string |
|
InvalidRequestBodyFormat |
string |
|
KnowledgeBaseNotFound |
string |
|
MissingInputDocuments |
string |
|
ModelVersionIncorrect |
string |
|
UnsupportedLanguageCode |
string |
InnerErrorModel
エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。
名前 | 型 | 説明 |
---|---|---|
code |
サーバー定義のエラー コードのセットの 1 つ。 |
|
details |
object |
エラーの詳細。 |
innererror |
エラーに関する現在のオブジェクトよりも具体的な情報を含む オブジェクト。 |
|
message |
string |
エラー メッセージ。 |
target |
string |
エラーターゲット。 |