Conversational Analysis Authoring - Get Model Evaluation Summary
Obtém o resumo de avaliação de um modelo preparado. O resumo inclui medições de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Revocação, etc.
GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01
Parâmetros do URI
Name | Em | Necessário | Tipo | Description |
---|---|---|---|---|
Endpoint
|
path | True |
string |
Ponto final dos Serviços Cognitivos suportado (por exemplo, https://.api.cognitiveservices.azure.com). |
project
|
path | True |
string |
O nome do projeto a utilizar. |
trained
|
path | True |
string |
A etiqueta do modelo preparado. |
api-version
|
query | True |
string |
Versão da API de Cliente. |
Respostas
Name | Tipo | Description |
---|---|---|
200 OK |
Lista de todos os resultados da avaliação. |
|
Other Status Codes |
Resposta de erro. |
Segurança
AADToken
Estes são os Fluxos OAuth2 do Azure Active Directory . Quando emparelhado com o controlo de acesso baseado em funções do Azure, pode ser utilizado para controlar o acesso às APIs REST Azure Maps. Os controlos de acesso baseados em funções do Azure são utilizados para designar o acesso a uma ou mais Azure Maps conta de recursos ou sub-recursos. Qualquer utilizador, grupo ou principal de serviço pode ter acesso através de uma função incorporada ou de uma função personalizada composta por uma ou mais permissões para Azure Maps APIs REST.
Para implementar cenários, recomendamos que veja os conceitos de autenticação. Em resumo, esta definição de segurança fornece uma solução para modelar aplicações através de objetos com capacidade de controlo de acesso em APIs e âmbitos específicos.
Notas
- Esta definição de segurança requer a utilização do
x-ms-client-id
cabeçalho para indicar a que recurso Azure Maps a aplicação está a pedir acesso. Isto pode ser adquirido a partir da API de gestão do Maps.
O Authorization URL
é específico da instância da cloud pública do Azure. As clouds soberanas têm URLs de Autorização exclusivos e configurações do Azure Active Directory.
* O controlo de acesso baseado em funções do Azure está configurado a partir do plano de gestão do Azure através de portal do Azure, PowerShell, CLI, SDKs do Azure ou APIs REST.
* A utilização do SDK Web Azure Maps permite a configuração baseada na configuração de uma aplicação para vários casos de utilização.
- Atualmente, o Azure Active Directory v1.0 ou v2.0 suporta o Trabalho, a Escola e os Convidados, mas não suporta contas Pessoais.
Tipo:
oauth2
Fluxo:
implicit
URL de Autorização:
https://login.microsoftonline.com/common/oauth2/authorize
Âmbitos
Name | Description |
---|---|
https://cognitiveservices.azure.com/.default | https://cognitiveservices.azure.com/.default |
Ocp-Apim-Subscription-Key
Uma chave de subscrição para um recurso do Serviço de idiomas.
Tipo:
apiKey
Em:
header
Exemplos
Successful Get Model Evaluation Summary
Pedido de amostra
GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01
Resposta da amostra
{
"entitiesEvaluation": {
"confusionMatrix": {
"Attachment": {
"Attachment": {
"normalizedValue": 100,
"rawValue": 3
}
},
"Category": {
"Category": {
"normalizedValue": 91.666664,
"rawValue": 11
},
"$none": {
"normalizedValue": 8.333333,
"rawValue": 1
}
},
"ContactName": {
"ContactName": {
"normalizedValue": 91.666664,
"rawValue": 22
},
"SenderName": {
"normalizedValue": 4.1666665,
"rawValue": 1
},
"$none": {
"normalizedValue": 4.1666665,
"rawValue": 1
}
},
"Date": {
"Date": {
"normalizedValue": 100,
"rawValue": 2
}
},
"EmailSubject": {
"EmailSubject": {
"normalizedValue": 93.33333,
"rawValue": 9.333334
},
"$none": {
"normalizedValue": 6.6666665,
"rawValue": 0.6666667
}
},
"FromRelationshipName": {
"FromRelationshipName": {
"normalizedValue": 100,
"rawValue": 1
}
},
"Line": {
"Line": {
"normalizedValue": 100,
"rawValue": 2
}
},
"Message": {
"Message": {
"normalizedValue": 81.2063,
"rawValue": 6.496504
},
"EmailSubject": {
"normalizedValue": 7.43007,
"rawValue": 0.5944056
},
"$none": {
"normalizedValue": 9.120047,
"rawValue": 0.7296037
},
"Date": {
"normalizedValue": 2.2435899,
"rawValue": 0.17948718
}
},
"OrderReference": {
"OrderReference": {
"normalizedValue": 100,
"rawValue": 17
}
},
"PositionReference": {
"$none": {
"normalizedValue": 100,
"rawValue": 1
}
},
"RelationshipName": {
"RelationshipName": {
"normalizedValue": 66.666664,
"rawValue": 2
},
"$none": {
"normalizedValue": 33.333332,
"rawValue": 1
}
},
"SearchTexts": {
"SearchTexts": {
"normalizedValue": 100,
"rawValue": 4
}
},
"SenderName": {
"SenderName": {
"normalizedValue": 88.888885,
"rawValue": 8
},
"ContactName": {
"normalizedValue": 11.111111,
"rawValue": 1
}
},
"Time": {
"$none": {
"normalizedValue": 100,
"rawValue": 2
}
},
"$none": {
"$none": {
"normalizedValue": 99.739265,
"rawValue": 162.575
},
"Category": {
"normalizedValue": 0.2607362,
"rawValue": 0.425
}
}
},
"entities": {
"ContactName": {
"f1": 0.9361702799797058,
"precision": 0.95652174949646,
"recall": 0.9166666865348816,
"truePositiveCount": 22,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 2
},
"Category": {
"f1": 0.8799999952316284,
"precision": 0.8461538553237915,
"recall": 0.9166666865348816,
"truePositiveCount": 11,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 1
},
"SenderName": {
"f1": 0.8888888955116272,
"precision": 0.8888888955116272,
"recall": 0.8888888955116272,
"truePositiveCount": 8,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 1
},
"EmailSubject": {
"f1": 0.8181817531585693,
"precision": 0.75,
"recall": 0.8999999761581421,
"truePositiveCount": 9,
"trueNegativeCount": 0,
"falsePositiveCount": 3,
"falseNegativeCount": 1
},
"Message": {
"f1": 0.75,
"precision": 0.75,
"recall": 0.75,
"truePositiveCount": 6,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 2
},
"Date": {
"f1": 0.800000011920929,
"precision": 0.6666666865348816,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 0
},
"OrderReference": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchTexts": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Attachment": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"RelationshipName": {
"f1": 0.800000011920929,
"precision": 1,
"recall": 0.6666666865348816,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
},
"Line": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Time": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 2
},
"FromRelationshipName": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"PositionReference": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
}
},
"microF1": 0.8923077,
"microPrecision": 0.8969072,
"microRecall": 0.8877551,
"macroF1": 0.7766601,
"macroPrecision": 0.7755879,
"macroRecall": 0.78849214
},
"intentsEvaluation": {
"confusionMatrix": {
"AddFlag": {
"AddFlag": {
"normalizedValue": 100,
"rawValue": 6
}
},
"AddMore": {
"AddMore": {
"normalizedValue": 100,
"rawValue": 17
}
},
"Cancel": {
"Cancel": {
"normalizedValue": 100,
"rawValue": 9
}
},
"CheckMessages": {
"CheckMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"Confirm": {
"Confirm": {
"normalizedValue": 100,
"rawValue": 4
}
},
"Delete": {
"Delete": {
"normalizedValue": 100,
"rawValue": 5
}
},
"Forward": {
"Forward": {
"normalizedValue": 100,
"rawValue": 6
}
},
"None": {
"None": {
"normalizedValue": 100,
"rawValue": 1
}
},
"QueryLastText": {
"QueryLastText": {
"normalizedValue": 100,
"rawValue": 6
}
},
"ReadAloud": {
"ReadAloud": {
"normalizedValue": 100,
"rawValue": 16
}
},
"Reply": {
"Reply": {
"normalizedValue": 100,
"rawValue": 6
}
},
"SearchMessages": {
"SearchMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"SendEmail": {
"SendEmail": {
"normalizedValue": 100,
"rawValue": 20
}
},
"ShowNext": {
"ShowNext": {
"normalizedValue": 100,
"rawValue": 4
}
},
"ShowPrevious": {
"ShowPrevious": {
"normalizedValue": 100,
"rawValue": 3
}
}
},
"intents": {
"AddMore": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 104,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Cancel": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SendEmail": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 20,
"trueNegativeCount": 101,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"CheckMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"AddFlag": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Reply": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ReadAloud": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 16,
"trueNegativeCount": 105,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"QueryLastText": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Delete": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 5,
"trueNegativeCount": 116,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Forward": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Confirm": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowNext": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowPrevious": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 118,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"None": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 120,
"falsePositiveCount": 0,
"falseNegativeCount": 0
}
},
"microF1": 1,
"microPrecision": 1,
"microRecall": 1,
"macroF1": 1,
"macroPrecision": 1,
"macroRecall": 1
},
"evaluationOptions": {
"kind": "percentage",
"trainingSplitPercentage": 80,
"testingSplitPercentage": 20
}
}
Definições
Name | Description |
---|---|
Conversational |
Representa o resumo do resultado da avaliação para as entidades do projeto. |
Conversational |
Representa o resultado da avaliação de uma entidade. |
Conversational |
Representa as opções utilizadas para executar a avaliação. |
Conversational |
Representa o resumo do resultado da avaliação. |
Conversational |
O resumo de avaliação de uma intenção. |
Conversational |
Representa o resumo de avaliação das intenções do projeto. |
Error |
O objeto de erro. |
Error |
Código de erro legível por humanos. |
Error |
Resposta de erro. |
Evaluation |
Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem. |
Inner |
Código de erro legível por humanos. |
Inner |
Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses. |
ConversationalAnalysisAuthoringEntitiesEvaluationSummary
Representa o resumo do resultado da avaliação para as entidades do projeto.
Name | Tipo | Description |
---|---|---|
confusionMatrix |
object |
Representa a matriz de confusão entre duas entidades (as duas entidades podem ser as mesmas). A matriz é entre a entidade que foi rotulada e a entidade que foi prevista. |
entities |
<string,
Conversational |
Representa o resumo de avaliação de entidades. |
macroF1 |
number |
Representa a macro F1 |
macroPrecision |
number |
Representa a precisão da macro |
macroRecall |
number |
Representa a recolha de macros |
microF1 |
number |
Representa o micro F1 |
microPrecision |
number |
Representa a micro precisão |
microRecall |
number |
Representa a micro revocação |
ConversationalAnalysisAuthoringEntityEvaluationSummary
Representa o resultado da avaliação de uma entidade.
Name | Tipo | Description |
---|---|---|
f1 |
number |
Representa a precisão do modelo |
falseNegativeCount |
integer |
Representa a contagem de falsos negativos |
falsePositiveCount |
integer |
Representa a contagem de falsos positivos |
precision |
number |
Representa a revocação do modelo |
recall |
number |
Representa a classificação F1 do modelo |
trueNegativeCount |
integer |
Representa a contagem de verdadeiros negativos |
truePositiveCount |
integer |
Representa a contagem de verdadeiros positivos |
ConversationalAnalysisAuthoringEvaluationOptions
Representa as opções utilizadas para executar a avaliação.
Name | Tipo | Description |
---|---|---|
kind |
Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem. |
|
testingSplitPercentage |
integer |
Representa a percentagem de divisão do conjunto de dados de teste. Só é necessário caso o tipo de avaliação seja percentagem. |
trainingSplitPercentage |
integer |
Representa a percentagem de divisão do conjunto de dados de preparação. Só é necessário caso o tipo de avaliação seja percentagem. |
ConversationalAnalysisAuthoringEvaluationSummary
Representa o resumo do resultado da avaliação.
Name | Tipo | Description |
---|---|---|
entitiesEvaluation |
Contém os dados relacionados com a avaliação de entidades. |
|
evaluationOptions |
As opções que foram utilizadas durante a execução da avaliação. |
|
intentsEvaluation |
Contém os dados relacionados com a avaliação de intenções. |
ConversationalAnalysisAuthoringIntentEvaluationSummary
O resumo de avaliação de uma intenção.
Name | Tipo | Description |
---|---|---|
f1 |
number |
Representa a precisão do modelo |
falseNegativeCount |
integer |
Representa a contagem de falsos negativos |
falsePositiveCount |
integer |
Representa a contagem de falsos positivos |
precision |
number |
Representa a revocação do modelo |
recall |
number |
Representa a classificação F1 do modelo |
trueNegativeCount |
integer |
Representa a contagem de verdadeiros negativos |
truePositiveCount |
integer |
Representa a contagem de verdadeiros positivos |
ConversationalAnalysisAuthoringIntentsEvaluationSummary
Representa o resumo de avaliação das intenções do projeto.
Name | Tipo | Description |
---|---|---|
confusionMatrix |
object |
Representa a matriz de confusão entre duas intenções (as duas intenções podem ser as mesmas). A matriz está entre a intenção que foi rotulada e a intenção que foi prevista. |
intents |
<string,
Conversational |
Representa o resumo da avaliação das intenções. |
macroF1 |
number |
Representa a macro F1 |
macroPrecision |
number |
Representa a precisão da macro |
macroRecall |
number |
Representa a recolha de macros |
microF1 |
number |
Representa o micro F1 |
microPrecision |
number |
Representa a micro precisão |
microRecall |
number |
Representa a micro revocação |
Error
O objeto de erro.
Name | Tipo | Description |
---|---|---|
code |
Um dos conjuntos de códigos de erro definidos pelo servidor. |
|
details |
Error[] |
Uma série de detalhes sobre erros específicos que levaram a este erro comunicado. |
innererror |
Um objeto que contém informações mais específicas do que o objeto atual sobre o erro. |
|
message |
string |
Uma representação legível por humanos do erro. |
target |
string |
O destino do erro. |
ErrorCode
Código de erro legível por humanos.
Name | Tipo | Description |
---|---|---|
AzureCognitiveSearchIndexLimitReached |
string |
|
AzureCognitiveSearchIndexNotFound |
string |
|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
Conflict |
string |
|
Forbidden |
string |
|
InternalServerError |
string |
|
InvalidArgument |
string |
|
InvalidRequest |
string |
|
NotFound |
string |
|
OperationNotFound |
string |
|
ProjectNotFound |
string |
|
QuotaExceeded |
string |
|
ServiceUnavailable |
string |
|
Timeout |
string |
|
TooManyRequests |
string |
|
Unauthorized |
string |
|
Warning |
string |
ErrorResponse
Resposta de erro.
Name | Tipo | Description |
---|---|---|
error |
O objeto de erro. |
EvaluationKind
Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.
Name | Tipo | Description |
---|---|---|
manual |
string |
Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados. |
percentage |
string |
Divida os dados em conjuntos de preparação e teste de acordo com percentagens definidas pelo utilizador. |
InnerErrorCode
Código de erro legível por humanos.
Name | Tipo | Description |
---|---|---|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
EmptyRequest |
string |
|
ExtractionFailure |
string |
|
InvalidCountryHint |
string |
|
InvalidDocument |
string |
|
InvalidDocumentBatch |
string |
|
InvalidParameterValue |
string |
|
InvalidRequest |
string |
|
InvalidRequestBodyFormat |
string |
|
KnowledgeBaseNotFound |
string |
|
MissingInputDocuments |
string |
|
ModelVersionIncorrect |
string |
|
UnsupportedLanguageCode |
string |
InnerErrorModel
Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
Name | Tipo | Description |
---|---|---|
code |
Um dos conjuntos de códigos de erro definidos pelo servidor. |
|
details |
object |
Detalhes do erro. |
innererror |
Um objeto que contém informações mais específicas do que o objeto atual sobre o erro. |
|
message |
string |
Mensagem de erro. |
target |
string |
Destino do erro. |