Condividi tramite

Text Analysis Authoring - Get Model Evaluation Summary

  • Riferimento
Servizio:
Azure AI Services
Versione API:
2023-04-01

Ottiene il riepilogo della valutazione di un modello sottoposto a training. Il riepilogo include misurazioni di prestazioni elevate del modello, ad esempio F1, Precisione, Richiamo e così via.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametri dell'URI

Nome In Necessario Tipo Descrizione
Endpoint
 path True

string

url

Endpoint di Servizi cognitivi supportati, ad esempio https://.api.cognitiveservices.azure.com.
projectName
 path True

string

Nome del progetto da utilizzare.
trainedModelLabel
 path True

string

Etichetta del modello con training.
api-version
 query True

string

Versione dell'API da usare per questa operazione.

Risposte

Nome Tipo Descrizione
200 OK TextAnalysisAuthoringEvaluationSummary:

La richiesta ha avuto esito positivo.
Other Status Codes

ErrorResponse

Risposta di errore imprevista.

Sicurezza

Ocp-Apim-Subscription-Key

Tipo: apiKey
In: header

OAuth2Auth

Tipo: oauth2
Flow: accessCode
URL di autorizzazione: https://login.microsoftonline.com/common/oauth2/authorize
URL token: https://login.microsoftonline.com/common/oauth2/token

Ambiti

Nome Descrizione
https://cognitiveservices.azure.com/.default

Esempio

SuccessfulGetModelEvaluationSummary

Esempio di richiesta

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Risposta di esempio

Codice di stato:
200 
{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definizioni

Nome Descrizione
Error

Oggetto error.
ErrorCode

Codice di errore leggibile.
ErrorResponse

Risposta di errore.
EvaluationKind
InnerErrorCode

Codice di errore leggibile.
InnerErrorModel

Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One , https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.
TextAnalysisAuthoringEntityEvaluationSummary

Rappresenta il riepilogo della valutazione per un'entità.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione a etichetta singola.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Error

Oggetto error.

Nome Tipo Descrizione
code

ErrorCode

Uno di un set definito dal server di codici di errore.
details

Error[]

Matrice di dettagli sugli errori specifici che hanno causato l'errore segnalato.
innererror

InnerErrorModel

Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message

string

Rappresentazione leggibile dell'errore.
target

string

Destinazione dell'errore.

ErrorCode

Codice di errore leggibile.

Nome Tipo Descrizione
AzureCognitiveSearchIndexLimitReached

string

AzureCognitiveSearchIndexNotFound

string

AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

Conflict

string

Forbidden

string

InternalServerError

string

InvalidArgument

string

InvalidRequest

string

NotFound

string

OperationNotFound

string

ProjectNotFound

string

QuotaExceeded

string

ServiceUnavailable

string

Timeout

string

TooManyRequests

string

Unauthorized

string

Warning

string

ErrorResponse

Risposta di errore.

Nome Tipo Descrizione
error

Error

Oggetto error.

EvaluationKind

Nome Tipo Descrizione
manual

string

Suddividere i dati in base al set di dati scelto per ogni esempio nei dati.
percentage

string

Suddividere i dati in set di training e test in base alle percentuali definite dall'utente.

InnerErrorCode

Codice di errore leggibile.

Nome Tipo Descrizione
AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

EmptyRequest

string

ExtractionFailure

string

InvalidCountryHint

string

InvalidDocument

string

InvalidDocumentBatch

string

InvalidParameterValue

string

InvalidRequest

string

InvalidRequestBodyFormat

string

KnowledgeBaseNotFound

string

MissingInputDocuments

string

ModelVersionIncorrect

string

UnsupportedLanguageCode

string

InnerErrorModel

Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One , https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nome Tipo Descrizione
code

InnerErrorCode

Uno di un set definito dal server di codici di errore.
details

object

Dettagli errore.
innererror

InnerErrorModel

Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message

string

Messaggio di errore.
target

string

Destinazione errore.

ProjectKind

Nome Tipo Descrizione
CustomEntityRecognition

string

Per creare un modello di estrazione per identificare le categorie di dominio usando i propri dati.
CustomMultiLabelClassification

string

Per creare un modello di classificazione per classificare il testo usando i propri dati. Ogni file può avere una o più etichette. Ad esempio, il file 1 viene classificato come A, B e C e il file 2 viene classificato come B e C.
CustomSingleLabelClassification

string

Per creare un modello di classificazione per classificare il testo usando i propri dati. Ogni file avrà una sola etichetta. Ad esempio, il file 1 viene classificato come A e il file 2 viene classificato come B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.

Nome Tipo Descrizione
customEntityRecognitionEvaluation

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Contiene i dati correlati alla valutazione dell'estrazione.
evaluationOptions

TextAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind string:

CustomEntityRecognition

Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.

Nome Tipo Descrizione
customMultiLabelClassificationEvaluation

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Contiene i dati correlati alla valutazione della classificazione a più etichette.
evaluationOptions

TextAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind string:

CustomMultiLabelClassification

Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Nome Tipo Descrizione
customSingleLabelClassificationEvaluation

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Contiene i dati correlati alla valutazione della classificazione a etichetta singola.
evaluationOptions

TextAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind string:

CustomSingleLabelClassification

Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringEntityEvaluationSummary

Rappresenta il riepilogo della valutazione per un'entità.

Nome Tipo Descrizione
f1

number

Rappresenta la precisione del modello
falseNegativeCount

integer

Rappresenta il conteggio di falsi negativi
falsePositiveCount

integer

Rappresenta il conteggio dei falsi positivi
precision

number

Rappresenta il richiamo del modello
recall

number

Rappresenta il punteggio F1 del modello
trueNegativeCount

integer

Rappresenta il conteggio di veri negativi
truePositiveCount

integer

Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.

Nome Tipo Descrizione
confusionMatrix

object

Rappresenta la matrice di confusione tra due entità (le due entità possono essere uguali). La matrice è tra l'entità etichettata e l'entità stimata.
entities

<string,  TextAnalysisAuthoringEntityEvaluationSummary>

Rappresenta la valutazione delle entità
macroF1

number

Rappresenta la macro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroPrecision

number

Rappresenta la precisione della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroRecall

number

Rappresenta il richiamo della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microF1

number

Rappresenta il micro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microPrecision

number

Rappresenta la micro precisione. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microRecall

number

Rappresenta il micro richiamo. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.

TextAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.

Nome Tipo Descrizione
kind

EvaluationKind

Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentuale.
testingSplitPercentage

integer

Rappresenta la percentuale di divisione del set di dati di test. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.
trainingSplitPercentage

integer

Rappresenta la percentuale di divisione del set di dati di training. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.

Nome Tipo Descrizione
f1

number

Rappresenta la precisione del modello
falseNegativeCount

integer

Rappresenta il conteggio di falsi negativi
falsePositiveCount

integer

Rappresenta il conteggio dei falsi positivi
precision

number

Rappresenta il richiamo del modello
recall

number

Rappresenta il punteggio F1 del modello
trueNegativeCount

integer

Rappresenta il conteggio di veri negativi
truePositiveCount

integer

Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.

Nome Tipo Descrizione
classes

<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>

Rappresenta la valutazione delle classi
macroF1

number

Rappresenta la macro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroPrecision

number

Rappresenta la precisione della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroRecall

number

Rappresenta il richiamo della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microF1

number

Rappresenta il micro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microPrecision

number

Rappresenta la micro precisione. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microRecall

number

Rappresenta il micro richiamo. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione a etichetta singola.

Nome Tipo Descrizione
f1

number

Rappresenta la precisione del modello
falseNegativeCount

integer

Rappresenta il conteggio di falsi negativi
falsePositiveCount

integer

Rappresenta il conteggio dei falsi positivi
precision

number

Rappresenta il richiamo del modello
recall

number

Rappresenta il punteggio F1 del modello
trueNegativeCount

integer

Rappresenta il conteggio di veri negativi
truePositiveCount

integer

Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione a etichetta singola personalizzato.

Nome Tipo Descrizione
classes

<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>

Rappresenta la valutazione delle classi
confusionMatrix

object

Rappresenta la matrice di confusione tra due classi (le due classi possono essere uguali). La matrice è tra la classe etichettata e la classe stimata.
macroF1

number

Rappresenta la macro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroPrecision

number

Rappresenta la precisione della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
macroRecall

number

Rappresenta il richiamo della macro. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microF1

number

Rappresenta il micro F1. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microPrecision

number

Rappresenta la micro precisione. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.
microRecall

number

Rappresenta il micro richiamo. Il valore previsto è un valore float compreso tra 0 e 1 inclusi.