Model Evaluations - Create

참조

서비스:: Azure AI Services

API 버전:: 2023-04-01-preview

기존 모델을 평가합니다.

반환된 상태 코드:

201: 작업이 성공적으로 완료되었습니다.
400: 요청 형식이 잘못되었습니다.
409: 지정된 이름의 평가가 이미 있습니다.

PUT /models/{name}/evaluations/{evaluationName}?api-version=2023-04-01-preview

URI 매개 변수

Name In(다음 안에) 필수 형식 Description

Name	In(다음 안에)	필수	형식	Description
evaluationName	path	True	string	평가를 만든 후 고유하게 식별하는 데 사용할 수 있는 이름입니다. regex 패턴: `^[a-zA-Z0-9][a-zA-Z0-9._-]*$`
name	path	True	string	평가할 모델의 이름입니다. regex 패턴: `^[a-zA-Z0-9][a-zA-Z0-9._-]*$`
api-version	query	True	string	요청된 API 버전입니다.

evaluationName

path

True

string

평가를 만든 후 고유하게 식별하는 데 사용할 수 있는 이름입니다.

regex 패턴: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$

name

path

True

string

평가할 모델의 이름입니다.

regex 패턴: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$

api-version

query

True

string

요청된 API 버전입니다.

요청 본문

Media Types: "application/json-patch+json"

Name	필수	형식	Description
evaluationParameters	True	ModelEvaluationParameters	모델을 평가하는 방법을 지정하기 위한 매개 변수입니다.
createdDateTime		string	읽기 전용입니다. 평가 실행이 처음 만들어진 날짜 및 시간(UTC)입니다.
error		ErrorResponseDetails	오류 정보입니다.
modelName		string	읽기 전용입니다. 평가할 모델입니다.
modelPerformance		ModelPerformance	사용자 지정 학습된 모델에 대한 성능 메트릭입니다.
name		string	읽기 전용입니다. 평가 실행을 고유하게 식별하는 데 사용되는 이름입니다.
status		ModelEvaluationState	읽기 전용입니다. 평가 실행의 현재 상태입니다.
updatedDateTime		string	읽기 전용입니다. 평가 실행이 마지막으로 업데이트된 날짜 및 시간(UTC)입니다.

응답

Name	형식	Description
201 Created	ModelEvaluation	생성일
Other Status Codes	ErrorResponse	오류 헤더 x-ms-error-code: string

Name

형식

Description

201 Created

ModelEvaluation

생성일

Other Status Codes

ErrorResponse

오류

헤더

x-ms-error-code: string

예제

ModelEvaluations_Create

샘플 요청

HTTP

PUT /models/my_model_name/evaluations/my_evaluation_name?api-version=2023-04-01-preview

{
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

샘플 응답

상태 코드:: 201

{
  "name": "my_evaluation_name",
  "modelName": "my_model_name",
  "createdDateTime": "2023-01-13T20:46:22.127Z",
  "updatedDateTime": "2023-01-13T20:46:22.127Z",
  "status": "notStarted",
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

정의

Name	Description
ErrorResponse	오류가 발생할 때 응답이 반환됩니다.
ErrorResponseDetails	오류 정보입니다.
ErrorResponseInnerError	자세한 오류입니다.
ModelEvaluation	테스트 집합을 사용하여 모델의 정확도를 평가하기 위한 평가 실행을 설명합니다.
ModelEvaluationParameters	모델을 평가하는 방법을 지정하기 위한 매개 변수입니다.
ModelEvaluationState	읽기 전용입니다. 평가 실행의 현재 상태입니다.
ModelPerformance	사용자 지정 학습된 모델에 대한 성능 메트릭입니다.
ModelTagPerformance	사용자 지정 학습된 모델에서 인식되는 각 태그에 대한 성능 메트릭입니다.

ErrorResponse

오류가 발생할 때 응답이 반환됩니다.

Name	형식	Description
error	ErrorResponseDetails	오류 정보입니다.

ErrorResponseDetails

오류 정보입니다.

Name	형식	Description
code	string	오류 코드
details	ErrorResponseDetails[]	자세한 오류 목록입니다.
innererror	ErrorResponseInnerError	자세한 오류입니다.
message	string	오류 메시지입니다.
target	string	오류의 대상입니다.

ErrorResponseInnerError

자세한 오류입니다.

Name	형식	Description
code	string	오류 코드
innererror	ErrorResponseInnerError	자세한 오류입니다.
message	string	오류 메시지입니다.

ModelEvaluation

테스트 집합을 사용하여 모델의 정확도를 평가하기 위한 평가 실행을 설명합니다.

Name	형식	Description
createdDateTime	string	읽기 전용입니다. 평가 실행이 처음 만들어진 날짜 및 시간(UTC)입니다.
error	ErrorResponseDetails	오류 정보입니다.
evaluationParameters	ModelEvaluationParameters	모델을 평가하는 방법을 지정하기 위한 매개 변수입니다.
modelName	string	읽기 전용입니다. 평가할 모델입니다.
modelPerformance	ModelPerformance	사용자 지정 학습된 모델에 대한 성능 메트릭입니다.
name	string	읽기 전용입니다. 평가 실행을 고유하게 식별하는 데 사용되는 이름입니다.
status	ModelEvaluationState	읽기 전용입니다. 평가 실행의 현재 상태입니다.
updatedDateTime	string	읽기 전용입니다. 평가 실행이 마지막으로 업데이트된 날짜 및 시간(UTC)입니다.

ModelEvaluationParameters

모델을 평가하는 방법을 지정하기 위한 매개 변수입니다.

Name	형식	Description
testDatasetName	string	테스트에 사용되는 데이터 세트 이름입니다.

ModelEvaluationState

읽기 전용입니다. 평가 실행의 현재 상태입니다.

Name	형식	Description
failed	string
notStarted	string
running	string
succeeded	string

ModelPerformance

사용자 지정 학습된 모델에 대한 성능 메트릭입니다.

Name	형식	Description
accuracyTop1	number	읽기 전용입니다. 다중 클래스 분류 모델의 경우. 지상 진리 클래스가 예측 클래스와 일치하는 테스트 샘플의 비율입니다.
accuracyTop5	number	읽기 전용입니다. 다중 클래스 분류 모델의 경우. 지상 진리 클래스가 예측된 상위 5개 클래스에 있는 테스트 샘플의 비율입니다.
averagePrecision	number	읽기 전용입니다. 모델 성능의 측정값으로, 다양한 신뢰도 임계값에서 정밀도 및 재현율을 요약합니다.
calibrationECE	number	읽기 전용입니다. 다중 클래스 분류 모델의 경우. 예상되는 보정 오류입니다.
meanAveragePrecision30	number	읽기 전용입니다. 개체 감지 모델의 경우. 임계값 30%의 평균 정밀도입니다.
meanAveragePrecision50	number	읽기 전용입니다. 개체 감지 모델의 경우. 임계값 50%의 평균 정밀도입니다.
meanAveragePrecision75	number	읽기 전용입니다. 개체 감지 모델의 경우. 임계값 75%의 평균 정밀도입니다.
tagPerformance	<string, ModelTagPerformance>	읽기 전용입니다. 모델에서 인식하는 각 태그에 대한 성능 메트릭입니다.

ModelTagPerformance

사용자 지정 학습된 모델에서 인식되는 각 태그에 대한 성능 메트릭입니다.

Name	형식	Description
accuracy	number	읽기 전용입니다. 다중 클래스 모델의 경우. 태그 정확도.
averagePrecision50	number	읽기 전용입니다. 개체 감지 모델의 경우. 임계값 50%의 평균 정밀도입니다.

다음을 통해 공유

Model Evaluations - Create

URI 매개 변수

요청 본문

응답

예제

ModelEvaluations_Create

샘플 요청

샘플 응답

정의

ErrorResponse

ErrorResponseDetails

ErrorResponseInnerError

ModelEvaluation

ModelEvaluationParameters

ModelEvaluationState

ModelPerformance

ModelTagPerformance

추가 리소스