AutoML을 사용하여 분류

AutoML을 사용하여 지정된 입력의 레이블 또는 범주를 예측하는 최상의 분류 알고리즘 및 하이퍼 매개 변수 구성을 자동으로 찾습니다.

UI를 사용하여 분류 실험 Set

다음 단계에서 AutoML UI를 사용하여 분류 문제를 set 수 있습니다.

1. 사이드바에서 select실험.

2. 분류 카드에서 select학습시작합니다.

   AutoML 실험 구성 페이지가 표시됩니다. 이 페이지에서는 AutoML 프로세스를 구성하며, 데이터 세트를 지정하고, 문제 유형, 예측할 대상 또는 레이블 column, 실험 실행을 평가하고 점수 매기는 데 사용할 메트릭, 그리고 중지를 위한 조건을 설정합니다.

3. 컴퓨팅 필드에서 Databricks Runtime ML을 실행하는 select 클러스터.

4. 데이터 세트아래에서찾아보기 .

5. 사용하려는 table으로 이동한 다음, Select를 클릭합니다. table schema 나타납니다.

   • Databricks Runtime 10.3 ML 이상에서는학습에 사용할 AutoML을 지정할 수 있습니다. 예측 대상으로 선택한 column 또는 데이터를 분할하는 데 column 시간을 remove 수 없습니다.
   • Databricks Runtime 10.4 LTS ML 이상에서는 드롭다운을 사용하여 Impute에서 선택하여 null 지정할 수 있습니다. 기본적으로 AutoML은 column 형식 및 콘텐츠에 따라 결측값 처리 방법을 선택합니다.

   참고 항목

   기본값이 아닌 대치 메서드를 지정하면 AutoML이 의미 체계 유형 검색을 수행하지 않습니다.

6. 예측 대상 필드를 클릭합니다. schema에 표시된 columns가 나열된 드롭다운이 나타납니다. Select 모델이 예측할 column.

7. 실험 이름 필드에는 기본 이름이 표시됩니다. 변경하려면 필드에 새 이름을 입력합니다.

다음도 가능합니다.

• 추가 구성 옵션을 지정합니다.
• 기능 저장소의 기존 기능 와 tables을 사용하여 원래 입력 데이터 세트를 보강하십시오.

고급 구성

고급 구성(선택 사항) 섹션을 열어 이러한 parameters에 액세스할 수 있습니다.

• 평가 메트릭은 실행 점수를 매기는 데 사용되는 기본 메트릭입니다.
• Databricks Runtime 10.4 LTS ML 이상에서는 학습 프레임워크를 고려 대상에서 제외할 수 있습니다. 기본적으로 AutoML은 AutoML 알고리즘에 나열된 프레임워크를 사용하여 모델을 학습시킵니다.
• 정지 조건을 편집할 수 있습니다. 기본 정지 조건은 다음과 같습니다.
  • 예측 실험의 경우 120분 후에 중지합니다.
  • Databricks Runtime 10.4 LTS ML 이하에서 분류 및 회귀 실험의 경우 60분 후 또는 200번의 시도를 완료한 후 중 더 빠른 시점에 중지합니다. Databricks Runtime 11.0 ML 이상의 경우 시도 횟수는 중지 조건으로 사용되지 않습니다.
  • Databricks Runtime 10.4 LTS ML 이상에서 분류 및 회귀 실험을 위해 AutoML은 조기 중지를 통합합니다. 유효성 검사 메트릭이 더 이상 개선되지 않으면 모델 학습 및 튜닝을 중지합니다.
• Databricks Runtime 10.4 LTS ML 이상에서는 학습, 유효성 검사 및 테스트를 위한 데이터를 시간순으로 분할할 수 있는 time columnselect 기능이 제공됩니다(분류 및 회귀에 적용됨).
• Databricks는 데이터 디렉터리 필드를 채웁니다. 이렇게 하면 데이터 세트를 MLflow 아티팩트로 안전하게 저장하는 기본 동작이 트리거됩니다. DBFS 경로를 지정할 수 있지만 이 경우 데이터 세트는 AutoML 실험의 액세스 권한을 상속하지 않습니다.

실험 실행 및 결과 모니터링

AutoML 실험을 시작하려면 AutoML 시작을 클릭합니다. 실험이 실행되기 시작하고 AutoML 학습 페이지가 나타납니다. refresh 실행하려면 table, 을 클릭합니다.

실험 진행률 보기

이 페이지에서 다음을 수행할 수 있습니다.

• 언제든지 실험을 중지합니다.
• 데이터 탐색 Notebook을 엽니다.
• 실행을 모니터링합니다.
• 실행에 대한 실행 페이지로 이동합니다.

Databricks Runtime 10.1 ML 이상을 사용하면 AutoML은 지원되지 않는 column 형식 또는 높은 카디널리티 columns같은 데이터 세트의 잠재적 문제에 대한 경고를 표시합니다.

데이터 세트에 대한 경고를 보려면 학습 페이지 또는 실험이 완료된 후 실험 페이지에서 경고 탭을 클릭합니다.

결과 보기

실험이 완료되면 다음을 수행할 수 있습니다.

• MLflow로 모델 중 하나를 등록 및 배포합니다.
• Select 최상의 모델인를 만든 전자 필기장을 검토하고 편집할 수 있도록 전자 필기장을 봅니다.
• Select 데이터 탐색 노트북를 보고 데이터 탐색 노트북을 엽니다.
• 실행 table에서 실행 목록을 검색하고, 필터링하며, 정렬합니다.
• 모든 실행에 대한 세부 정보 보기:
  • 평가판 실행에 대한 소스 코드가 포함된 생성된 Notebook은 MLflow 실행을 클릭하여 찾을 수 있습니다. Notebook은 실행 페이지의 아티팩트 섹션에 저장됩니다. 작업 영역 관리자가 아티팩트 다운로드를 사용하도록 설정한 경우 이 Notebook을 다운로드하고 작업 영역으로 가져올 수 있습니다.
  • 실행 결과를 보려면 모델column 또는 시작 시간column클릭합니다. 실행 페이지가 나타나고, 실행에 의해 생성된 모델을 포함한 아티팩트와 함께 평가판 실행의 정보(예: parameters, 메트릭, 태그)가 표시됩니다. 이 페이지에는 모델로 예측하는 데 사용할 수 있는 코드 조각도 포함되어 있습니다.

나중에 이 AutoML 실험으로 돌아가려면 실험 페이지의 table에서 찾으십시오. 데이터 탐색 및 학습 Notebook을 포함한 각 AutoML 실험의 결과는 실험을 실행한 사용자의 databricks_automl에 있는 폴더에 저장됩니다.

모델 등록 및 배포

AutoML UI를 사용하여 모델을 등록하고 배포할 수 있습니다.

1. 모델을 등록하기 위한 모델column의 링크는 Select입니다. 실행이 완료되면 기본 메트릭을 기반으로 가장 적합한 모델이 맨 위 행입니다.
2. 모델 등록 단추 Select를 사용하여 모델을 모델 레지스트리에 등록합니다.
3. 사이드바에서 모델 Select을 사용하여 모델 레지스트리로 이동합니다.
4. 모델 table의 이름을 Select로.
5. 등록된 모델 페이지에서 모델 서비스로 모델을 제공할 수 있습니다.

'pandas.core.indexes.numeric'이라는 모듈이 없습니다.

AutoML을 사용하여 빌드된 모델을 Model Serving으로 제공할 때 다음과 같은 오류를 get 수 있습니다: No module named 'pandas.core.indexes.numeric.

이는 AutoML과 엔드포인트 환경을 제공하는 모델 간의 호환되지 않는 pandas 버전 때문입니다. add-pandas-dependency.py 스크립트를 실행하여 이 오류를 해결할 수 있습니다. 스크립트는 적절한 requirements.txt 종속성 버전 conda.yaml을 포함하도록 기록된 모델에 대한 pandas 및 pandas==1.5.3을 편집합니다.

1. MLflow 실행 where에 기록된 모델의 run_id을(를) 포함하도록 스크립트를 수정합니다.
2. 모델을 MLflow 모델 레지스트리에 다시 등록합니다.
3. 새 버전의 MLflow 모델을 제공해 보세요.

다음 단계

• 분류 API
• 분류 데이터 준비 설정