딥 러닝 파이프라인 마이그레이션 가이드
Important
이 설명서는 사용 중지되었으며 업데이트되지 않을 수 있습니다. 이 콘텐츠에 언급된 제품, 서비스 또는 기술은 더 이상 지원되지 않습니다. Databricks에서의 AI 및 기계 학습을 참조하세요.
이 페이지는 Databricks Runtime 6.6 ML 및 이전 버전에 포함된 오픈 소스 딥 러닝 파이프라인 패키지에서 마이그레이션에 대한 팁을 포함합니다. 딥 러닝 파이프라인 라이브러리 sparkdl의 일부가 Databricks Runtime 7.0 ML(EoS), 특히 Apache Spark ML 파이프라인에서 사용되는 변환기 및 추정기에서 제거되었습니다.
이 페이지는 Azure Databricks의 딥 러닝 파이프라인에 대한 일반적인 정보의 리소스가 아닙니다.
이미지 읽기
딥 러닝 파이프라인 패키지에는 이미지 판독기 sparkdl.image.imageIO가 포함되어 있습니다. 이 이미지 판독기는 Databricks Runtime 7.0 ML(EoS)에서 제거되었습니다.
대신 Apache Spark의 이미지 데이터 원본 또는 이진 파일 데이터 원본을 사용합니다. 기계 학습 및 딥 러닝을 위한 데이터 로드의 많은 Notebook 예제에서 두 데이터 원본의 사용 사례를 보여줍니다.
이전 학습
딥 러닝 파이프라인 패키지에는 딥 러닝 모델을 사용한 전이 학습을 용이하게 하기 위해 Spark ML 변환기 sparkdl.DeepImageFeaturizer가 포함되어 있습니다.
DeepImageFeaturizer는 Databricks Runtime 7.0 ML(EoS)에서 제거되었습니다.
대신 pandas UDF를 사용하여 딥 러닝 모델로 기능화를 수행합니다. pandas UDF 및 최신 변형 Scalar Iterator pandas UDF는 보다 유연한 API를 제공하고, 더 많은 딥 러닝 라이브러리를 지원하며, 더 나은 성능을 제공합니다.
pandas UDF를 사용한 전이 학습의 예는 전이 학습을 위한 기능화를 참조하세요.
분산된 하이퍼 매개 변수 튜닝
딥 러닝 파이프라인 패키지에는 Spark ML 튜닝 유틸리티를 사용하여 하이퍼 매개 변수를 튜닝하기 위한 Spark ML 추정기 sparkdl.KerasImageFileEstimator가 포함되어 있습니다.
KerasImageFileEstimator는 Databricks Runtime 7.0 ML(EoS)에서 제거되었습니다.
대신 Hyperopt를 사용하여 딥 러닝 모델에 대한 하이퍼 매개 변수 튜닝을 배포합니다.
분산된 유추
딥 러닝 파이프라인 패키지에는 유추를 분산하기 위한 여러 Spark ML 변환기가 포함되어 있으며, 모두 Databricks Runtime 7.0 ML(EoS)에서 제거되었습니다.
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
대신 일괄 처리 유추 및 예측을 위한 모델 배포의 예제에서처럼, pandas UDF를 사용하여 Spark DataFrames에서 유추를 실행합니다.