전이 학습을 위한 기능화
이 문서에서는 pandas UDF를 사용하여 전이 학습을 위한 기능화를 수행하는 예제를 제공합니다.
DL 모델에서 전이 학습을 위한 기능화
Azure Databricks는 딥 러닝 모델을 사용하여 기능화를 지원합니다. 미리 학습된 딥 러닝 모델을 사용하면 다른 다운스트림 모델에서 사용할 기능을 컴퓨팅할 수 있습니다. Azure Databricks는 규모에 따라 기능 개발을 지원하여 계산을 클러스터에 분산시킵니다. TensorFlow 및 PyTorch을 비롯하여 Databricks Runtime ML에 포함된 딥 러닝 라이브러리를 사용하여 기능화를 수행할 수 있습니다.
Azure Databricks는 기능 개발과 밀접한 관련이 있는 기술인 이전 학습도 지원합니다. 전이 학습을 사용하면 관련 도메인의 한 문제 도메인에서 지식을 다시 사용할 수 있습니다. 기능화는 학습을 이전하기 위한 간단하고 강력한 방법입니다. 미리 학습된 딥 러닝 모델을 사용하여 기능을 컴퓨팅하면 원래 도메인에서 좋은 기능에 대한 지식이 전달됩니다.
학습 이전을 위한 기능을 컴퓨팅하는 단계
이 문서에서는 다음 워크플로에 따라 미리 학습된 TensorFlow 모델을 사용하여 전이 학습을 위한 기능을 컴퓨팅하는 방법을 보여 줍니다.
tensorflow.keras.applications의 미리 학습된 딥 러닝 모델(이 경우 이미지 분류 모델)로 시작합니다.- 모델의 마지막 계층을 자릅니다. 수정된 모델은 예측이 아닌 출력으로 기능 텐서를 생성합니다.
- 이 모델을 이미지에 대한 컴퓨팅 기능을 하는 다른 문제 도메인의 새 이미지 데이터 세트에 적용합니다.
- 이러한 기능을 사용하여 새 모델을 학습합니다. 다음 Notebook은 이 마지막 단계를 생략합니다. 로지스틱 회귀와 같은 간단한 모델을 학습하는 예제는 AI 및 ML 모델 학습을 참조하세요.
예: 기능화에 pandas UDF 사용
다음 Notebook은 pandas UDF를 사용하여 기능화 단계를 수행합니다. pandas UDF 및 최신 변형 Scalar Iterator pandas UDF는 유연한 API를 제공하고 딥 러닝 라이브러리를 지원하며 고성능을 제공합니다.