Machine Learning용 Databricks Runtime 12.0(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Machine Learning용 Databricks Runtime 12.0은 Databricks Runtime 12.0(EoS)을 기반으로 즉시 사용 가능한 기계 학습 및 데이터 과학 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks에서의 AI 및 기계 학습을 참조하세요.
새로운 기능 및 향상 기능
Databricks Runtime 12.0 ML은 Databricks Runtime 12.0을 기준으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 12.0의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 12.0(EoS) 릴리스 정보를 참조하세요.
AutoML의 향상된 기능
- 이제 예측 모델에 국가 휴일을 선택적으로 포함할 수 있습니다.
- 예측은 이제 월별, 분기별 및 연간 빈도를 지원합니다.
- AutoML은 이제 학습을 위해 더 큰 데이터 세트를 사용할 수 있습니다. AutoML은 대규모 데이터 세트에 더 많은 CPU 코어를 자동으로 할당합니다.
AutoML에 대한 자세한 내용은 AutoML이란?을 참조하세요.
MLflow 2.0
Databricks Runtime 12.0 ML에는 MLflow 2.0이 포함되어 있습니다. MLflow 2.0은 MLflow의 강력한 플랫폼 기반을 기반으로 하며 광범위한 사용자 피드백을 통합하여 데이터 과학 워크플로를 단순화하고 MLOps를 위한 혁신적인 최고 수준의 도구를 제공합니다. 기능 및 개선 사항에는 AutoML, 하이퍼 매개 변수 튜닝 및 분류 지원과 같은 MLflow 레시피(이전의 MLflow Pipelines)에 대한 확장뿐만 아니라 ML 에코시스템과의 현대화된 통합, 간소화된 MLflow 추적 UI, MLflow의 플랫폼 구성 요소에서 핵심 API 새로 고침 등이 포함됩니다. 자세한 내용은 MLflow 2.0 설명서를 참조하거나 블로그 게시물을 확인합니다.
scikit-learn 1.0
Databricks Runtime ML 12.0에는 scikit-learn 버전 1.0이 포함되어 있습니다. 이 scikit-learn 릴리스의 변경 내용을 알아보려면 scikit-learn 설명서를 참조하세요.
시스템 환경
Databricks Runtime 12.0 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 12.0과 다릅니다.
- DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. Notebook 범위의 Python 라이브러리를 참조하세요. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 12.0 ML에는 컴퓨팅 기능 5.2 이하의 GPU 클러스터를 지원하지 않는 XGBoost 1.6.2가 포함되어 있습니다.
라이브러리
다음 섹션에서는 Databricks Runtime 12.0에 포함된 라이브러리와 다른 Databricks Runtime 12.0 ML에 포함된 라이브러리가 나열되어 있습니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 12.0 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- Horovod 및 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
- Scikit-learn
Python 라이브러리
Databricks Runtime 12.0 ML은 Python 패키지 관리에 Virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 12.0 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- automl 1.14.1
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-12.0.txt 파일을 다운로드하고 pip install -r requirements-12.0.txt를 실행합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만 databricks-automl, databricks-feature-store 또는 hyperopt의 Databricks 포크와 같은 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| attrs | 21.4.0 | azure-core | 1.26.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.3.0 | bleach | 4.1.0 |
| blis | 0.7.9 | boto3 | 1.21.32 | botocore | 1.24.32 |
| cachetools | 4.2.2 | catalogue | 2.0.8 | category-encoders | 2.5.1.post0 |
| certifi | 2021.10.8 | cffi | 1.15.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.0.8 | confection | 0.0.3 | configparser | 5.2.0 |
| convertdate | 2.4.0 | 암호화 | 3.4.8 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.28 | databricks-automl-runtime | 0.2.13 |
| databricks-cli | 0.17.3 | databricks-feature-store | 0.8.0 | dbl-tempo | 0.1.12 |
| dbus-python | 1.2.16 | debugpy | 1.5.1 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | dill | 0.3.4 | diskcache | 5.4.0 |
| distlib | 0.3.6 | entrypoints | 0.4 | ephem | 4.1.3 |
| executing | 0.8.3 | facets-overview | 1.0.0 | fastjsonschema | 2.16.2 |
| fasttext | 0.9.2 | filelock | 3.6.0 | Flask | 1.1.2 |
| flatbuffers | 22.10.26 | fonttools | 4.25.0 | fsspec | 2022.2.0 |
| future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.42.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.6.0 | hijri-converter | 2.2.4 |
| 휴일 | 0.16 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.11.0 | idna | 3.3 | ImageHash | 4.3.1 |
| imbalanced-learn | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| joblibspark | 0.5.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.10.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.2 |
| korean-lunar-calendar | 0.3.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.3 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.4 | MarkupSafe | 2.0.1 |
| matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.0.1 |
| multimethod | 1.8 | murmurhash | 1.0.9 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.13 | nbconvert | 6.4.4 | nbformat | 5.3.0 |
| nest-asyncio | 1.5.5 | networkx | 2.7.1 | nltk | 3.7 |
| Notebook | 6.4.8 | numba | 0.55.1 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | 패키징 | 21.3 |
| pandas | 1.4.2 | pandas-profiling | 3.3.0 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.9.0 |
| pathy | 0.6.1 | patsy | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 9.0.1 | pip | 21.2.4 | platformdirs | 2.5.4 |
| plotly | 5.6.0 | pmdarima | 2.0.1 | preshed | 3.0.8 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | prophet | 1.1.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.1 |
| pycparser | 2.21 | pydantic | 1.9.2 | Pygments | 2.11.2 |
| PyGObject | 3.36.0 | PyJWT | 2.6.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.3.0 | PyYAML | 6.0 |
| pyzmq | 22.3.0 | regex | 2022.3.15 | requests | 2.27.1 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.7.2 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| setuptools-git | 1.2 | shap | 0.41.0 | simplejson | 3.17.6 |
| 6 | 1.16.0 | slicer | 0.0.7 | smart-open | 5.1.0 |
| smmap | 5.0.0 | soupsieve | 2.3.1 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.5 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tabulate | 0.8.9 |
| tangled-up-in-unicode | 0.2.0 | tenacity | 8.0.1 | tensorboard | 2.10.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.10.0 | tensorflow-estimator | 2.10.0 | tensorflow-io-gcs-filesystem | 0.28.0 |
| termcolor | 2.1.1 | terminado | 0.13.1 | testpath | 0.5.0 |
| thinc | 8.1.5 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizers | 0.13.2 | tomli | 1.2.2 | torch | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | tornado | 6.1 | tqdm | 4.64.0 |
| traitlets | 5.1.1 | transformers | 4.23.1 | typer | 0.4.2 |
| typing_extensions | 4.1.1 | unattended-upgrades | 0.1 | urllib3 | 1.26.9 |
| virtualenv | 20.8.0 | visions | 0.7.5 | wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.58.0 |
| Werkzeug | 2.0.3 | wheel | 0.37.1 | widgetsnbextension | 3.6.1 |
| wrapt | 1.12.1 | zipp | 3.7.0 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| attrs | 21.4.0 | azure-core | 1.26.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.3.0 | bleach | 4.1.0 |
| blis | 0.7.9 | boto3 | 1.21.32 | botocore | 1.24.32 |
| cachetools | 4.2.2 | catalogue | 2.0.8 | category-encoders | 2.5.1.post0 |
| certifi | 2021.10.8 | cffi | 1.15.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.0.8 | confection | 0.0.3 | configparser | 5.2.0 |
| convertdate | 2.4.0 | 암호화 | 3.4.8 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.28 | databricks-automl-runtime | 0.2.13 |
| databricks-cli | 0.17.3 | databricks-feature-store | 0.8.0 | dbl-tempo | 0.1.12 |
| dbus-python | 1.2.16 | debugpy | 1.5.1 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | dill | 0.3.4 | diskcache | 5.4.0 |
| distlib | 0.3.6 | entrypoints | 0.4 | ephem | 4.1.3 |
| executing | 0.8.3 | facets-overview | 1.0.0 | fastjsonschema | 2.16.2 |
| fasttext | 0.9.2 | filelock | 3.6.0 | Flask | 1.1.2 |
| flatbuffers | 22.10.26 | fonttools | 4.25.0 | fsspec | 2022.2.0 |
| future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.42.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.6.0 | hijri-converter | 2.2.4 |
| 휴일 | 0.16 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.11.0 | idna | 3.3 | ImageHash | 4.3.1 |
| imbalanced-learn | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| joblibspark | 0.5.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.10.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.2 |
| korean-lunar-calendar | 0.3.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.3 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.4 | MarkupSafe | 2.0.1 |
| matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.0.1 |
| multimethod | 1.8 | murmurhash | 1.0.9 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.13 | nbconvert | 6.4.4 | nbformat | 5.3.0 |
| nest-asyncio | 1.5.5 | networkx | 2.7.1 | nltk | 3.7 |
| Notebook | 6.4.8 | numba | 0.55.1 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | 패키징 | 21.3 |
| pandas | 1.4.2 | pandas-profiling | 3.3.0 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.9.0 |
| pathy | 0.6.1 | patsy | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 9.0.1 | pip | 21.2.4 | platformdirs | 2.5.4 |
| plotly | 5.6.0 | pmdarima | 2.0.1 | preshed | 3.0.8 |
| prompt-toolkit | 3.0.20 | prophet | 1.1.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.1 | pycparser | 2.21 |
| pydantic | 1.9.2 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| PyJWT | 2.6.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.3.0 | PyYAML | 6.0 | pyzmq | 22.3.0 |
| regex | 2022.3.15 | requests | 2.27.1 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4.7.2 | s3transfer | 0.5.0 |
| scikit-learn | 1.0.2 | scipy | 1.7.3 | seaborn | 0.11.2 |
| Send2Trash | 1.8.0 | setuptools | 61.2.0 | setuptools-git | 1.2 |
| shap | 0.41.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| slicer | 0.0.7 | smart-open | 5.1.0 | smmap | 5.0.0 |
| soupsieve | 2.3.1 | spacy | 3.4.1 | spacy-legacy | 3.0.10 |
| spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.5 | ssh-import-id | 5.10 | stack-data | 0.2.0 |
| statsmodels | 0.13.2 | tabulate | 0.8.9 | tangled-up-in-unicode | 0.2.0 |
| tenacity | 8.0.1 | tensorboard | 2.10.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.10.0 |
| tensorflow-estimator | 2.10.0 | tensorflow-io-gcs-filesystem | 0.28.0 | termcolor | 2.1.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | thinc | 8.1.5 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.13.2 |
| tomli | 1.2.2 | torch | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| tornado | 6.1 | tqdm | 4.64.0 | traitlets | 5.1.1 |
| transformers | 4.23.1 | typer | 0.4.2 | typing_extensions | 4.1.1 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| visions | 0.7.5 | wasabi | 0.10.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.0.3 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | wrapt | 1.12.1 |
| zipp | 3.7.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 12.0의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 12.0의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 12.0 ML에는 다음 JAR이 포함되어 있습니다.
CPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 2.0.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 2.0.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |