Machine Learning용 Databricks Runtime 13.3 LTS
Machine Learning용 Databricks Runtime 13.3 LTS는 Databricks Runtime 13.3 LTS를 기반으로 하는 Machine Learning 및 데이터 과학을 위한 즉시 사용 가능한 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
참고 항목
LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks의 AI 및 기계 학습을 참조하세요.
팁
지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.
새로운 기능 및 향상 기능
Databricks Runtime 13.3 LTS ML은 Databricks Runtime 13.3 LTS를 기반으로 빌드되었습니다. Apache Spark MLlib 및 SparkR을 포함한 Databricks Runtime 13.3 LTS의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 13.3 LTS 릴리스 정보를 참조하세요.
Databricks 기능 저장소의 변경 내용
- Databricks Runtime 13.3 LTS ML에는 Feature Store 클라이언트 v0.14.0이 포함되어 있습니다. 클라이언트 버전 0.14.0 이상에서는
primary_keys인수에서 타임스탬프 키 열을 지정해야 합니다. 타임스탬프 키는 기능 테이블에서 각 행을 고유하게 식별하는 "기본 키"의 일부입니다. - 이제 지정된 시간 이전의 타임스탬프를 가진 기능 값을 학습 집합에서 제외할 수 있습니다. 자세한 내용은 과거 기능 값에 대한 시간 제한 설정을 참조하세요.
- 이제 기계 학습 기능을 유추할 때 온디맨드 방식으로 계산할 수 있습니다. 기능 컴퓨팅 로직, 모델, 데이터는 모두 Unity 카탈로그에 의해 관리됩니다. 이는 모델이 사용자의 현재 위치와 같이 유추 시점에만 사용할 수 있는 입력을 사용하여 기능 값을 컴퓨팅할 수 있도록 합니다. 자세한 내용은 Python 사용자 정의 함수를 사용하여 기능 값을 온디맨드로 컴퓨팅하기를 참조하십시오.
시스템 환경
Databricks Runtime 13.3 LTS ML의 시스템 환경은 다음과 같이 Databricks Runtime 13.3 LTS와 다릅니다.
- DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. Notebook 범위의 Python 라이브러리를 참조하세요. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.7
- cuDNN 8.5.0.96-1
- NCCL 2.15.1
- TensorRT 7.2.2
Databricks Runtime 13.3 LTS ML에는 컴퓨팅 기능 5.2 이하의 GPU 클러스터를 지원하지 않는 XGBoost 1.7.3이 포함되어 있습니다.
Miniconda 패키지가 Databricks Runtime 13.0 ML 이상에서 제거되었습니다.
라이브러리
다음 섹션에서는 Databricks Runtime 13.3 LTS에 포함된 라이브러리와 다른 Databricks Runtime 13.3 LTS ML에 포함된 라이브러리를 나열합니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 13.3 LTS ML에는 다음과 같은 최상위 라이브러리가 포함되어 있습니다.
- GraphFrames
- Horovod 및 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
- Scikit-learn
Python 라이브러리
Databricks Runtime 13.3 LTS ML은 Python 패키지 관리에 Virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 13.3 LTS ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.20.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-13.3.txt 파일을 다운로드하고 pip install -r requirements-13.3.txt를 실행합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만 databricks-automl, databricks-feature-store 또는 hyperopt의 Databricks 포크와 같은 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.20.3 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | appdirs | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
| asttokens | 2.2.1 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 21.4.0 | audioread | 3.0.0 | azure-core | 1.28.0 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.17.0 | azure-storage-file-datalake | 12.12.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 검정색 | 22.6.0 | bleach | 4.1.0 | blinker | 1.4 |
| blis | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.28 |
| cachetools | 4.2.4 | catalogue | 2.0.9 | category-encoders | 2.6.1 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.1.0 | confection | 0.1.0 | configparser | 5.2.0 |
| convertdate | 2.4.0 | 암호화 | 37.0.1 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.32 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.17 | databricks-cli | 0.17.7 | databricks-feature-store | 0.14.0 |
| databricks-sdk | 0.1.6 | dataclasses-json | 0.5.13 | datasets | 2.13.1 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.0 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | dill | 0.3.4 |
| diskcache | 5.6.1 | distlib | 0.3.7 | docstring-to-markdown | 0.12 |
| entrypoints | 0.4 | ephem | 4.1.4 | evaluate | 0.4.0 |
| 실행 중 | 1.2.0 | facets-overview | 1.0.3 | fastapi | 0.98.0 |
| fastjsonschema | 2.18.0 | fasttext | 0.9.2 | filelock | 3.6.0 |
| Flask | 1.1.2+db1 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| frozenlist | 1.4.0 | fsspec | 2022.7.1 | future | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.10 | GitPython | 3.1.27 |
| google-api-core | 2.8.2 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| google-cloud-core | 2.3.3 | google-cloud-storage | 2.10.0 | google-crc32c | 1.5.0 |
| google-pasta | 0.2.0 | google-resumable-media | 2.5.0 | googleapis-common-protos | 1.56.4 |
| greenlet | 1.1.1 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | h11 | 0.14.0 |
| h5py | 3.7.0 | 휴일 | 0.27.1 | horovod | 0.28.1 |
| htmlmin | 0.1.12 | httplib2 | 0.20.2 | httptools | 0.6.0 |
| huggingface-hub | 0.16.4 | idna | 3.3 | ImageHash | 4.3.1 |
| imbalanced-learn | 0.10.1 | importlib-metadata | 4.11.3 | importlib-resources | 6.0.0 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keras | 2.11.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.2 | langchain | 0.0.217 |
| langchainplus-sdk | 0.0.20 | langcodes | 3.3.0 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.3 |
| libclang | 15.0.6.1 | librosa | 0.10.0 | lightgbm | 3.3.5 |
| llvmlite | 0.38.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.4 | MarkupSafe | 2.0.1 | marshmallow | 3.20.1 |
| matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.5.0 |
| more-itertools | 8.10.0 | msgpack | 1.0.5 | multidict | 6.0.4 |
| multimethod | 1.9.1 | 다중 처리 | 0.70.12.2 | murmurhash | 1.0.9 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | networkx | 2.8.4 |
| ninja | 1.11.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| Notebook | 6.4.12 | numba | 0.55.1 | numexpr | 2.8.4 |
| numpy | 1.21.5 | oauthlib | 3.2.0 | openai | 0.27.8 |
| openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 | 패키징 | 21.3 |
| pandas | 1.4.4 | pandocfilters | 1.5.0 | paramiko | 2.9.2 |
| parso | 0.8.3 | pathspec | 0.9.0 | pathy | 0.10.2 |
| patsy | 0.5.2 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.3 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
| pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.3 | pooch | 1.7.0 |
| preshed | 3.0.8 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| prophet | 1.1.4 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyMeeus | 0.5.12 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| python-dotenv | 1.0.0 | python-editor | 1.0.4 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 | pytz | 2022.1 |
| PyWavelets | 1.3.0 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| regex | 2022.7.9 | requests | 2.28.1 | requests-oauthlib | 1.3.1 |
| 응답 | 0.18.0 | rope | 1.7.0 | rsa | 4.9 |
| s3transfer | 0.6.0 | safetensors | 0.3.1 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 |
| setuptools | 63.4.1 | shap | 0.41.0 | simplejson | 3.17.6 |
| 6 | 1.16.0 | slicer | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | 사운드파일 | 0.12.1 |
| soupsieve | 2.3.1 | soxr | 0.3.5 | spacy | 3.5.3 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.4 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.7 |
| ssh-import-id | 5.11 | stack-data | 0.6.2 | starlette | 0.27.0 |
| statsmodels | 0.13.2 | tabulate | 0.8.10 | tangled-up-in-unicode | 0.2.0 |
| tenacity | 8.1.0 | tensorboard | 2.11.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.11.2 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.11.1 |
| tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.32.0 | termcolor | 2.3.0 |
| terminado | 0.13.1 | testpath | 0.6.0 | thinc | 8.1.10 |
| threadpoolctl | 2.2.0 | tiktoken | 0.4.0 | tokenize-rt | 4.2.1 |
| tokenizers | 0.13.3 | tomli | 2.0.1 | torch | 1.13.1+cpu |
| torchvision | 0.14.1+cpu | tornado | 6.1 | tqdm | 4.64.1 |
| traitlets | 5.1.1 | 변환기 | 4.30.2 | typeguard | 2.13.3 |
| typer | 0.7.0 | 입력-검사 | 0.9.0 | typing_extensions | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.11 |
| uvicorn | 0.23.1 | uvloop | 0.17.0 | virtualenv | 20.16.3 |
| visions | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
| watchfiles | 0.19.0 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | websockets | 11.0.3 | Werkzeug | 2.0.3 |
| whatthepatch | 1.0.2 | wheel | 0.37.1 | widgetsnbextension | 3.6.1 |
| wordcloud | 1.9.2 | wrapt | 1.14.1 | xgboost | 1.76 |
| xxhash | 3.2.0 | yapf | 0.31.0 | yarl | 1.9.2 |
| ydata-profiling | 4.2.0 | zipp | 3.8.0 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.20.3 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | appdirs | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
| asttokens | 2.2.1 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 21.4.0 | audioread | 3.0.0 | azure-core | 1.28.0 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.17.0 | azure-storage-file-datalake | 12.12.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 검정색 | 22.6.0 | bleach | 4.1.0 | blinker | 1.4 |
| blis | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.28 |
| cachetools | 4.2.4 | catalogue | 2.0.9 | category-encoders | 2.6.1 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.1.0 | confection | 0.1.0 | configparser | 5.2.0 |
| convertdate | 2.4.0 | 암호화 | 37.0.1 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.32 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.17 | databricks-cli | 0.17.7 | databricks-feature-store | 0.14.0 |
| databricks-sdk | 0.1.6 | dataclasses-json | 0.5.13 | datasets | 2.13.1 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.0 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | dill | 0.3.4 |
| diskcache | 5.6.1 | distlib | 0.3.7 | docstring-to-markdown | 0.12 |
| einops | 0.6.1 | entrypoints | 0.4 | ephem | 4.1.4 |
| evaluate | 0.4.0 | 실행 중 | 1.2.0 | facets-overview | 1.0.3 |
| fastapi | 0.98.0 | fastjsonschema | 2.18.0 | fasttext | 0.9.2 |
| filelock | 3.6.0 | flash-attn | 1.0.7 | Flask | 1.1.2+db1 |
| flatbuffers | 23.5.26 | fonttools | 4.25.0 | frozenlist | 1.4.0 |
| fsspec | 2022.7.1 | future | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.10 | GitPython | 3.1.27 | google-api-core | 2.8.2 |
| google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 | google-cloud-core | 2.3.3 |
| google-cloud-storage | 2.10.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.5.0 | googleapis-common-protos | 1.56.4 | greenlet | 1.1.1 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h11 | 0.14.0 | h5py | 3.7.0 |
| 휴일 | 0.27.1 | horovod | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.16.4 |
| idna | 3.3 | ImageHash | 4.3.1 | imbalanced-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.0 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.16.0 |
| jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | Keras | 2.11.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.2 | langchain | 0.0.217 | langchainplus-sdk | 0.0.20 |
| langcodes | 3.3.0 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0.3 | libclang | 15.0.6.1 |
| librosa | 0.10.0 | lightgbm | 3.3.5 | llvmlite | 0.38.0 |
| LunarCalendar | 0.0.9 | Mako | 1.2.0 | Markdown | 3.3.4 |
| MarkupSafe | 2.0.1 | marshmallow | 3.20.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 2.5.0 | more-itertools | 8.10.0 |
| msgpack | 1.0.5 | multidict | 6.0.4 | multimethod | 1.9.1 |
| 다중 처리 | 0.70.12.2 | murmurhash | 1.0.9 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.13 | nbconvert | 6.4.4 | nbformat | 5.5.0 |
| nest-asyncio | 1.5.5 | networkx | 2.8.4 | ninja | 1.11.1 |
| nltk | 3.7 | nodeenv | 1.8.0 | Notebook | 6.4.12 |
| numba | 0.55.1 | numexpr | 2.8.4 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | openai | 0.27.8 | openapi-schema-pydantic | 1.2.4 |
| opt-einsum | 3.3.0 | 패키징 | 21.3 | pandas | 1.4.4 |
| pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
| pathspec | 0.9.0 | pathy | 0.10.2 | patsy | 0.5.2 |
| petastorm | 0.12.1 | pexpect | 4.8.0 | phik | 0.12.3 |
| pickleshare | 0.7.5 | Pillow | 9.2.0 | pip | 22.2.2 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| pmdarima | 2.0.3 | pooch | 1.7.0 | preshed | 3.0.8 |
| prompt-toolkit | 3.0.36 | prophet | 1.1.4 | protobuf | 3.19.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | python-dotenv | 1.0.0 | python-editor | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | PyWavelets | 1.3.0 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | regex | 2022.7.9 | requests | 2.28.1 |
| requests-oauthlib | 1.3.1 | 응답 | 0.18.0 | rope | 1.7.0 |
| rsa | 4.9 | s3transfer | 0.6.0 | safetensors | 0.3.1 |
| scikit-learn | 1.1.1 | scipy | 1.9.1 | seaborn | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | sentence-transformers | 2.2.2 |
| sentencepiece | 0.1.99 | setuptools | 63.4.1 | shap | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| 사운드파일 | 0.12.1 | soupsieve | 2.3.1 | soxr | 0.3.5 |
| spacy | 3.5.3 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.4 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.7 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
| starlette | 0.27.0 | statsmodels | 0.13.2 | tabulate | 0.8.10 |
| tangled-up-in-unicode | 0.2.0 | tenacity | 8.1.0 | tensorboard | 2.11.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.11.2 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow | 2.11.1 | tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.32.0 |
| termcolor | 2.3.0 | terminado | 0.13.1 | testpath | 0.6.0 |
| thinc | 8.1.10 | threadpoolctl | 2.2.0 | tiktoken | 0.4.0 |
| tokenize-rt | 4.2.1 | tokenizers | 0.13.3 | tomli | 2.0.1 |
| torch | 1.13.1+cu117 | torchvision | 0.14.1+cu117 | tornado | 6.1 |
| tqdm | 4.64.1 | traitlets | 5.1.1 | 변환기 | 4.30.2 |
| typeguard | 2.13.3 | typer | 0.7.0 | 입력-검사 | 0.9.0 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.11 | uvicorn | 0.23.1 | uvloop | 0.17.0 |
| virtualenv | 20.16.3 | visions | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | watchfiles | 0.19.0 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | websockets | 11.0.3 |
| Werkzeug | 2.0.3 | whatthepatch | 1.0.2 | wheel | 0.37.1 |
| widgetsnbextension | 3.6.1 | wordcloud | 1.9.2 | wrapt | 1.14.1 |
| xgboost | 1.76 | xxhash | 3.2.0 | yapf | 0.31.0 |
| yarl | 1.9.2 | ydata-profiling | 4.2.0 | zipp | 3.8.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 13.3 LTS의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 13.3 LTS의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 13.3 LTS ML에는 다음 JAR이 포함되어 있습니다.
CPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.5.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.5.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |