Databricks Runtime 5.2 ML
Databricks는 2019년 1월에 이 버전을 릴리스했습니다.
Databricks Runtime 5.2 ML은 Databricks Runtime 5.2(EoS)을 기반으로 즉시 사용 가능한 기계 학습 및 데이터 과학 환경을 제공합니다. ML용 Databricks Runtime에는 TensorFlow, PyTorch, Keras 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. 또한 Horovod를 사용하여 분산 TensorFlow 학습을 지원합니다.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks에서의 AI 및 기계 학습을 참조하세요.
새로운 기능
Databricks Runtime 5.2 ML은 Databricks Runtime 5.2를 기반으로 빌드되었습니다. Databricks Runtime 5.2의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 5.2(EoS) 릴리스 정보를 참조하세요. 라이브러리 업데이트 외에도 Databricks Runtime 5.2 ML에는 다음과 같은 새로운 기능이 도입되었습니다.
- GraphFrames는 이제 Databricks의 성능 최적화를 통해 Pregel API(Python)를 지원합니다.
- HorovodRunner는 다음을 추가합니다.
- GPU 클러스터에서 학습 프로세스는 작업자 노드 대신 GPU에 매핑되어 다중 GPU 인스턴스 유형의 지원을 단순화합니다. 이 기본 제공 지원을 통해 사용자 지정 코드 없이 다중 GPU 컴퓨터의 모든 GPU에 배포할 수 있습니다.
- 이제
HorovodRunner.run()은 첫 번째 학습 프로세스에서 반환 값을 반환합니다.
참고 항목
Databricks Runtime ML 릴리스에는 기본 Databricks Runtime 릴리스에 대한 모든 유지 관리 업데이트가 포함되어 있습니다. 모든 유지 관리 업데이트 목록은 Databricks Runtime 유지 관리 업데이트(보관)를 참조하세요.
시스템 환경
Databricks Runtime 5.2 ML의 시스템 환경은 다음과 같이 Databricks Runtime 5.2와 다릅니다.
- Python: Python 2 클러스터의 경우 2.7.15, Python 3 클러스터의 경우 3.6.5.
- DBUtils: Databricks Runtime 5.2 ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
- GPU 클러스터의 경우 다음 NVIDIA GPU 라이브러리를 사용합니다.
- Tesla 드라이버 396.44
- CUDA 9.2
- CUDNN 7.2.1
라이브러리
다음 섹션에서는 Databricks Runtime 5.2에 포함된 라이브러리와 다른 Databricks Runtime 5.2 ML에 포함된 라이브러리를 나열합니다.
Python 라이브러리
Databricks Runtime 5.2 ML은 Python 패키지 관리에 Conda를 사용합니다. 결과적으로 Databricks Runtime과 비교하여 미리 설치된 Python 라이브러리에는 큰 차이점이 있습니다. 다음은 Conda 패키지 관리자를 사용하여 설치된 제공되는 Python 패키지 및 버전의 전체 목록입니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | bleach | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| 암호화 | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | 미래 | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | requests | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | 6 | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.2 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | torch | 0.4.1 | torchvision | 0.2.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
또한 다음 Spark 패키지에는 Python 모듈이 포함됩니다.
| Spark 패키지 | Python 모듈 | 버전 |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
R 라이브러리
R 라이브러리는 Databricks Runtime 5.2의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.11 클러스터)
Databricks Runtime 5.2의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 5.2 ML에는 다음 JAR이 포함되어 있습니다.
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |