스택 CLI(레거시)

스택 CLI는 작업, Notebook 및 DBFS 파일과 같은 Azure Databricks 리소스 스택을 관리하는 방법을 제공합니다. Notebook 및 DBFS 파일을 로컬로 저장하고, Notebook을 실행하는 작업의 구성과 함께 로컬 파일에서 Azure Databricks 작업 영역의 경로로의 매핑을 정의하는 스택 구성 JSON 템플릿을 만들 수 있습니다.

스택 구성 JSON 템플릿과 함께 스택 CLI를 사용하여 스택을 배포하고 관리할 수 있습니다.

Databricks 스택 CLI 하위 명령을 databricks stack에 추가하여 실행합니다.

databricks stack --help

Usage: databricks stack [OPTIONS] COMMAND [ARGS]...

  [Beta] Utility to deploy and download Databricks resource stacks.

Options:
  -v, --version   [VERSION]
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".
  -h, --help      Show this message and exit.

Commands:
  deploy    Deploy a stack of resources given a JSON configuration of the stack
    Usage: databricks stack deploy [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks and DBFS
                        files  [default: False]
  download  Download workspace notebooks of a stack to the local filesystem
            given a JSON stack configuration template.
    Usage: databricks stack download [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks in the
                        local filesystem   [default: False]

작업 영역에 스택 배포

이 하위 명령은 스택을 배포합니다. 스택 설정을 참조하여 스택을 설정하는 방법을 알아봅니다.

databricks stack deploy ./config.json

스택 구성 JSON 템플릿은 config.json의 예제를 제공합니다.

스택 Notebook 변경 내용 다운로드

이 하위 명령은 스택의 Notebook을 다운로드합니다.

databricks stack download ./config.json

예제

스택 설정

예제 스택의 파일 구조

tree

.
├── notebooks
|   ├── common
|   |   └── notebook.scala
|   └── config
|       ├── environment.scala
|       └── setup.sql
├── lib
|   └── library.jar
└── config.json

이 예제 스택에는 notebooks/config 폴더의 구성 Notebook과 함께 notebooks/common/notebook.scala의 기본 Notebook이 포함되어 있습니다. lib/library.jar에 스택의 JAR 라이브러리 종속성이 있습니다. config.json은 스택의 스택 구성 JSON 템플릿입니다. 스택 배포를 위해 스택 CLI에 전달되는 것입니다.

스택 구성 JSON 템플릿

스택 구성 템플릿은 스택 구성을 설명합니다.

cat config.json

{
  "name": "example-stack",
  "resources": [
  {
    "id": "example-workspace-notebook",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/common/notebook.scala",
      "path": "/Users/example@example.com/dev/notebook",
      "object_type": "NOTEBOOK"
    }
  },
  {
    "id": "example-workspace-config-dir",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/config",
      "path": "/Users/example@example.com/dev/config",
      "object_type": "DIRECTORY"
    }
  },
  {
    "id": "example-dbfs-library",
    "service": "dbfs",
    "properties": {
      "source_path": "lib/library.jar",
      "path": "dbfs:/tmp/lib/library.jar",
      "is_dir": false
    }
  },
    {
      "id": "example-job",
      "service": "jobs",
      "properties": {
        "name": "Example Stack CLI Job",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_DS3_v2",
          "num_workers": 3
        },
        "timeout_seconds": 7200,
        "max_retries": 1,
        "notebook_task": {
          "notebook_path": "/Users/example@example.com/dev/notebook"
        },
        "libraries": [
          {
            "jar": "dbfs:/tmp/lib/library.jar"
          }
        ]
      }
    }
  ]
}

각 작업, 작업 영역 Notebook, 작업 영역 디렉터리, DBFS 파일 또는 DBFS 디렉터리가 ResourceConfig로 정의됩니다. 작업 영역 또는 DBFS 자산을 나타내는 각 ResourceConfig 자산에는 로컬(source_path)에 있는 파일 또는 디렉터리에서 작업 영역 또는 DBFS(path)에 있는 위치로의 매핑이 포함됩니다.

스택 구성 템플릿 스키마는 스택 구성 템플릿에 대한 스키마를 간략하게 설명합니다.

스택 배포

databricks stack deploy <configuration-file> 명령을 사용하여 스택을 배포합니다.

databricks stack deploy ./config.json

스택 배포 중에 DBFS 및 작업 영역 자산이 Azure Databricks 작업 영역에 업로드되고 작업이 만들어집니다.

스택 배포 시 배포에 대한 StackStatus JSON 파일은 이름이 있는 스택 구성 템플릿과 동일한 디렉터리에 저장되며 .json 확장명 바로 앞에 deployed가 즉시 추가됩니다(예: ./config.deployed.json). 이 파일은 Stack CLI에서 작업 영역에서 배포된 과거 리소스를 추적하는 데 사용됩니다.

스택 상태 스키마는 스택 구성의 스키마를 간략하게 설명합니다.

./config.deployed.json

{
  "cli_version": "0.8.3",
  "deployed_output": [
    {
      "id": "example-workspace-notebook",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/notebook"
      },
      "service": "workspace"
    },
    {
      "id": "example-workspace-config-dir",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/config"
      },
      "service": "workspace"
    },
    {
      "id": "example-dbfs-library",
      "databricks_id": {
        "path": "dbfs:/tmp/lib/library.jar"
      },
      "service": "dbfs"
    },
    {
      "id": "example-job",
      "databricks_id": {
        "job_id": 123456
      },
      "service": "jobs"
    }
  ],
  "name": "example-stack"
}

데이터 구조체

이 구역의 내용:

• 스택 구성 템플릿 스키마
• 스택 상태 스키마
• DatabricksId

스택 구성 템플릿 스키마

StackConfig

스택 구성 템플릿의 외부 필드가 있습니다. 모든 필드는 필수입니다.

ResourceConfig

각 ResourceConfig에 대한 필드입니다. 모든 필드는 필수입니다.

ResourceProperties

ResourceService별 리소스의 속성입니다. 필드는 Azure Databricks REST API에서 사용되거나 사용되지 않는 필드로 분류됩니다. 나열된 모든 필드가 필요합니다.

ResourceService

각 리소스는 Databricks REST API와 일치하는 특정 서비스에 속합니다. 이러한 서비스는 Stack CLI에서 지원됩니다.

스택 상태 스키마

StackStatus

스택 상태 파일은 CLI를 사용하여 스택을 배포한 후에 만들어집니다. 최상위 필드는 다음과 같습니다.

ResourceStatus

DatabricksId

필드가 서비스에 따라 달라지는 JSON 개체입니다.