Databricks アセット バンドル拡張機能の特徴

Visual Studio Code 用 Databricks 拡張機能では、Visual Studio Code を使用して、Databricks アセット バンドルを簡単に定義、デプロイ、実行し、Azure Databricks ジョブ、Delta Live Tables パイプライン、MLOps スタックに CI/CD のベスト プラクティスを適用できる追加機能を利用できます。 「Databricks アセット バンドルとは」をご覧ください。

Visual Studio Code 用 Databricks 拡張機能をインストールするには、「Visual Studio Code 用 Databricks 拡張機能のインストール」を参照してください。

プロジェクトでの Databricks アセット バンドルのサポート

Visual Studio Code 用 Databricks 拡張機能では、Databricks アセット バンドル のプロジェクト用に次の機能が追加されます。

• AuthType プロファイルの選択など、Visual Studio Code UI を使用した Databricks アセット バンドルの簡単な認証と構成。 「Visual Studio Code 用 Databricks 拡張機能の認証の設定」をご参照ください。
• Databricks 拡張機能パネルで、バンドル ターゲット環境をすばやく切り替える　の ターゲット セレクター。 「ターゲット デプロイ ワークスペースの変更」を参照してください。
• 拡張機能パネルの [Override Jobs cluster in bundle] (バンドル内のジョブクラスターをオーバーライドする) オプション。これにより、簡単にクラスターをオーバーライドできます。
• バンドル リソース エクスプローラー ビュー。Visual Studio Code UI を使用してバンドル リソースを閲覧し、ローカルの Databricks のアセット バンドルのリソースを 1 回のクリックでリモートの Azure Databricks ワークスペースにデプロイし、Visual Studio Code からワークスペース内のデプロイされたリソースに直接アクセスできます。 「バンドル リソース エクスプローラー」を参照してください。
• バンドル変数ビュー。Visual Studio Code UI を使用してバンドル変数を閲覧および編集できます。 「バンドル変数ビュー」を参照してください。

バンドル リソース エクスプローラー

Visual Studio Code 用 Databricks 拡張機能のバンドル リソース エクスプローラー ビューでは、プロジェクトのバンドル構成にあるジョブおよびパイプライン定義を使用してリソースが表示されます。 また、リソースをデプロイして実行し、リモートの Azure Databricks ワークスペースでリソースに移動することもできます。 バンドル構成リソースの詳細については、「リソース」を参照してください。

たとえば、単純なジョブ定義を指定します。

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

拡張機能のバンドル リソース エクスプローラー ビューには、ノートブック ジョブ リソースが表示されます。

バンドルをデプロイするには、クラウド (バンドルのデプロイ) アイコンをクリックします。

ジョブを実行するには、バンドル リソース エクスプローラー ビューで、ジョブの名前を選択します。この例では [My Notebook Job] です。 次に、プレイ ([Deploy the bundle and run the resource] (バンドルをデプロイしてリソースを実行する)) アイコンをクリックします。

実行中のジョブを表示するには、バンドル リソース エクスプローラー ビューでジョブ名を展開し、[実行状態] をクリックして、リンク ([Open link externally] (リンクを外部で開く)) アイコンをクリックします。

バンドル変数ビュー

Visual Studio Code 用 Databricks 拡張機能のバンドル 変数ビュー ビューには、バンドル構成で定義されているカスタム変数と関連する設定が表示されます。 バンドル変数ビューを使用して、変数を直接定義することもできます。 これらの値は、バンドル構成ファイルに設定された値をオーバーライドします。 カスタム変数の詳細については、「カスタム変数」を参照してください。

たとえば、拡張機能のバンドル変数ビュー ビューには、次のように表示されます。

このバンドル構成で定義された my_custom_var 変数の場合:

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}