Databricks Asset Bundles リソース

Databricks アセット バンドルを使用すると、バンドル構成の resources マッピングでバンドルによって使用される Azure Databricks リソースに関する情報を指定できます。 リソースリファレンスを参照してください。

このページでは、バンドルでサポートされているすべてのリソースの種類の構成リファレンスを提供し、サポートされている各種類の詳細と例を示します。 その他の例については、バンドル構成の例参照してください。

YAML 構成の検証に使用されるバンドルの JSON スキーマは、 Databricks CLI GitHub リポジトリにあります。

サポートされているリソース

次の表に、バンドルでサポートされているリソースの種類 (YAML と Python(該当する場合)) を示します。 一部のリソースは、バンドルで定義してバンドルをデプロイすることで作成でき、一部のリソースは、バンドルに含める既存の資産を参照することによってのみ作成できます。

リソース構成では、Databricks REST API オブジェクトに対応する Databricks オブジェクトを 定義します。 REST API オブジェクトでサポートされている作成要求フィールドは、YAML として表され、リソースでサポートされているキーです。 各リソースの対応するオブジェクトのドキュメントへのリンクを次の表に示します。

アラート

Type: Map

アラート リソースは 、SQL アラート (v2) を定義します。

Databricks CLI バージョン 0.279.0 で追加されました

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

アラート評価

Type: Map

アラートの評価構成。

アラート・評価・通知

Type: Map

アラートがトリガーされたときに通知するユーザーまたは他の宛先。

アラート.評価.通知.サブスクリプション

Type: Sequence

通知サブスクリプションの順序なしリスト。

リスト内の各項目は AlertSubscriptionです。

アラート.評価.ソース

Type: Map

アラートの評価に使用する結果のソース列。

アラート評価の閾値

Type: Map

アラートの評価に使用するしきい値には、列または値を指定できます。

アラート評価しきい値の値

Type: Map

しきい値として使用するリテラル値。 次のいずれかの値型を指定します。

アラート・スケジュール

Type: Map

アラートのスケジュール構成。

Examples

次の構成例では、単純な評価でアラートを定義します。

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

次の構成例では、集計を使用して評価し、通知を送信するアクセス許可を持つアラートを定義します。

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

アプリ

Type: Map

アプリ リソースは、Databricks アプリを定義します。 Databricks Apps の詳細については、「 Databricks Apps」を参照してください。

アプリを追加するには、必要な source_code_pathを含め、アプリを定義する設定を指定します。

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

Databricks CLI バージョン 0.239.0 で追加されました

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

app.config

アプリ構成コマンドと環境変数。 app.yamlを使用した Databricks アプリの実行の構成を参照してください。

アプリケーション・リソース

Type: Sequence

アプリのコンピューティング リソースの一覧。

リスト内の各項目は AppResourceです。

アプリ.resources.データベース

Type: Map

使用する Lakebase データベースを識別する設定。

app.resources.experiment

Type: Map

使用する MLflow 実験を識別する設定。

app.resources.genie_space

Type: Map

使用する Genie 空間を識別する設定。

アプリケーション.リソース.ジョブ

Type: Map

使用するジョブ リソースを識別する設定。

app.resources.シークレット

Type: Map

使用する Azure Databricks シークレット リソースを識別する設定。

app.resources.serving_endpoint (提供エンドポイント)

Type: Map

使用するエンドポイント リソースを提供するモデルを識別する設定。

アプリリソース.sql_ウェアハウス

Type: Map

使用する SQL ウェアハウスを識別する設定。

app.resources.uc_securable

Type: Map

使用する Unity カタログ ボリュームを識別する設定。

Examples

アプリを定義するバンドルを作成するチュートリアルについては、「 Databricks Asset Bundles を使用して Databricks アプリを管理する」を参照してください。

次の例では、基本的なアプリを定義します。

resources:
  apps:
    hello_world_app:
      name: 'hello-world-app'
      source_code_path: . # This assumes the app source code is at the root of the project.
      description: 'A Databricks app'

次の例では、バンドルによって作成されたジョブを管理する my_app という名前のアプリを作成します。 完全な例については、 バンドルの例の GitHub リポジトリを参照してください。

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

対応する app.yaml は、アプリを実行するための構成を定義します。

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

次の例では、バンドルによって作成された MLflow 実験にアクセスできるアプリを作成します。

resources:
  experiments:
    # Define an MLflow experiment in the bundle
    my_experiment:
      name: /Users/${workspace.current_user.userName}/my-app-experiment

  apps:
    my_ml_app:
      name: 'my-ml-app'
      description: 'An app with access to an MLflow experiment'
      source_code_path: ./app

      # Grant the app access to the MLflow experiment
      resources:
        - name: 'app-experiment'
          experiment:
            experiment_id: ${resources.experiments.my_experiment.id}
            permission: 'CAN_MANAGE'

または、次の例では、バンドル構成で定義されたカスタム構成を持つアプリを定義します。

resources:
  apps:
    my_app:
      name: my_app
      description: my_app_description
      source_code_path: ./app
      config:
        command: ['flask', '--app', 'app', 'run']
        env:
          - name: MY_ENV_VAR
            value: test_value
          - name: ANOTHER_VAR
            value: another_value

catalogs

Type: Map

カタログ リソースを使用すると、バンドル内のカタログ (Unity カタログ) を定義できます。

Databricks CLI バージョン 0.287.0 で追加されました

catalogs:
  <catalog-name>:
    <catalog-field-name>: <catalog-field-value>

Example

resources:
  catalogs:
    my_catalog:
      name: my_catalog
      comment: 'Catalog created by Databricks Asset Bundles'
      properties:
        purpose: 'Testing'
      grants:
        - principal: someone@example.com
          privileges:
            - USE_CATALOG
            - CREATE_SCHEMA

  schemas:
    my_schema:
      name: my_schema
      catalog_name: ${resources.catalogs.my_catalog.name}
      comment: 'Schema in custom catalog'

クラスター

Type: Map

クラスター リソースはクラスターを定義 します。

Databricks CLI バージョン 0.229.0 で追加されました

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

クラスターの自動スケール (cluster.autoscale)

Type: Map

負荷に基づいてクラスターを自動的にスケールアップおよびスケールダウンするためのパラメーター。

cluster.aws_attributes

Type: Map

アマゾン ウェブ サービスで実行されているクラスターに関連する属性。

Type: Map

Microsoft Azure で実行されているクラスターに関連する属性。

cluster.azure_attributes.log_analytics_info

Type: Map

Azure Log Analytics エージェントの構成。

クラスタ.gcp属性

Type: Map

Google Cloud Platform で実行されているクラスターに関連する属性。

クラスター.クラスター_ログ_コンフ

Spark ログを長期的なストレージの宛先に配信するための構成。

cluster.cluster_log_conf.dbfs

Type: Map

クラスター ログ配信の DBFS の場所。

クラスタ.クラスタ_ログ_コンフィグ.s3

Type: Map

クラスター ログ配信の S3 の場所。

クラスター.クラスター_ログ_設定.ボリューム

Type: Map

クラスター ログ配信のボリュームの場所。

cluster.docker_image

Type: Map

カスタム Docker イメージの構成。

cluster.docker_image.basic_auth

Type: Map

Docker リポジトリの基本認証。

クラスター.init_scripts（初期スクリプト）

Type: Map

init スクリプトを保存するための構成。 少なくとも 1 つの場所の種類を指定する必要があります。

cluster.init_scripts.dbfs

Type: Map

init スクリプトの DBFS の場所。

cluster.init_scripts.workspace

Type: Map

init スクリプトのワークスペースの場所。

cluster.init_scripts.s3

Type: Map

S3 にある init スクリプトの場所。

cluster.init_scripts.abfss

Type: Map

ABFSS の init スクリプトの場所。

クラスター・イニット・スクリプツ・GCS

Type: Map

init スクリプトの GCS の場所。

クラスター.init_scripts.ボリューム

Type: Map

init スクリプトのボリュームの位置。

クラスター.ワークロードタイプ

Type: Map

クラスターのワークロードの種類を示すクラスター属性。

クラスタ.workload_type.クライアント

Type: Map

このコンピューティング ワークロードのクライアントの種類。

Examples

次の例では、Databricks Runtime 15.4 LTS とクラスター ポリシーを使用して、現在のユーザーの専用 (シングル ユーザー) クラスターを作成します。

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine: STANDARD

この例では、単純なクラスター my_cluster を作成し、 my_jobでノートブックを実行するために使用するクラスターとして設定します。

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

ダッシュボード

Type: Map

ダッシュボード リソースを使用すると、バンドルで AI/BI ダッシュボードを管理できます。 AI/BI ダッシュボードの詳細については、「ダッシュボードの」を参照してください。

ローカル環境からダッシュボードを含むバンドルをデプロイし、その UI を使用してそのダッシュボードを変更した場合、ui を使用して行われた変更は、 bundle generateを使用して明示的に更新しない限り、ローカル バンドル内のダッシュボード JSON ファイルには適用されません。 --watch オプションを使用して、ダッシュボードへの変更を継続的にポーリングおよび取得できます。 databricks バンドルの生成を参照してください。

さらに、リモート ワークスペースとは異なるダッシュボード JSON ファイルを含むローカル環境からバンドルをデプロイしようとすると、エラーが発生します。 リモート ワークスペース内のダッシュボードを強制的に展開し、ローカル ワークスペースで上書きするには、--force オプションを使用します。 databricks バンドルのデプロイを参照してください。

Databricks CLI バージョン 0.232.0 で追加されました

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

次の例では、NYC タクシー乗車分析 ダッシュボード サンプルを Databricks ワークスペースに含め、デプロイします。

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

データベース・カタログ

Type: Map

データベース カタログ リソースを使用すると、バンドル内 のデータベース インスタンス に対応するデータベース カタログを定義できます。 データベース カタログは、Unity カタログ カタログとして登録されている Lakebase データベースです。

データベース カタログの詳細については、「カタログの 作成」を参照してください。

Databricks CLI バージョン 0.265.0 で追加されました

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

次の例では、対応するデータベース カタログを持つデータベース インスタンス を定義します。

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

データベースインスタンス

Type: Map

データベース インスタンス リソースを使用すると、バンドル内 のデータベース インスタンス を定義できます。 Lakebase データベース インスタンスは、ストレージリソースとコンピューティング リソースを管理し、ユーザーが接続するエンドポイントを提供します。

データベース インスタンスの詳細については、「 データベース インスタンスとは」を参照してください。

Databricks CLI バージョン 0.265.0 で追加されました

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

データベースインスタンスの親インスタンス参照 (database_instance.parent_instance_ref)

Type: Map

親インスタンスの参照。 これは、インスタンスが子インスタンスの場合にのみ使用できます。

Example

次の例では、対応するデータベース カタログを持つ データベース インスタンスを定義します。

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

データベース インスタンスと対応するデータベース カタログを定義する方法を示すバンドルの例については、 バンドルの例の GitHub リポジトリを参照してください。

実験

Type: Map

実験リソースを使用すると、バンドル内に MLflow 実験を定義できます。 MLflow 実験の詳細については、「MLflow 実験を使用してトレーニング実行を整理する」を参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

次の例では、すべてのユーザーが表示できる実験を定義します。

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

ジョブ

Type: Map

ジョブは、Databricks アセット バンドルの Python でサポートされています。 databricks.bundles.jobs を参照してください。

ジョブ リソースを使用すると、ジョブとそれに対応するタスクをバンドルに 定義できます。

ジョブの詳細については、「 Lakeflow ジョブ」を参照してください。 Databricks アセット バンドル テンプレートを使用してジョブを作成するチュートリアルについては、「 Databricks Asset Bundles を使用したジョブの開発」を参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

ジョブ.連続

Type: Map

継続的なジョブ実行の構成。

ジョブ.デプロイメント

Type: Map

外部ソースによって管理されるジョブのデプロイ情報。

ジョブ.メール通知

Type: Map

ジョブ実行の電子メール通知設定。

ジョブ.環境

Type: Sequence

ジョブのサーバーレス タスクによって参照できるタスク実行環境の仕様の一覧。

リスト内の各項目は JobEnvironmentです。

job.environments.spec

Type: Map

サーバーレス環境を表すエンティティ。

job.git_source

Type: Map

ジョブ ソース コードの Git リポジトリ構成。

job.git_source.git_snapshot

Type: Map

読み取り専用のコミット情報スナップショット。

ジョブヘルス

Type: Map

ジョブのヘルスモニタリング設定。

ジョブの健全性ルール

Type: Sequence

ジョブの健全性ルールの一覧。

リスト内の各項目は JobHealthRuleです。

ジョブ.ジョブクラスター

Type: Sequence

このジョブのタスクで共有および再利用できるジョブ クラスター仕様の一覧。 共有ジョブ クラスターでライブラリを宣言することはできません。 タスク設定で依存ライブラリを宣言する必要があります。

リスト内の各項目は JobClusterです。

ジョブ.通知設定

Type: Map

ジョブのすべての通知に適用される通知設定。

ジョブキュー

Type: Map

ジョブのキュー設定。

ジョブ.スケジュール

Type: Map

定期的なジョブ実行の構成をスケジュールします。

ジョブ.トリガー

Type: Map

イベント ドリブン ジョブ実行のトリガー構成。

ジョブ・トリガー・ファイル到着

Type: Map

ファイルの到着に基づいて設定を開始します。

ジョブ.トリガー.テーブル

Type: Map

テーブルに基づいて設定を開始します。

ジョブ.トリガー.テーブルアップデート

Type: Map

テーブルの更新に基づいてプロセスをトリガーします。

ジョブ.トリガー.定期的

Type: Map

定期的なトリガー構成。

ジョブ.webhook通知

Type: Map

ジョブ実行のためのWebhook通知設定。

Examples

次の例では、1 つのノートブック タスクでリソース キー hello-job を持つジョブを定義します。

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

次の例では、SQL ノートブックを使用してジョブを定義します。

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

ジョブ構成のその他の例については、「 ジョブの構成」を参照してください。

ジョブ タスクの定義とジョブ設定のオーバーライドについては、以下を参照してください。

• Databricks アセット バンドルのジョブにタスクを追加する
• ジョブタスク設定の上書き

モデル (レガシ)

Type: Map

モデル リソースを使用すると、バンドルで レガシ モデルを定義できます。 Databricks では、代わりに Unity カタログ 登録済みモデル 使用することをお勧めします。

Databricks CLI バージョン 0.229.0 で追加されました

モデルサービングエンドポイント

Type: Map

model_serving_endpoint リソースを使用すると、エンドポイント を提供モデルを定義できます。 「エンドポイントを提供するモデルの管理」を参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

model_serving_endpoint.email_notifications

Type: Map

サービス エンドポイントの電子メール通知の構成。

モデルサービングエンドポイント.aiゲートウェイ

Type: Map

サービス エンドポイントの AI ゲートウェイ構成。

model_serving_endpoint.ai_gateway.fallback_config

Type: Map

要求が特定のエラー コードで失敗した場合に、他の提供されるエンティティに自動フォールバックするトラフィック フォールバックの構成。

モデル・サービング・エンドポイント.aiゲートウェイ.ガードレール

Type: Map

AI ゲートウェイのガードレール構成。

モデル提供エンドポイント.ai_gateway.推論テーブル構成

Type: Map

Unity カタログ テーブルへの推論ログの構成。

モデル配信エンドポイント.ai_gateway.利用状況追跡設定

Type: Map

使用状況を追跡するための AI ゲートウェイ構成。

model_serving_endpoint.config

Type: Map

サービス エンドポイントのコア構成。

モデル サービング エンドポイント設定.トラフィック設定

Type: Map

サービス エンドポイントへの呼び出しのルーティング方法を定義するトラフィック構成。

model_serving_endpoint.config.auto_capture_config

Type: Map

Unity カタログへの要求と応答を自動的にログに記録する推論テーブルの構成。

Example

次の例では、エンドポイントを提供する Unity カタログ モデルを定義します。

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

パイプライン

Type: Map

パイプラインは、Databricks アセット バンドル用の Python でサポートされています。 databricks.bundles.pipelines を参照してください。

パイプライン リソースを使用すると、パイプラインを作成 できます。 パイプラインの詳細については、「 Lakeflow Spark 宣言型パイプライン」を参照してください。 Databricks アセット バンドル テンプレートを使用してパイプラインを作成するチュートリアルについては、 Databricks アセット バンドルを使用した Lakeflow Spark 宣言型パイプラインの開発に関するページを参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

パイプライン.デプロイメント

Type: Map

パイプラインの展開タイプの構成。

パイプライン環境

Type: Map

サーバーレス コンピューティングに依存関係をインストールするための環境仕様。

パイプライン.イベントログ

Type: Map

パイプラインのイベント ログ構成。

パイプラインフィルター

Type: Map

デプロイされたグラフに含めるパイプライン パッケージを決定するフィルター。

パイプライン.インジェスション定義

Type: Map

マネージド インジェスト パイプラインの構成。 これらの設定は、 libraries、 schema、 target、または catalog の設定では使用できません。

SchemaSpec

Type: Map

スキーマからすべてのテーブルを取り込むためのスキーマ オブジェクトの仕様。

テーブル仕様

Type: Map

特定のテーブルを取り込むためのテーブル オブジェクトの仕様。

レポート仕様

Type: Map

分析レポートを取り込むためのレポート オブジェクトの仕様。

pipeline.ingestion_definition.source_configurations

Type: Map

ソースの構成。

pipeline.ingestion_definition.source_configuration.catalog

Type: Map

カタログ レベルのソース構成パラメーター

パイプライン.インジェスション定義.テーブル構成

Type: Map

インジェスト テーブルの構成オプション。

パイプライン・ライブラリ

Type: Sequence

このパイプラインで必要なライブラリまたはコードの一覧を定義します。

リスト内の各項目は次の定義です。

パイプライン.ライブラリ.ファイル

Type: Map

パイプラインを定義し、Databricks Repos に格納されるファイルへのパス。

pipeline.libraries.glob

Type: Map

ソース コードを含める統合フィールド。 各エントリには、ノートブック パス、ファイル パス、または /**終了するフォルダー パスを指定できます。 このフィールドは、 notebook または fileと一緒に使用することはできません。

パイプライン.ライブラリー.ノートブック

Type: Map

パイプラインを定義し、Databricks ワークスペースに格納されるノートブックへのパス。

pipeline.notifications

Type: Sequence

このパイプラインの通知設定。 シーケンス内の各項目は通知構成です。

Example

次の例では、リソース キーが hello-pipelineされたパイプラインを定義します。

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

パイプライン構成のその他の例については、「 パイプラインの構成」を参照してください。

postgres_branch

Type:Map

Postgres ブランチ リソースを使用すると、バンドル内で Lakebase ブランチ を定義できます。 対応する Postgres プロジェクト と コンピューティング エンドポイントも定義する必要があります。

Databricks CLI バージョン 0.287.0 で追加されました

postgres_branches:
  <postgres_branch-name>:
    <postgres_branch-field-name>: <postgres_branches-field-value>

Example

例postgres_projects参照してください。

postgres_endpoint

Type: Map

postgres_endpoints リソースを使用すると、バンドル内で Lakebase コンピューティング エンドポイント を定義できます。 対応する Lakebase プロジェクト と Lakebase ブランチも定義する必要があります。

Databricks CLI バージョン 0.287.0 で追加されました

postgres_endpoints:
  <postgres_endpoint-name>:
    <postgres_endpoint-field-name>: <postgres_endpoint-field-value>

Example

例postgres_projects参照してください。

postgres_project

Type: Map

Postgres プロジェクト リソースを使用すると、バンドル内で Lakebase Autoscaling Postgres データベース プロジェクト を定義できます。 対応する Postgres ブランチ と コンピューティング エンドポイントも定義する必要があります。

Databricks CLI バージョン 0.287.0 で追加されました

postgres_projects:
  <postgres_project-name>:
    <postgres_project-field-name>: <postgres_project-field-value>

例

resources:
  postgres_projects:
    my_db:
      project_id: test-prod-app
      display_name: 'Production Database'
      pg_version: 17

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_db.id}
      branch_id: main
      is_protected: false
      no_expiry: true

  postgres_endpoints:
    primary:
      parent: ${resources.postgres_branches.main.id}
      endpoint_id: primary
      endpoint_type: ENDPOINT_TYPE_READ_WRITE
      autoscaling_limit_min_cu: 0.5
      autoscaling_limit_max_cu: 4

postgres_project.default_endpoint_settings

Type: Map

quality_monitor（Unity カタログ）

Type: Map

quality_monitor リソースを使用すると、Unity カタログ のテーブル モニターを定義できます。 モニターの詳細については、「 データ プロファイル」を参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

クオリティモニター.カスタムメトリクス

Type: Sequence

カスタム メトリック定義の一覧。

リスト内の各項目は CustomMetricです。

品質モニター.推論ログ

Type: Map

推論ログを監視するための構成。

品質モニター.通知

Type: Map

モニターの通知設定。

品質モニター.通知.失敗時

Type: Map

モニターが失敗したときの通知設定。

quality_monitor.notifications.新しい分類タグが検出されました

Type: Map

新しい分類タグが検出されたときの通知設定。

品質モニター.スケジュール

Type: Map

メトリックテーブルの自動更新とリフレッシュのスケジュールを設定します。

quality_monitor.snapshot 质量モニタースナップショット

Type: Map

スナップショット テーブルを監視するための構成。

クオリティモニター.タイムシリーズ

時系列テーブルを監視するための構成。

Examples

次の例では、 InferenceLog、 TimeSeries、および スナップショット プロファイルの種類の品質モニターを定義します。

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

次の例では、監視に基づいて品質モニターと対応するモデルの再トレーニング ジョブを構成します。

# Quality monitoring workflow
resources:
  quality_monitors:
    mlops_quality_monitor:
      table_name: ${bundle.target}.mlops_demo.predictions
      output_schema_name: ${bundle.target}.mlops_demo
      assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 hour]
        model_id_col: model_version
        prediction_col: prediction
        label_col: fare_amount
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: inference_timestamp
      schedule:
        quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
        timezone_id: UTC
  jobs:
    retraining_job:
      name: ${bundle.target}-mlops_demo-monitoring-retraining-job
      tasks:
        - task_key: monitored_metric_violation_check
          notebook_task:
            notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
            base_parameters:
              env: ${bundle.target}
              table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
              metric_to_monitor: r2_score
              metric_violation_threshold: 0.7
              num_evaluation_windows: 24
              num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold

        - task_key: is_metric_violated
          depends_on:
            - task_key: monitored_metric_violation_check
          condition_task:
            op: EQUAL_TO
            left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
            right: 'true'

        - task_key: trigger_retraining
          depends_on:
            - task_key: is_metric_violated
              outcome: 'true'
          run_job_task:
            job_id: ${resources.jobs.model_training_job.id}

      schedule:
        quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
        timezone_id: UTC

      # To get notifications, provide a list of emails to the on_failure argument.
      #
      #  email_notifications:
      #    on_failure:
      #      - someone@example.com

登録済みモデル (Unity カタログ)

Type: Map

登録されたモデル リソースを使用すると、Unity カタログでモデルを定義できます。 Unity カタログ 登録済みモデルの詳細については、「Unity Catalogでのモデルのライフサイクルの管理」を参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

registered_model.aliases

Type: Sequence

登録済みモデルに関連付けられているエイリアスの一覧。

リスト内の各項目は Aliasです。

Example

次の例では、Unity カタログに登録されているモデルを定義します。

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

スキーマ (Unity Catalog)

Type: Map

スキーマは、Python for Databricks アセット バンドルでサポートされています。 databricks.bundles.schemas を参照してください。

スキーマ リソースの種類を使用すると、バンドルの一部として作成されたワークフローおよびパイプライン内のテーブルやその他の資産に Unity カタログ スキーマを定義できます。 他のリソースの種類とは異なるスキーマには、次の制限があります。

• スキーマ リソースの所有者は常にデプロイ ユーザーであり、変更することはできません。 バンドルで run_as が指定されている場合、スキーマに対する操作では無視されます。
• スキーマ リソースで使用できるのは、対応する Schemas オブジェクト作成 API でサポートされているフィールドのみです。 たとえば、enable_predictive_optimization は、更新 APIでのみ使用可能であるため、サポートされていません。

Databricks CLI バージョン 0.229.0 で追加されました

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

次の例では、ターゲットとして my_pipeline キーを持つ Unity カタログ スキーマを作成するリソース キー my_schema を含むパイプラインを定義します。

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

最上位レベルの許可マッピングは Databricks アセット バンドルではサポートされていないため、スキーマの許可を設定する場合は、schemas マッピング内でスキーマの許可を定義します。 許可の詳細については、「権限の表示、付与、取り消しを参照してください。

次の例では、許可を使用して Unity カタログ スキーマを定義します。

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

秘密の領域

Type: Map

secret_scope リソースを使用すると、バンドル内の シークレット スコープ を定義できます。 シークレット スコープの詳細については、「 シークレットの管理」を参照してください。

Databricks CLI バージョン 0.252.0 で追加されました

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

Azure Key Vault でサポートされるシークレット スコープのメタデータ。

Examples

次の例では、キー ボールト バックエンドを使用するシークレット スコープを定義します。

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

次の例では、シークレット スコープとアクセス許可を使用してカスタム ACL を設定します。

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

バンドル内から読み取るタスクでシークレット スコープとジョブを定義する方法を示すバンドルの例については、 バンドルの例の GitHub リポジトリを参照してください。

SQLデータウェアハウス（sql_warehouse）

Type: Map

SQL ウェアハウス リソースを使用すると、バンドル内の SQL ウェアハウス を定義できます。 SQL ウェアハウスの詳細については、「 Azure Databricks でのデータ ウェアハウス」を参照してください。

Databricks CLI バージョン 0.260.0 で追加されました

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.チャネル

Type: Map

SQL ウェアハウスのチャネル構成。

Example

次の例では、SQL ウェアハウスを定義します。

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

同期データベーステーブル

Type: Map

同期されたデータベース テーブル リソースを使用すると、バンドル内で Lakebase データベース テーブル を定義できます。

同期されたデータベース テーブルの詳細については、「 データベース インスタンスとは」を参照してください。

Databricks CLI バージョン 0.266.0 で追加されました

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

同期データベーステーブル.spec

Type: Map

データベース テーブルの仕様。

Databricks CLI バージョン 0.266.0 で追加されました

同期された_データベース_テーブル.仕様.new_pipeline_spec

Type: Map

同期されたデータベース テーブルによって使用される新しいパイプラインの仕様。

Examples

次の例では、対応するデータベース カタログ内に同期された データベース テーブルを定義します。

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

次の例では、標準カタログ内に同期されたデータベース テーブルを定義します。

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

この例では、同期されたデータベース テーブルを作成し、そのパイプライン スケジュールをカスタマイズします。 これは、既に次の情報があることを前提としています。

• 名前付きデータベース インスタンス my-database-instance
• という名前の標準カタログ my_standard_catalog
• 名前が付いた標準カタログ内のスキーマ default
• 主キーを持つ source_delta.schema.customer という名前のソース 差分テーブル c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

ボリューム (Unity Catalog)

Type: Map

ボリュームは、Databricks アセット バンドルの Python でサポートされています。 databricks.bundles.volumes を参照してください。

ボリューム リソースの種類を使用すると、Unity カタログ ボリューム をバンドルの一部として定義して作成できます。 ボリュームが定義されたバンドルをデプロイする場合は、次の点に注意してください。

• ボリュームは、ワークスペースに存在するまで、バンドルの artifact_path で参照できません。 そのため、Databricks アセット バンドルを使用してボリュームを作成する場合は、まずバンドル内のボリュームを定義し、それをデプロイしてボリュームを作成してから、後続のデプロイで artifact_path で参照する必要があります。
• デプロイターゲットがdev_${workspace.current_user.short_name}に構成されている場合、バンドル内のボリュームにはmode: developmentのプレフィックスは付加されません。 ただし、このプレフィックスは手動で構成できます。 カスタム プリセット を参照してください。

Databricks CLI バージョン 0.236.0 で追加されました

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

次の例では、キー my_volume_idを使用して Unity カタログ ボリュームを作成します。

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Unity Catalog ボリューム内のファイルに書き込むジョブを実行するバンドルの例については、バンドルのサンプル GitHub リポジトリを参照してください。

一般的な物品

許可する

Type: Map

プリンシパルとそのプリンシパルに付与する特権を定義します。 許可の詳細については、「権限の表示、付与、取り消しを参照してください。

Databricks CLI バージョン 0.229.0 で追加されました

Example

次の例では、許可を使用して Unity カタログ スキーマを定義します。

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

ライフサイクル

Type: Map

リソースのライフサイクル設定が含まれています。 デプロイまたは破棄されたときのリソースの動作を制御します。

Databricks CLI バージョン 0.268.0 で追加されました