次の方法で共有

cloud_files_state テーブル値関数

  • [アーティクル]

適用対象: check marked yes Databricks SQL 「はい」のチェック マーク Databricks Runtime 11.3 LTS 以上

自動ローダーまたは read_files ストリームのファイル レベルの状態を返します。

構文

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

引数

  • table_name: read_files による書き込み先であるストリーミング テーブルの識別子。 この名前には、テンポラル仕様を含めることはできません。 Databricks Runtime 13.3 LTS 以降で使用できます。
  • checkpoint: STRING リテラルです。 自動ローダー ソースを使用するストリームのチェックポイント ディレクトリ。 「自動ローダー」を参照してください。

戻り値

次のスキーマを持つテーブルを返します。

  • path STRING NOT NULL PRIMARY KEY

    ファイルのパス。

  • size BIGINT NOT NULL

    ファイルのサイズ (バイト単位)。

  • create_time TIMESTAMP NOT NULL

    ファイルが作成された時刻。

  • discovery_time TIMESTAMP NOT NULL

    重要

    この機能は、プライベート プレビュー段階にあります。 これを試すには、Azure Databricks の連絡先に問い合わせてください。

    ファイルが検出された時刻。

  • commit_time TIMESTAMP

    重要

    この機能は、プライベート プレビュー段階にあります。 これを試すには、Azure Databricks の連絡先に問い合わせてください。

    処理後にファイルがチェックポイントにコミットされた時刻。 ファイルがまだ処理されていない場合は NULL。 ファイルは処理される可能性がありますが、後で任意にコミット済みとしてマークされる場合があります。 ファイルをコミット済みとしてマークすることは、自動ローダーがそのファイルを再度処理するために要求しないということを意味します。

  • archive_time TIMESTAMP

    重要

    この機能は、プライベート プレビュー段階にあります。 これを試すには、Azure Databricks の連絡先に問い合わせてください。

    ファイルがアーカイブされた時刻。 ファイルがアーカイブされていない場合は NULL。

  • source_id STRING

    ストリーミング クエリの自動ローダー ソースの ID。 1 つのクラウド オブジェクト ストアの場所から取り込みを行うストリームに対しては、この値は '0' です。

  • flow_name STRING

    適用対象: check marked yes Databricks SQL Databricks Runtime 13.3 以降

    flow_nameは、1 つ以上のクラウド ファイル ソースを含む Delta Live Tables の特定のストリーミング フローを表します。 NULLtable_nameが与えられなかった場合は。

アクセス許可

次のものが必要です。

  • ストリーミング テーブル識別子を使用する場合は、ストリーミング テーブルに対する OWNER 権限。
  • 外部の場所でチェックポイントを提供する場合は、チェックポイントの場所に対する READ FILES 権限。

例

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path