다음을 통해 공유

Delta Lake로 변환

  • 아티클

CONVERT TO DELTA SQL 명령은 Parquet 및 Iceberg tables을 Delta Lake tables로 일회성 변환을 수행합니다. Parquet 또는 Iceberg tables를 Delta Lake로 점진적으로 변환하려면, Parquet 및 Iceberg tables를 Delta Lake로 점진적으로 복제하는 것을 참조하세요.

Unity Catalog는 Unity Catalog이(가) 관리하는 외부 위치에 저장된 Parquet 및 Iceberg tables에 대한 CONVERT TO DELTA SQL 명령을 지원합니다.

기존 Parquet 데이터 파일을 Unity Catalog에서 외부 tables로 구성한 후 Delta Lake로 변환하여 Databricks 레이크하우스의 모든 기능을 활용할 수 있습니다.

기술 설명서는 CONVERT TO DELTA참조하세요.

외부 위치에 있는 Parquet 또는 Iceberg 파일 디렉터리를 Delta Lake로 변환

참고 항목

  • Iceberg tables 변환은 공개 미리보기입니다.
  • Iceberg tables 변환은 Databricks Runtime 10.4 LTS 이상에서 지원됩니다.
  • Iceberg 메타스토어 tables 변환하는 것은 지원되지 않습니다.
  • 진화 partition을 경험한 빙산 tables를 변환하는 것은 지원되지 않습니다.
  • 업데이트, 삭제 또는 병합이 발생한 Iceberg 병합-읽기 tables 변환은 지원되지 않습니다.
  • 다음은 잘린 columns에 의해 정의된 파티션을 사용하여 Iceberg tables를 변환하기 위한 제한 사항입니다.
    • Databricks Runtime 12.2 LTS 이하에서 지원되는 유일한 잘린 column 유형은 string입니다.
    • Databricks Runtime 13.3 LTS 이상에서는 잘린 형식 columns, string, long또는 int를 사용할 수 있습니다.
    • Azure Databricks는 decimal유형의 잘린 columns 작업을 지원하지 않습니다.

스토리지 위치에 대한 쓰기 액세스 권한이 있는 한 Parquet 데이터 파일의 디렉터리를 Delta Lake table 변환할 수 있습니다. Unity 사용하여 액세스를 구성하는 방법에 대한 자세한 내용은 Unity 사용하여 클라우드 개체 스토리지 및 서비스에 연결을 참조하세요.

참고 항목

Unity Catalog Azure Data Lake Storage Gen2가 필요합니다.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

외부 위치에 변환된 tables을 Unity Catalog의 외부 tables으로 로드하려면 CREATE EXTERNAL TABLE 권한이 필요합니다.

참고 항목

Databricks Runtime 11.3 LTS 이상의 경우 CONVERT TO DELTA는 Hive 메타스토어에 등록된 tables의 분할 정보를 자동으로 유추합니다. Unity Catalog 외부 tables에 대한 분할 정보를 제공해야 합니다.

관리형 및 외부 tables을 Unity Catalog의 Delta Lake로 변환하기

CONVERT TO DELTA 구문은 Unity Catalog 외부 tables만드는 데만 사용할 수 있습니다. 문을 사용하여 레거시 Hive 메타스토어가 관리하는 Parquet 를 관리되는 Unity Delta Lake 로 직접 변환합니다. AS 을 사용하여 Hive 를 관리되는 Unity 로 업그레이드하는 방법은 를 참조하세요.

외부 Parquet 을(를) Unity 외부 로 업그레이드하려면, 업그레이드 마법사을 사용하여 단일 Hive 을(를) Unity 외부 으로 업그레이드하는 방법 을 참조하세요.

외부 Parquet table을(를) Unity Catalog에 등록한 후, 이를 외부 Delta Lake table으로(로) 변환할 수 있습니다. Parquet table이(가) 분할된 경우, 분할 정보를 제공해야 합니다.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);