Delta Lake 테이블에 로드
Microsoft Fabric의 Lakehouse는 분석을 위해 준비된 최적화된 Delta 테이블에 공통 파일 형식을 효율적으로 로드하는 기능을 제공합니다. 테이블로 로드 기능을 사용하면 단일 파일 또는 파일 폴더를 테이블에 로드할 수 있습니다. 이 기능은 데이터 엔지니어가 마우스 오른쪽 단추 클릭 작업을 빠르게 사용하여 파일 및 폴더에 테이블 로드를 사용하도록 설정하여 데이터 엔지니어의 생산성을 향상합니다. 테이블에 로드하는 것은 코드가 없는 환경이기도 하므로 모든 가상 사용자의 입력줄을 낮춥니다.
테이블로 로드 기능 개요
다음은 사용자에게 유연성을 제공하는 동시에 생산성을 높이기 위해 테이블 환경으로의 통합 로드에서 사용하도록 설정한 기능 목록입니다.
지원되는 파일 형식: 이 기능은 현재 PARQUET 또는 CSV 파일 형식 로드만 지원합니다. 파일 확장명은 중요하지 않습니다.
단일 파일 로드: 사용자는 파일의 상황에 맞는 메뉴 작업에서 "Delta 테이블에 로드"를 선택하여 지원되는 형식 중 하나로 선택한 단일 파일을 로드할 수 있습니다.
폴더 수준 로드: 폴더를 클릭한 후 "Delta 테이블에 로드"를 선택하여 폴더 및 해당 하위 폴더 아래에 있는 모든 파일을 한 번에 로드할 수 있습니다. 이 기능은 모든 파일을 자동으로 트래버스하고 Delta 테이블에 로드합니다. 동일한 형식의 파일만 테이블에 동시에 로드할 수 있다는 점에 유의해야 합니다.
새 테이블과 기존 테이블로 로드: 사용자가 파일 및 폴더를 새 테이블이나 선택한 기존 테이블에 로드하도록 선택할 수 있습니다. 기존 테이블에 로드하도록 선택하는 경우 테이블에 데이터를 추가하거나 덮어쓸 수 있습니다.
CSV 원본 파일 옵션: CSV 파일의 경우 사용자가 원본 파일에 열 이름으로 사용할 헤더가 포함되어 있는지 지정할 수 있습니다. 사용자가 선택한 구분 기호를 지정하여 기본 쉼표 구분 기호를 재정의할 수도 있습니다.
Delta 테이블로 로드: 테이블은 항상 V 순서 최적화를 사용하도록 설정된 Delta Lake 테이블 형식을 사용하여 로드됩니다.
참고 항목
현재는 Lakehouse UI를 통해 테이블 스키마를 지정할 수 없습니다. 이 목적을 위해 Notebook을 사용해야 합니다.
유효성 검사 지침 및 규칙
다음 표준은 테이블로 로드 환경에 적용됩니다.
테이블 이름에는 영숫자와 밑줄만 포함할 수 있습니다. 또한 대문자, 소문자, 밑줄(
_) 등 모든 영문자를 사용할 수 있으며 최대 길이는 256자입니다. 대시(-) 또는 공백 문자는 허용되지 않습니다.열 머리글이 없는 텍스트 파일은 테이블 열 이름으로 표준
col#표기법으로 바뀝니다.열 이름을 사용하면 영어 문자, 대문자 또는 소문자, 밑줄(
_) 및 UTF의 중국어와 같은 다른 언어의 문자 길이가 최대 128자까지 허용됩니다. 열 이름은 로드 작업 중에 유효성이 검사됩니다. 델타로 로드 알고리즘은 사용할 수 없는 값을 밑줄(_)로 바꿉니다. 유효성 검사 중에 적절한 열 이름이 없는 경우 로드 작업이 실패합니다.CSV 파일의 경우 구분 기호는 비어 있거나 8자를 초과할 수 없으며 다음 문자 중 하나를 사용할 수 없습니다:
(,),[,],{,}, 작은따옴표('), 큰따옴표(") 및 공백을 사용할 수 없습니다.