델타 테이블을 사용하도록 Common Data Model 데이터 원본 업데이트

아티클
09/02/2024

Common Data Model 테이블을 사용하여 기존 데이터 연결을 업데이트하고 데이터 연결에 의존하는 기존 구성을 제거하고 다시 생성하지 않고 델타 형식의 테이블로 이동합니다.

델타 형식으로 저장된 데이터에 연결해야 하는 주요 이유:

델타 형식의 데이터를 직접 가져와 시간과 노력을 절약하세요.
레이크하우스 데이터의 사본을 변환하고 저장하는 데 드는 컴퓨팅 및 스토리지 비용을 줄이세요.
델타 버전 관리에서 제공하는 Customer Insights - Data에 대한 데이터 수집의 신뢰성을 자동으로 향상합니다.

Delta는 Databricks Lakehouse 플랫폼에 데이터와 테이블을 저장하기 위한 기반인 Delta Lake에서 도입된 용어입니다. 델타 레이크는 빅 데이터 워크로드에 ACID(원자성, 일관성, 격리 및 내구성) 트랜잭션을 제공하는 오픈 소스 스토리지 레이어입니다. 자세한 내용은 델타 레이크 설명서 페이지를 참조하십시오.

사전 요구 사항

Azure Data Lake Storage는 Customer Insights - Data와 동일한 테넌트 및 Azure 지역에 있어야 합니다.
방화벽으로 보호되는 스토리지에 연결하려면 Azure Private Link를 설정하세요.
Customer Insights - Data 서비스 주체에는 스토리지 계정에 액세스할 수 있는 Storage Blob 데이터 기여자 권한이 있어야 합니다. 자세한 내용은 서비스 주체에 스토리지 계정에 액세스할 수 있는 권한 부여를 참조하세요.
데이터 원본을 설정하거나 업데이트하는 사용자는 Azure Data Lake Storage 계정에 대한 Storage Blob 데이터 리더 이상의 권한이 필요합니다.
온라인 서비스에 저장된 데이터는 데이터가 처리되거나 저장되는 위치와 다른 위치에 저장될 수 있습니다. 온라인 서비스에서 저장된 데이터를 가져오거나 이에 연결하면 데이터가 전송될 수 있다는 데 동의하는 것입니다. Microsoft 보안 센터에서 자세히 알아보세요.
Customer Insights - Data는 Databricks reader 버전 2를 지원합니다. Databricks reader 버전 3 이상이 필요한 기능을 사용하는 Delta 테이블은 지원되지 않습니다. 자세히 알아보기: 지원되는 Databricks 기능.

델타 테이블은 스토리지 컨테이너의 폴더에 있어야 하고 컨테이너 루트 디렉터리에 있을 수 없습니다. 예:

storageaccountcontainer/
    DeltaDataRoot/
       ADeltaTable/
             _delta_log/
                 0000.json
                 0001.json
             part-0001-snappy.parquet
             part-0002-snappy.parquet

Delta 테이블과 해당 스키마는 기존 Common Data Model 데이터 원본의 테이블과 일치해야 하며 동일한 스토리지 컨테이너에 있어야 합니다. 새 데이터 폴더의 테이블은 Common Data Model 데이터 원본에서 선택한 테이블과 정확히 일치해야 합니다. 테이블 이름과 해당 스키마는 정확히 일치해야 합니다. 델타에서 테이블 이름은 데이터가 저장되는 폴더 이름과 동일합니다. 따라서 폴더 이름은 Common Data Model 데이터 원본에서 선택한 테이블과 정확하게 일치해야 합니다. 그렇지 않으면 업데이트가 실패합니다.

예를 들어 선택한 Common Data Model 데이터 원본 테이블이 Table1 및 Table2인 경우 업데이트를 위해 선택한 폴더는 계층 구조에 Table1 및 Table2를 표시해야 합니다.
```
storageaccountroot/
DeltaDataRoot/
    Table1/
    Table2/
```

공통 데이터 모델 데이터 테이블을 델타 테이블로 업데이트

데이터>데이터 원본으로 이동.
Azure Data Lake Common Data Model 데이터 원본을 선택한 다음 델타 테이블로 업데이트를 선택합니다. 또는 Common Data Model 데이터 원본을 편집하는 경우 테이블 추가 페이지에서 업데이트 시작을 선택합니다.
찾아보기를 선택하고 Delta 형식의 데이터가 포함되어 있고 선택한 Azure Data Lake 데이터 원본 테이블과 정확히 일치하는 폴더로 이동합니다. 이를 선택한 후 데이터 원본 업데이트를 선택하세요.

데이터 원본 페이지가 열리고 새로 고침 중 상태의 새 데이터 원본이 표시됩니다.

중요

데이터 원본 업데이트에 부정적인 영향을 미칠 수 있으므로 새로 고침 프로세스를 중지하지 마십시오.

팁

작업 및 프로세스에 대한 상태가 있습니다. 대부분의 프로세스는 데이터 원본 및 데이터 프로파일링 새로 고침과 같은 다른 업스트림 프로세스에 의존합니다.

상태를 선택하여 진행 세부 정보 창을 열고 작업 진행 상황을 봅니다. 작업을 취소하려면 창 하단에서 작업 취소를 선택합니다.

각 작업 아래에서 처리 시간, 마지막 처리 날짜, 작업 또는 프로세스와 관련된 해당 오류 및 경고와 같은 자세한 진행 정보를 보려면 세부 정보 보기를 선택합니다. 시스템의 다른 프로세스를 보려면 패널 하단에서 시스템 상태 보기를 선택합니다.

업데이트가 성공했고 모든 것이 예상대로 작동하는지 확인할 때까지 기존 파이프라인을 통해 데이터를 Data Lake Storage 위치로 계속 스트리밍하고 매니페스트와 스키마를 유지하는 것이 좋습니다.

Common Data Model 테이블에서 Delta 테이블로 변환 되돌리기

Azure Data Lake Common Data Model 데이터 원본을 델타 테이블로 업데이트하려고 했는데 프로세스가 실패하는 경우 다음 단계를 수행합니다.

전제 조건

귀하의 조직은 파이프라인을 통해 Data Lake Storage 데이터를 계속 스트리밍해 왔습니다.
조직에서는 Data Lake Storage 매니페스트와 스키마를 유지 관리했습니다.

Azure Data Lake Common Data Model 데이터 원본으로 되돌리기

데이터>데이터 원본으로 이동.
Azure Data Lake Common Data Model 데이터 원본을 선택한 다음 Common Data Model 테이블로 되돌리기를 선택합니다.
되돌리려는지 확인하세요. 데이터 원본 페이지가 열리고 새로 고침 중 상태의 새 데이터 원본이 표시됩니다.

중요

데이터 원본 되돌리기에 부정적인 영향을 미칠 수 있으므로 새로 고침 프로세스를 중지하지 마십시오.

다음을 통해 공유