복사 작업에서 Azure Synapse Analytics 구성

이 문서에서는 데이터 파이프라인에서 복사 작업을 사용하여 Azure Synapse Analytics에서 데이터를 복사하는 방법을 간략하게 설명합니다.

지원되는 구성

복사 작업 아래의 각 탭을 구성하려면 각각 다음 섹션으로 이동합니다.

• 일반
• 원본
• 대상
• 매핑
• 설정

일반

일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.

원본

복사 작업의 원본 탭에서 Azure Synapse Analytics에 대해 지원되는 속성은 다음과 같습니다.

다음 속성은 필수입니다.

• 데이터 저장소 유형: 외부를 선택합니다.

• 연결: 연결 목록에서 Azure Synapse Analytics 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Azure Synapse Analytics 연결을 만듭니다.

• 연결 형식: Azure Synapse Analytics를 선택합니다.

• 쿼리 사용: 테이블, 쿼리 또는 저장 프로시저를 선택하여 원본 데이터를 읽을 수 있습니다. 다음 목록에서는 각 설정의 구성에 대해 설명합니다.

  • 테이블: 이 버튼을 선택하면 테이블에서 지정한 테이블에서 데이터를 읽습니다. 드롭다운 목록에서 테이블을 선택하거나 편집을 선택하여 스키마 및 테이블 이름을 수동으로 입력합니다.

    

  • 쿼리: 데이터를 읽는 사용자 지정 SQL 쿼리를 지정합니다. 예제는 select * from MyTable입니다. 또는 코드 편집기에서 연필 아이콘을 선택하여 편집합니다.

    

  • 저장 프로시저: 원본 테이블에서 데이터를 읽는 저장 프로시저를 사용합니다. 마지막 SQL 문은 저장 프로시저의 SELECT 문이어야 합니다.

    

    • 저장 프로시저 이름: 저장 프로시저를 선택하거나 편집을 선택할 때 저장 프로시저 이름을 수동으로 지정합니다.
    • 저장 프로시저 매개 변수: 매개 변수 가져오기를 선택하여 지정된 저장 프로시저에 매개 변수를 가져오거나 + 새로 만들기를 선택하여 저장 프로시저에 매개 변수를 추가합니다. 허용되는 값은 이름 또는 값 쌍입니다. 매개 변수의 이름 및 대소문자와, 저장 프로시저 매개변수의 이름 및 대소문자와 일치해야 합니다.

고급에서 다음 필드를 지정할 수 있습니다.

• 쿼리 시간 제한(분): 쿼리 명령 실행에 대한 시간 제한을 지정합니다. 기본값은 120분입니다. 이 속성에 대해 매개 변수가 설정된 경우 허용되는 값은 시간 범위(예: "02:00:00"(120분))입니다.

• 격리 수준: SQL 원본에 대한 트랜잭션 잠금 동작을 지정합니다. 허용되는 값은 없음, 커밋된 읽기, 커밋되지 않은 읽기, 반복 가능한 읽기, 직렬화 가능 또는 스냅샷입니다. 지정하지 않으면 없음 격리 수준이 사용됩니다. 자세한 내용은 IsolationLevel 열거형을 참조하세요.

  

• 파티션 옵션: Azure Synapse Analytics에서 데이터를 로드하는 데 사용되는 데이터 파티션 옵션을 지정합니다. 허용되는 값은 없음 (기본값), 테이블의 실제 파티션 및 동적 범위입니다. 파티션 옵션이 활성화된 경우(즉, 없음이 아닐 때), Azure Synapse Analytics에서 데이터를 동시에 로드하는 병렬 처리 수준은 복사 작업에서 병렬 복사 설정으로 제어됩니다.

  • 없음: 파티션을 사용하지 않려면 이 설정을 선택합니다.

  • 테이블의 실제 파티션: 실제 파티션을 사용하려면 이 설정을 선택합니다. 파티션 열 및 메커니즘은 실제 테이블 정의에 따라 자동으로 결정됩니다.

  • 동적 범위: 동적 범위 파티션을 사용하려면 이 설정을 선택합니다. 병렬이 활성화된 쿼리를 사용하는 경우 범위 파티션 매개 변수(?DfDynamicRangePartitionCondition)가 필요합니다. 샘플 쿼리: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    

    • 파티션 열 이름: 병렬 복사를 위해 범위 분할에서 사용하는 원본 열의 이름을 정수 또는 날짜/날짜 시간 형식(int, smallint, bigint, date, smalldatetime, datetime, datetime2 또는 datetimeoffset)으로 지정합니다. 지정하지 않으면 테이블의 인덱스 또는 기본 키가 자동으로 검색되어 파티션 열로 사용됩니다.
    • 파티션 상한: 파티션 범위 분할을 위한 파티션 열의 최대값을 지정합니다. 이 값은 테이블의 행을 필터링하는 것이 아니라 파티션 진행 속도를 결정하는 데 사용됩니다. 테이블 또는 쿼리 결과의 모든 행이 분할되고 복사됩니다.
    • 파티션 하한: 파티션 범위 분할을 위한 파티션 열의 최솟값을 지정합니다. 이 값은 테이블의 행을 필터링하는 것이 아니라 파티션 진행 속도를 결정하는 데 사용됩니다. 테이블 또는 쿼리 결과의 모든 행이 분할되고 복사됩니다.

• 추가 열: 데이터 열을 추가하여 원본 파일의 상대 경로 또는 정적 값을 저장하세요. 식은 정적 값에 대해 지원됩니다. 자세한 내용은 복사하는 동안 추가 열 추가하기를 참조하세요.

대상

복사 작업의 대상 탭에서 Azure Synapse Analytics에 대해 지원되는 속성은 다음과 같습니다.

다음 속성은 필수입니다.

• 데이터 저장소 유형: 외부를 선택합니다.
• 연결: 연결 목록에서 Azure Synapse Analytics 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Azure Synapse Analytics 연결을 만듭니다.
• 연결 형식: Azure Synapse Analytics를 선택합니다.
• 테이블 옵션: 기존 항목 사용, 테이블 자동 만들기를 선택할 수 있습니다. 다음 목록에서는 각 설정의 구성에 대해 설명합니다.
  • 기존 항목 사용: 드롭다운 목록에서 데이터베이스의 테이블을 선택합니다. 또는 편집을 선택하여 스키마와 테이블 이름을 수동으로 입력합니다.
  • 테이블 자동 만들기: 원본 스키마에 테이블을 자동으로 만듭니다(존재하지 않는 경우).

고급에서 다음 필드를 지정할 수 있습니다.

• 복사 방법 데이터를 복사하는 데 사용할 방법을 선택합니다. 복사 명령, PolyBase, 대량 삽입 또는 Upsert 중에서 선택할 수 있습니다. 다음 목록에서는 각 설정의 구성에 대해 설명합니다.

  • 복사 명령: COPY 문을 사용하여 Azure Storage에서 Azure Synapse Analytics 또는 SQL 풀로 데이터를 로드합니다.

    

    • 복사 명령 허용: 복사 명령을 선택할 때 반드시 선택해야 합니다.
    • 기본값: Azure Synapse Analytics의 각 대상 열에 대한 기본값을 지정합니다. 속성의 기본값은 데이터 웨어하우스의 기본 제약 조건 집합을 덮어쓰고 ID 열에는 기본값을 사용할 수 없습니다.
    • 추가 옵션: COPY 문의 "With" 절에서 직접 Azure Synapse Analytics COPY 문에 전달되는 추가 옵션입니다. COPY 문 요구 사항에 맞게 조정하는 데 필요한 값을 따옴표로 묶습니다.

  • PolyBase: PolyBase는 처리량이 높은 메커니즘입니다. 이를 사용하여 대량의 데이터를 Azure Synapse Analytics 또는 SQL 풀에 로드합니다.

    

    • PolyBase 허용: PolyBase를 선택할 때 반드시 선택해야 합니다.
    • 거부 유형: rejectValue 옵션이 리터럴 값인지 또는 백분율인지를 지정합니다. 허용되는 값은 Value(기본값) 및 Percentage입니다.
    • 거부 값: 쿼리가 실패하기 전에 거부될 수 있는 행의 수 또는 백분율을 지정합니다. CREATE EXTERNAL TABLE(Transact-SQL)의 인수 섹션에서 PolyBase의 거부 옵션에 대해 자세히 알아봅니다. 허용되는 값은 0(기본값), 1, 2 등입니다.
    • 거부 샘플 값: PolyBase가 거부된 행의 백분율을 다시 계산하기 전에 검색할 행 수를 결정합니다. 허용되는 값은 1, 2 등입니다. 거부 유형으로 백분율을 선택하는 경우 이 속성이 필요합니다.
    • 형식 기본값 사용: PolyBase가 텍스트 파일에서 데이터를 검색할 경우 구분된 텍스트 파일에서 누락된 값을 처리하는 방법을 지정합니다. 외부 파일 서식 만들기(Transact-SQL)를 사용하여 파이프라인을 만드는 데 사용할 수 있는 샘플 JSON 정의를 제공합니다. 허용되는 값은 선택됨(기본값) 또는 선택 취소됨입니다.

  • 대량 삽입: 대량 삽입을 사용하여 대상에 데이터를 대량으로 삽입합니다.

    

    • 대량 삽입 테이블 잠금: 이 설정을 사용하면 여러 클라이언트의 인덱스가 없는 테이블에 대량 삽입 작업을 수행할 때 복사 성능을 향상시킬 수 있습니다. BULK INSERT(Transact-SQL)에서 자세히 알아보세요.

  • Upsert: 대상에 데이터를 Upsert하려는 경우 쓰기 동작에 대한 설정 그룹을 지정합니다.

    

    • 키 열: 원본의 행이 대상의 행과 일치하는지 확인하는 데 사용할 열을 선택합니다.

    • 대량 삽입 테이블 잠금: 이 설정을 사용하면 여러 클라이언트의 인덱스가 없는 테이블에 대량 삽입 작업을 수행할 때 복사 성능을 향상시킬 수 있습니다. BULK INSERT(Transact-SQL)에서 자세히 알아보세요.

• 스크립트 사전 복사: 각 실행에서 대상 테이블에 데이터를 쓰기 전에 실행할 복사 작업에 대한 스크립트를 지정합니다. 이 속성을 사용하여 미리 로드된 데이터를 정리할 수 있습니다.

• 쓰기 일괄 처리 시간 제한: 일괄 처리 삽입 작업이 시간 초과되기 전에 완료될 때까지의 대기 시간을 지정합니다. 허용되는 값은 시간 간격입니다. 기본값은 "00:30:00"(30분)입니다.

• 쓰기 일괄 처리 크기: 일괄 처리당 SQL 테이블에 삽입할 행 수를 지정합니다. 허용되는 값은 정수(행 수)입니다. 기본적으로 서비스는 행 크기에 따라 적절한 일괄 처리 크기를 동적으로 결정합니다.

• 최대 동시 연결: 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한을 지정합니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.

• 성능 메트릭 분석 사용 안 함: 이 설정은 복사 성능 최적화 및 권장 사항에 대한 DTU, DWU, RU 등의 메트릭을 수집하는 데 사용됩니다. 이 동작이 우려된다면 이 확인란을 선택하세요. 기본적으로 선택되지 않습니다.

COPY 명령을 사용하여 직접 복사

Azure Synapse Analytics COPY 명령은 Azure Blob Storage 및 Azure Data Lake Storage Gen2를 원본 데이터 저장소로 직접 지원합니다. 원본 데이터가 이 섹션에 설명된 조건을 충족하는 경우, COPY 명령을 사용하여 원본 데이터 저장소에서 Azure Synapse Analytics로 직접 복사합니다.

1. 원본 데이터 및 형식은 다음과 같은 유형 및 인증 방법을 포함합니다.

   지원되는 원본 데이터 저장소 형식	지원되는 형식	지원되는 원본 인증 유형
   Azure Blob Storage	구분된 텍스트 Parquet	익명 인증 계정 키 인증 공유 액세스 서명 인증
   Azure Data Lake Storage Gen2	구분된 텍스트 Parquet	계정 키 인증 공유 액세스 서명 인증

2. 다음 형식 설정은 변경할 수 있습니다.
   

   1. Parquet의 경우: 압축 형식은 없음, snappy 또는 gzip일 수 있습니다.
   2. DelimitedText의 경우:
      1. 행 구분 기호: 직접 COPY 명령을 통해 구분된 텍스트를 Azure Synapse Analytics에 복사할 때 행 구분 기호를 명시적으로 지정합니다(\r; \n; 또는 \r\n). 원본 파일의 행 구분 기호가 \r\n인 경우에만 기본값(\r, \n 또는 \r\n)이 작동합니다. 그렇지 않으면 시나리오에 대한 스테이징을 사용하도록 설정합니다.
      2. Null 값은 기본값으로 남아 있거나 빈 문자열("")로 설정됩니다.
      3. 인코딩은 기본값으로 남아 있거나 UTF-8 또는 UTF-16으로 설정됩니다.
      4. 줄 수 건너뛰기는 기본값으로 남아 있거나 0으로 설정됩니다.
      5. 압축 형식은 없음 또는 gzip일 수 있습니다.

3. 원본이 폴더인 경우 재귀적 확인란을 선택해야 합니다.

4. 마지막으로 수정한 시간으로 필터링, 접두사, 파티션 검색 사용, 추가 열의 시작 시간(UTC) 및 종료 시간(UTC)은 지정되지 않습니다.

COPY 명령을 사용하여 Azure Synapse Analytics에 데이터를 수집하는 방법을 알아보려면 이 문서를 참조하세요.

원본 데이터 저장소와 형식이 COPY 명령에서 원래 지원되지 않는 경우, 대신 COPY 명령을 사용한 준비된 복사 기능을 사용합니다. 데이터를 COPY 명령 호환 형식으로 자동으로 변환한 다음 COPY 명령을 호출하여 Azure Synapse Analytics에 데이터를 로드합니다.

매핑

매핑 탭 구성의 경우 테이블 자동 만들기를 대상으로 사용하여 Azure Synapse Analytics를 적용하지 않는 경우 매핑으로 이동합니다.

매핑의 구성을 제외하고 테이블 자동 만들기를 대상으로 Azure Synapse Analytics를 적용하는 경우 대상 열의 형식을 편집할 수 있습니다. 스키마 가져오기를 선택한 후 대상에서 열 형식을 지정할 수 있습니다.

예를 들어 원본의 ID 열 형식은 int이며 대상 열에 매핑할 때 부동 형식으로 변경할 수 있습니다.

설정

설정 탭을 구성하려면 설정 탭에서 기타 설정 구성으로 이동합니다.

Azure Synapse Analytics에서 병렬 복사

복사 작업의 Azure Synapse Analytics 커넥터는 데이터를 병렬로 복사하는 기본 제공 데이터 분할을 제공합니다. 복사 작업의 원본 탭에서 데이터 분할 옵션을 찾을 수 있습니다.

분할된 복사본을 사용하도록 설정하면 복사 작업이 Azure Synapse Analytics 원본에 대해 병렬 쿼리를 실행하여 파티션별로 데이터를 로드합니다. 병렬 수준은 복사 작업 설정 탭의 복사 병렬 처리 수준에 의해 제어됩니다. 예를 들어 복사 병렬 처리 수준을 4로 설정하면 서비스는 지정된 파티션 옵션 및 설정에 따라 4개의 쿼리를 동시에 생성하고 실행하며 각 쿼리는 Azure Synapse Analytics에서 데이터의 일부를 검색합니다.

특히 Azure Synapse Analytics에서 대량의 데이터를 로드하는 경우 특별히 데이터 분할로 병렬 복사를 사용하도록 설정하는 것이 좋습니다. 다양한 시나리오에 대해 권장되는 구성은 다음과 같습니다. 파일 기반 데이터 저장소에 데이터를 복사할 때 여러 파일로 폴더에 쓰는 것이 좋습니다(폴더 이름만 지정). 이 경우 단일 파일에 쓰는 것보다 성능이 좋습니다.

파티션 옵션을 사용하여 데이터를 로드하는 모범 사례:

• 데이터 기울이기를 방지하려면 고유한 열(예: 기본 키 또는 고유 키)을 분할 열로 선택합니다.
• 테이블에 기본 제공 파티션이 있는 경우 테이블의 실제 파티션 파티션 옵션을 사용하여 성능을 향상시킵니다.
• Azure Synapse Analytics는 한 번에 최대 32개의 쿼리를 실행할 수 있으므로 복사 병렬 처리 수준을 너무 크게 설정하면 Synapse 제한 문제가 발생할 수 있습니다.

실제 파티션을 확인하기 위한 샘플 쿼리

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, c.name AS ColumnName, CASE WHEN c.name IS NULL THEN 'no' ELSE 'yes' END AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.types AS y ON c.system_type_id = y.system_type_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'

테이블에 물리적 파티션이 있는 경우 "HasPartition"이 "예"로 표시됩니다.

표 요약

다음 표에는 Azure Synapse Analytics의 복사 작업에 대한 자세한 정보가 포함되어 있습니다.

원본

대상

관련 콘텐츠

• Azure Synapse Analytics 커넥터 개요