복사 작업에서 Azure Cosmos DB for NoSQL 구성
이 문서에서는 데이터 파이프라인에서 복사 작업을 사용하여 Azure Cosmos DB for NoSQL에서 데이터를 복사하는 방법을 간략하게 설명합니다.
지원되는 구성
복사 작업 아래의 각 탭을 구성하려면 각각 다음 섹션으로 이동합니다.
일반
일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.
원본
복사 작업의 원본 탭에서 Azure Cosmos DB for NoSQL에 대해 지원되는 속성은 다음과 같습니다.
다음 3개의 속성은 필수입니다.
- 데이터 저장소 유형: 외부를 선택합니다.
- 연결: 연결 목록에서 Azure Cosmos DB for NoSQL 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Azure Cosmos DB for NoSQL 연결을 만듭니다.
- 컨테이너: 사용할 컨테이너를 선택합니다. 편집을 선택하여 컨테이너 이름을 수동으로 입력합니다.
고급에서 다음 필드를 지정할 수 있습니다.
쿼리 사용: 테이블 또는 쿼리를 사용 쿼리로 선택할 수 있습니다. 다음 목록에서는 각 설정의 구성에 대해 설명합니다.
테이블: 테이블에서 지정한 테이블에서 데이터를 읽습니다.
쿼리: 데이터를 읽을 Azure Cosmos DB 쿼리를 지정합니다.
페이지 크기: 쿼리 결과의 페이지당 문서 수입니다. 기본값은 서비스 쪽 동적 페이지 크기를 1000까지 사용함을 의미하는 “-1”입니다.
날짜/시간 검색: 문서의 문자열 값에서 날짜/시간을 검색할지를 지정합니다. 허용되는 값은 true(기본값), false입니다.
기본 지역: Azure Cosmos DB에서 데이터를 검색할 때 연결할 기본 지역 목록입니다. 새로 만들기를 선택한 후 드롭다운 목록에서 기본 지역을 하나 선택합니다.
추가 열: 데이터 열을 추가하여 원본 파일의 상대 경로 또는 정적 값을 저장하세요. 식은 정적 값에 대해 지원됩니다. 자세한 내용은 복사하는 동안 추가 열 추가하기를 참조하세요.
대상
복사 작업의 대상 탭에서 Azure Cosmos DB for NoSQL에 대해 지원되는 속성은 다음과 같습니다.
다음 3개의 속성은 필수입니다.
- 데이터 저장소 유형: 외부를 선택합니다.
- 연결: 연결 목록에서 Azure Cosmos DB for NoSQL 연결을 선택합니다.
- 컨테이너: 찾아보기를 선택하여 복사할 파일을 선택하거나 경로를 수동으로 채웁니다.
고급에서 다음 필드를 지정할 수 있습니다.
쓰기 동작: 대상이 파일 기반 데이터 저장소의 파일인 경우의 쓰기 동작을 정의합니다. 드롭다운 목록에서 동적 콘텐츠 추가, 삽입 또는 Upsert를 선택할 수 있습니다.
동적 콘텐츠 추가: 동적 콘텐츠 추가 창을 엽니다. 그러면 지원되는 시스템 변수, 작업 출력, 함수 및 사용자가 지정한 변수 또는 매개 변수에서 식을 빌드할 수 있는 식 작성기가 열립니다. 식 언어에 대한 자세한 내용은 식 및 함수를 참조하세요.
삽입: 원본 데이터에 삽입이 있는 경우 이 옵션을 선택합니다.
Upsert: upsert의 동작은 동일한 ID의 문서가 이미 존재하는 경우 문서를 바꾸는 것이며, 존재하지 않는 경우 문서를 삽입하는 것입니다.
쓰기 일괄 처리 시간 제한: 일괄 처리 삽입 작업이 시간 초과되기 전에 완료될 때까지의 대기 시간입니다. 허용되는 값은
Timespan입니다. 예를 들어 "00:30:00"(30분)입니다.쓰기 일괄 처리 크기: 일괄 처리당 SQL 테이블에 삽입할 행 수를 지정합니다. 허용되는 값은 정수(행 수)입니다. 기본적으로 서비스는 행 크기에 따라 적절한 일괄 처리 크기를 동적으로 결정합니다.
최대 동시 연결: 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.
성능 메트릭 분석 사용 안 함: 이 설정은 복사 성능 최적화 및 권장 사항에 대한 DTU, DWU, RU 등의 메트릭 컬렉션을 제어합니다. 이 동작이 우려된다면 이 기능을 설정 해제합니다.
매핑
매핑 탭 구성의 경우 매핑 탭에서 매핑 구성으로 이동합니다.
설정
설정 탭을 구성하려면 설정 탭에서 기타 설정 구성으로 이동합니다.
표 요약
다음 표에는 Azure Cosmos DB for NoSQL의 복사 작업에 대한 자세한 정보가 포함되어 있습니다.
원본 테이블
| 이름 | 설명 | 값 | 필수 | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 유형 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| 연결 | 원본 데이터 저장소에 대한 연결입니다. | <연결> | 예 | connection |
| 컨테이너 | 원본 데이터의 컨테이너입니다. | <원본의 컨테이너> | 예 | 컨테이너 fileName |
| 쿼리 사용 | 테이블 또는 쿼리를 사용 쿼리로 선택할 수 있습니다. | • 테이블 • 쿼리 |
아니요 | type |
| 페이지 크기 | 쿼리 결과의 페이지당 문서 수입니다. 기본값은 서비스 쪽 동적 페이지 크기를 1000까지 사용함을 의미하는 “-1”입니다. | <페이지 크기> | 아니요 | pageSize |
| datetime 삭제 | 원본 데이터 저장소의 파일은 대상 저장소로 이동한 직후 삭제됩니다. 파일 삭제는 파일 단위로 이루어지므로 복사 작업에 실패하면 일부 파일은 대상에 복사되고 원본에서 삭제된 반면, 다른 파일은 원본 저장소에 계속 남아 있는 것을 확인할 수 있습니다. | 선택 또는 선택 취소 | 아니요 | detectDatetime |
| 기본 지역 | Azure Cosmos DB에서 데이터를 검색할 때 연결할 기본 지역 목록입니다. 새로 만들기를 선택한 후 드롭다운 목록에서 기본 지역을 하나 선택합니다. | <기본 지역> | 아니요 | preferredRegions |
| 추가 열 | 데이터 열을 추가하여 원본 파일의 상대 경로 또는 정적 값을 저장하세요. 식은 정적 값에 대해 지원됩니다. 자세한 내용은 복사하는 동안 추가 열 추가하기를 참조하세요. | <최대 동시 연결 수> | 아니요 | additionalColumns |
대상 테이블
| 이름 | 설명 | 값 | 필수 | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 유형 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| 연결 | 대상 데이터 저장소에 대한 연결입니다. | <연결> | 예 | connection |
| 컨테이너 | 대상 데이터의 컨테이너입니다. | <원본의 컨테이너> | 예 | 컨테이너 fileName |
| 쓰기 동작 | Azure Cosmos DB에 데이터를 쓰는 방법을 설명합니다. 허용되는 값은 insert 및 upsert입니다. upsert의 동작은 동일한 ID의 문서가 이미 존재하는 경우 문서를 바꾸는 것이며, 존재하지 않는 경우 문서를 삽입하는 것입니다. | • 동적 콘텐츠 추가 • 삽입 • Upsert |
아니요 | writeBehavior |
| 쓰기 일괄 처리 시간 제한 | 일괄 처리 삽입 작업이 시간 초과되기 전에 완료될 때까지의 대기 시간입니다. 허용되는 값은 시간 간격입니다. 예를 들어 "00:30:00"(30분)입니다. | timespan | 아니요 | writeBatchTimeout |
| 쓰기 일괄 처리 크기 | SQL 테이블에 삽입할 일괄 처리당 행 수입니다. 허용되는 값은 정수(행 수)입니다. 기본적으로 서비스는 행 크기에 따라 적절한 일괄 처리 크기를 동적으로 결정합니다. | <행 개수 > (정수) |
아니요 | writeBatchSize |
| 최대 동시 연결 수 | 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다. | <최대 동시 연결 수> | 아니요 | maxConcurrentConnections |
| 성능 메트릭 분석 사용 안 함 | 이 설정은 복사 성능 최적화 및 권장 사항에 대한 DTU, DWU, RU 등의 메트릭 컬렉션을 제어합니다. 이 동작이 우려된다면 이 기능을 설정 해제합니다. | 선택 또는 선택 취소 | 아니요 | disableMetricsCollection |