복사 작업에서 Amazon S3 Compatible 구성

이 문서에서는 데이터 파이프라인의 복사 작업을 사용하여 Amazon S3 Compatible에서 데이터를 복사하는 방법에 대해 설명합니다.

필요한 사용 권한

Amazon S3 Compatible에서 데이터를 복사하려면 Amazon S3 Compatible 개체 작업에 대한 s3:GetObject와 s3:GetObjectVersion의 사용 권한이 부여되었는지 확인합니다.

또한, 연결 테스트 및 루트에서 검색 등의 작업을 수행하려면 s3:ListAllMyBuckets 및 s3:ListBucket/s3:GetBucketLocation의 권한이 필요합니다.

Amazon S3 Compatible 사용 권한의 전체 목록은 AWS 웹 사이트에서 정책에서 사용 권한 지정을 참조하세요.

지원되는 형식

Amazon S3 Compatible은 다음 파일 형식을 지원합니다. 형식 기반 설정에 대한 각 문서를 참조하세요.

• Avro 형식
• 이진 형식
• 구분된 텍스트 형식
• Excel 형식
• JSON 형식
• ORC 형식
• Parquet 형식
• XML 형식

지원되는 구성

복사 작업 아래의 각 탭을 구성하려면 각각 다음 섹션으로 이동합니다.

• 일반
• 원본
• 대상
• 매핑
• 설정

일반

일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.

원본

복사 작업의 원본 탭에서 Amazon S3 Compatible에 대해 지원되는 속성은 다음과 같습니다.

다음 속성은 필수입니다.

• 데이터 저장소 유형: 외부를 선택합니다.

• 연결: 연결 목록에서 Amazon S3 Compatible 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Amazon S3 Compatible 연결을 만듭니다.

• 연결 형식: 연결 형식에 대해 Amazon S3 Compatible을 선택합니다.

• 파일 경로 유형: 파일 경로 유형으로 파일 경로, 접두사, 와일드카드 파일 경로 또는 파일 목록을 선택할 수 있습니다. 각 설정의 구성은 다음과 같습니다.

  • 파일 경로: 이 유형을 선택하면 지정된 버킷 또는 지정된 버킷 및 폴더 경로에 데이터를 복사할 수 있습니다.

  • 접두사: 이 유형을 선택하는 경우 버킷과 접두사를 지정합니다.

    • 버킷: S3 Compatible Storage 버킷 이름을 지정합니다. 필수 항목입니다.

    • 접두사: 원본 S3 Compatible Storage 파일을 필터링하기 위해 지정된 버킷 아래의 S3 Compatible Storage 키 이름에 대한 접두사입니다. 이름이 bucket/this_prefix로 시작하는 S3 Compatible Storage 키가 선택되었습니다. 와일드카드 필터보다 나은 성능을 제공하는 S3 Compatible Storage의 서비스 쪽 필터를 활용합니다.

      접두사를 사용하고 계층 구조를 유지하는 파일 기반 대상으로 복사하도록 선택하는 경우 접두사의 마지막 “/” 뒤에 하위 경로가 유지됩니다. 예를 들어 원본 bucket/folder/subfolder/file.txt가 있고 접두사를 folder/sub로 구성하면 유지되는 파일 경로는 subfolder/file.txt입니다.

    

  • 와일드카드 파일 경로: 이 유형을 선택하는 경우 버킷 및 와일드카드 경로를 지정합니다.

    • 버킷: S3 Compatible Storage 버킷 이름을 지정합니다. 필수 항목입니다.

    • 와일드카드 경로: 지정된 버킷 아래에 와일드카드 문자로 폴더 또는 파일 경로를 지정하여 원본 폴더 또는 파일을 필터링합니다.

      허용되는 와일드카드는 *(문자 0자 이상 일치) 및 ?(문자 0자 또는 1자 일치)입니다. 폴더 이름에 와일드카드 또는 이 이스케이프 문자가 있는 경우 ^을 사용하여 이스케이프합니다. 더 많은 예를 보려면 폴더 및 파일 필터 예를 참조하세요. 와일드카드 폴더 경로: 지정된 버킷 아래에 와일드카드 문자로 폴더 경로를 지정하여 원본 폴더를 필터링합니다.

      와일드카드 파일 이름: 지정된 버킷 및 폴더 경로(또는 와일드카드 폴더 경로) 아래에 와일드카드 문자로 파일 이름을 지정하여 원본 파일을 필터링합니다.

  • 파일 목록: 이 유형을 선택하는 경우 지정된 파일 집합을 복사하도록 표시할 폴더 경로 및 파일 경로 목록을 지정합니다. 복사할 파일 목록이 포함된 텍스트 파일을 한 줄에 한 파일씩, 구성된 경로의 상대 경로인 텍스트 파일을 가리킵니다. 더 많은 예를 보려면 파일 목록 예로 이동합니다.

    

    • 폴더 경로: 지정된 버킷 아래에 있는 폴더의 경로를 지정합니다. 필수 항목입니다.
    • 파일 목록 경로: 복사할 파일 목록이 포함된 텍스트 파일의 경로를 지정합니다.

• 파일 형식: 드롭다운 목록에서 적용된 파일 형식을 선택합니다. 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.

• 재귀적: 데이터를 하위 폴더에서 재귀적으로 읽을지, 아니면 지정된 폴더에서만 읽을지를 지정합니다. 재귀적을 선택하고 대상이 파일 기반 저장소인 경우 대상에 빈 폴더 또는 하위 폴더가 복사되거나 만들어지지 않습니다. 이 속성은 기본적으로 선택되며 파일 목록 경로를 구성할 때는 적용되지 않습니다.

고급에서 다음 필드를 지정할 수 있습니다.

• 마지막으로 수정한 날짜별로 필터링: 지정한 마지막 수정 날짜를 기준으로 파일이 필터링됩니다. 파일 경로 형식을 파일 목록으로 구성할 때는 이 속성이 적용되지 않습니다.

  • 시작 시간(UTC): 마지막으로 수정한 시간이 구성된 시간보다 크거나 같은 경우 파일이 선택됩니다.
  • 종료 시간(UTC): 마지막으로 수정한 시간이 구성된 시간보다 작은 경우 파일이 선택됩니다.

  시작 시간(UTC)에 datetime 값이 있지만 종료 시간(UTC)이 NULL이면, 마지막으로 수정된 특성이 datetime 값보다 크거나 같은 파일이 선택됩니다. 종료 시간(UTC)에 datetime 값이 있지만 시작 시간(UTC)이 NULL이면, 마지막으로 수정된 특성이 datetime 값보다 작은 파일이 선택됩니다. 속성은 NULL일 수 있습니다. 즉, 파일 특성 필터가 데이터에 적용되지 않습니다.

• 파티션 검색을 사용: 파일 경로에서 파티션을 구문 분석하여 추가 소스 열로 추가할지 여부를 지정합니다. 기본적으로 선택되지 않으며 이진 파일 형식을 사용하는 경우 지원되지 않습니다.

  • 파티션 루트 경로: 파티션 검색을 사용하는 경우 분할된 폴더를 데이터 열로 읽도록 절대 루트 경로를 지정합니다.

    지정되지 않은 경우 기본적으로 다음과 같이 지정됩니다.

    • 소스의 파일 경로 또는 파일 목록을 사용하는 경우 파티션 루트 경로는 사용자가 구성한 경로입니다.
    • 와일드카드 폴더 필터를 사용하는 경우 파티션 루트 경로는 첫 번째 와일드카드 앞의 하위 경로입니다.
    • 접두사를 사용하는 경우 파티션 루트 경로는 마지막 “/” 앞의 하위 경로입니다.

    예를 들어, 경로를 다음과 같이 root/folder/year=2020/month=08/day=27(으)로 구성합니다.

    • 파티션 루트 경로를 root/folder/year=2020(으)로 지정하면 복사 작업은 파일 내부의 열 외에 각각 “08” 및 “27” 값을 가진 월 및 일 열을 두 개 더 생성합니다.
    • 파티션 루트 경로가 지정되지 않은 경우 추가 열이 생성되지 않습니다.

    

• 최대 동시 연결: 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.

• 추가 열: 데이터 열을 추가하여 원본 파일의 상대 경로 또는 정적 값을 저장하세요. 식은 정적 값에 대해 지원됩니다.

대상

복사 작업의 대상 탭에서 Amazon S3 Compatible에 대해 지원되는 속성은 다음과 같습니다.

다음 속성은 필수입니다.

• 데이터 저장소 유형: 외부를 선택합니다.
• 연결: 연결 목록에서 Amazon S3 Compatible 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Amazon S3 Compatible 연결을 만듭니다.
• 연결 형식: 연결 형식에 대해 Amazon S3 Compatible을 선택합니다.
• 파일 경로: 지정된 버킷 또는 지정된 버킷 및 폴더 경로에 데이터를 복사할 수 있습니다.
• 파일 형식: 드롭다운 목록에서 적용된 파일 형식을 선택합니다. 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.

고급에서 다음 필드를 지정할 수 있습니다.

• 복사 동작: 원본이 파일 기반 데이터 저장소의 파일인 경우의 복사 동작을 정의합니다. 드롭다운 목록에서 동작을 선택할 수 있습니다.

  • 계층 구조 평면화: 소스 폴더의 모든 파일이 대상 폴더의 최상위 레벨에 저장됩니다. 대상 파일에는 자동 생성된 이름이 있습니다.
  • 파일 병합: 원본 폴더의 모든 파일을 하나의 파일로 병합합니다. 파일 이름이 지정된 경우 병합되는 파일 이름은 지정된 이름입니다. 그렇지 않으면 자동 생성되는 파일 이름이 적용됩니다.
  • 계층 구조 유지: 대상 폴더에서 파일의 계층 구조를 그대로 유지합니다. 원본 폴더의 원본 파일 상대 경로는 대상 폴더의 대상 파일 상대 경로와 동일합니다.

• 최대 동시 연결: 이는 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한을 의미합니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.

매핑

매핑 탭을 구성하려면 매핑 탭에서 매핑 구성으로 이동합니다. 파일 형식으로 바이너리를 선택하면 매핑이 지원되지 않습니다.

설정

설정 탭을 구성하려면 설정 탭에서 기타 설정 구성으로 이동합니다.

표 요약

다음 표에는 Amazon S3 Compatible의 복사 작업에 대한 자세한 정보가 포함되어 있습니다.

원본 정보

대상 정보

관련 콘텐츠

• Amazon S3 Compatible 개요