데이터 복사 도구를 사용하여 SQL Server 데이터베이스에서 Azure Blob 스토리지로 데이터 복사

아티클
10/03/2024

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

이 자습서에서는 Azure Portal을 사용하여 데이터 팩터리를 만듭니다. 그런 다음, 데이터 복사 도구를 사용하여 SQL Server 데이터베이스에서 Azure Blob 스토리지로 데이터를 복사하는 파이프라인을 만듭니다.

참고 항목

Azure Data Factory를 처음 사용하는 경우 Data Factory 소개를 참조하세요.

이 자습서에서는 다음 단계를 수행합니다.

데이터 팩터리를 만듭니다.
데이터 복사 도구를 사용하여 파이프라인 만들기
파이프라인 및 작업 실행을 모니터링합니다.

필수 조건

Azure 구독

시작하기 전에 Azure 구독이 아직 없는 경우 체험 계정을 만듭니다.

Azure 역할

Data Factory 인스턴스를 만들려면 Azure에 로그인하는 데 사용할 사용자 계정은 참가자 또는 소유자 역할로 할당되거나 Azure 구독의 관리자여야 합니다.

구독에 대한 권한을 보려면 Azure Portal로 이동합니다. 오른쪽 위 모서리에서 사용자 이름을 선택한 다음, 권한을 선택합니다. 여러 구독에 액세스할 수 있는 경우 적절한 구독을 선택합니다. 역할에 사용자를 추가하는 방법에 대한 샘플 지침은 Azure Portal을 사용하여 Azure 역할 할당을 참조하세요.

SQL Server 2014, 2016 및 2017

이 자습서에서는 SQL Server 데이터베이스를 원본 데이터 저장소로 사용합니다. 이 자습서에서 만드는 데이터 팩터리의 파이프라인은 SQL Server 데이터베이스(원본)에서 Blob 스토리지(싱크)로 데이터를 복사합니다. 그런 다음, SQL Server 데이터베이스에 emp라는 테이블을 만들고, 동일한 두 개의 샘플 항목을 이 테이블에 삽입합니다.

SQL Server Management Studio를 시작합니다. 아직 컴퓨터에 설치되지 않은 경우 SQL Server Management Studio 다운로드로 이동합니다.
자격 증명을 사용하여 SQL server 인스턴스에 연결합니다.
샘플 데이터베이스 만들기 트리 뷰에서 데이터베이스를 마우스 오른쪽 단추로 클릭한 다음 새 데이터베이스를 선택합니다.
새 데이터베이스 창에서 데이터베이스의 이름을 입력하고 확인을 선택합니다.
emp 테이블을 만들고 일부 샘플 데이터를 이 테이블에 삽입하려면 데이터베이스에 대해 다음 쿼리 스크립트를 실행합니다. 트리 뷰에서 생성한 데이터베이스를 마우스 오른쪽 단추로 클릭하고 새 쿼리를 선택합니다.
```
CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO
```

Azure Storage 계정

이 자습서에서는 범용 Azure 스토리지 계정(특히 Blob Storage)을 대상/싱크 데이터 스토리지로 사용합니다. 범용 스토리지 계정이 없는 경우 새로 만들기 위한 지침은 스토리지 계정 만들기를 참조하세요. 이 자습서에서 만드는 데이터 팩터리의 파이프라인은 SQL Server 데이터베이스(원본)에서 이 Blob 스토리지(싱크)로 데이터를 복사합니다.

스토리지 계정 이름 및 계정 키 가져오기

이 자습서에서는 스토리지 계정의 이름과 키를 사용합니다. 스토리지 계정의 이름과 키를 가져오려면 다음 단계를 수행합니다.

Azure 사용자 이름과 암호를 사용하여 Azure Portal에 로그인합니다.
왼쪽 창에서 모든 서비스를 선택합니다. 스토리지 키워드를 사용하여 필터링한 다음, 스토리지 계정을 선택합니다.
필요한 경우 스토리지 계정 목록에서 스토리지 계정을 필터링합니다. 그런 후 스토리지 계정을 선택합니다.
스토리지 계정 창에서 액세스 키를 선택합니다.
스토리지 계정 이름 및 key1 상자에서 값을 복사한 다음 메모장 또는 나중에 자습서에서 사용할 다른 편집기에 붙여넣습니다.

데이터 팩터리 만들기

왼쪽 메뉴에서 리소스 만들기>통합>Data Factory를 선택합니다.
새 데이터 팩터리 페이지의 이름 아래에서 ADFTutorialDataFactory를 입력합니다.

데이터 팩터리 이름은 전역적으로 고유해야 합니다. 이름 필드에 대해 다음과 같은 오류 메시지가 표시되면 데이터 팩터리의 이름을 변경합니다(예: yournameADFTutorialDataFactory). Data Factory 아티팩트에 대한 명명 규칙은 Data Factory 명명 규칙을 참조하세요.
데이터 팩터리를 만들 Azure 구독을 선택합니다.
리소스 그룹에 대해 다음 단계 중 하나를 사용합니다.
- 기존 항목 사용을 선택하고 드롭다운 목록에서 기존 리소스 그룹을 선택합니다.
- 새로 만들기를 선택하고, 리소스 그룹의 이름을 입력합니다.
  
  리소스 그룹에 대한 자세한 내용은 리소스 그룹을 사용하여 Azure 리소스 관리를 참조하세요.
버전에서 V2를 선택합니다.
위치 아래에서 데이터 팩터리에 대한 위치를 선택합니다. 지원되는 위치만 드롭다운 목록에 표시됩니다. 데이터 팩터리에서 사용되는 데이터 저장소(예: Azure Storage, SQL Database) 및 계산(예: Azure HDInsight)은 다른 위치와 지역에 있을 수 있습니다.
만들기를 실행합니다.
만들기가 완료되면 이미지와 같은 Data Factory 페이지가 표시됩니다.
Azure Data Factory Studio 열기 타일에서 열기를 선택하여 별도의 탭에서 Data Factory 사용자 인터페이스를 시작합니다.

데이터 복사 도구를 사용하여 파이프라인 만들기

Azure Data Factory 홈페이지에서 수집을 선택하여 데이터 복사 도구를 시작합니다.
데이터 복사 도구의 속성 페이지에 있는 작업 유형 아래에서 기본 제공 복사 작업을 선택한 후 작업 주기 또는 작업 일정에서 지금 한 번 실행을 선택한 후 다음을 선택합니다.
원본 데이터 저장소 페이지에서 +새 연결 만들기를 선택합니다.
새 연결에서 SQL Server를 검색한 다음, 계속을 선택합니다.
새 연결(SQL Server) 대화 상자의 이름에 SqlServerLinkedService를 입력합니다. 통합 런타임을 통해 연결에서 +새로 만들기를 선택합니다. 자체 호스팅 통합 런타임을 만들고, 컴퓨터에 다운로드하고, Data Factory에 등록해야 합니다. 자체 호스팅 통합 런타임은 온-프레미스 환경과 클라우드 간에 데이터를 복사합니다.
통합 런타임 설정 대화 상자에서 자체 호스팅을 선택합니다. 그런 다음, 계속을 선택합니다.
통합 런타임 설정 대화 상자의 이름에 TutorialIntegrationRuntime을 입력합니다. 다음으로 만들기를 선택합니다.
통합 런타임 설정 대화 상자에서 이 컴퓨터에 대한 빠른 설치를 시작하려면 여기를 클릭하세요.를 선택합니다. 이 작업은 통합 런타임을 컴퓨터에 설치하고 Data Factory에 등록합니다. 또는 수동 설치 옵션을 사용하여 설치 파일을 다운로드하고, 실행하고, 키를 사용하여 통합 런타임을 등록할 수 있습니다.
다운로드한 애플리케이션을 실행합니다. 창에 빠른 설치의 상태가 표시됩니다.
새 연결(SQL Server) 대화 상자에서 통합 런타임을 통해 연결에 TutorialIntegrationRuntime이 선택되어 있는지 확인합니다. 그런 다음, 다음 단계를 수행합니다.

a. 이름 아래에서 SqlServerLinkedService를 입력합니다.

b. 서버 이름 아래에서 온-프레미스 SQL Server 인스턴스의 이름을 입력합니다.

c. 데이터베이스 이름 아래에서 온-프레미스 데이터베이스의 이름을 입력합니다.

d. 인증 유형 아래에서 적절한 인증을 선택합니다.

e. 사용자 이름 아래에서 SQL Server에 대한 액세스 권한이 있는 사용자의 이름을 입력합니다.

f. 사용자의 암호를 입력합니다.

g. 연결을 테스트하고 만들기를 선택합니다.
원본 데이터 저장소 페이지에서 새로 만든 SQL Server 연결을 연결 블록에서 선택했는지 확인합니다. 그런 후 원본 테이블 섹션에서 기존 테이블을 선택하고 목록에서 dbo.emp 테이블을 선택하고 다음을 선택합니다. 데이터베이스에 따라 다른 테이블을 선택할 수 있습니다.
필터 적용 페이지에서 데이터 미리 보기 단추를 선택하여 데이터를 미리 보고 입력 데이터의 스키마를 볼 수 있습니다. 그런 후 다음을 선택합니다.
대상 데이터 저장소 페이지에서 + 새 연결 만들기를 선택합니다.
새 연결에서 Azure Blob Storage를 검색하고 선택한 다음, 계속을 선택합니다.
새 연결(Azure Blob Storage) 대화 상자에서 다음 단계를 수행합니다.

a. 이름 아래에서 AzureStorageLinkedService를 입력합니다.

b. 통합 런타임을 통해 연결에서 TutorialIntegrationRuntime을 선택하고 인증 방법에서 계정 키를 선택합니다.

c. Azure 구독의 드롭다운 목록에서 해당 Azure 구독을 선택합니다.

d. 스토리지 계정 이름 아래의 드롭다운 목록에서 스토리지 계정을 선택합니다.

e. 연결을 테스트하고 만들기를 선택합니다.
대상 데이터 저장소 대화 상자의 연결 블록에서 Azure Blob Storage 연결이 선택되어 있는지 확인합니다. 그런 후 폴더 경로에 대해 adftutorial/fromonprem을 입력합니다. 필수 구성 요소의 일부로 adftutorial 컨테이너를 만들었습니다. 출력 폴더가 없으면(이 경우에 fromonprem) Data Factory에서 자동으로 만듭니다. 또한 찾아보기 단추를 사용하여 Blob Storage 및 해당 컨테이너/폴더를 탐색할 수도 있습니다. 파일 이름 아래에 있는 값을 지정하지 않으면 기본적으로 원본의 이름을 사용합니다(이 경우에 dbo.emp).
파일 형식 설정 대화 상자에서 다음을 선택합니다.
설정 대화 상자의 작업 이름 아래에서 CopyFromOnPremSqlToAzureBlobPipeline을 입력하고 다음을 선택합니다. 데이터 복사 도구는 이 필드에 지정한 이름의 파이프라인을 만듭니다.
요약 대화 상자에서 모든 설정 값을 검토하고 다음을 선택합니다.
배포 페이지에서 모니터링을 선택하여 파이프라인(작업)을 모니터링합니다.
파이프라인 실행이 완료되면 만든 파이프라인의 상태를 볼 수 있습니다.
"파이프라인 실행" 페이지에서 새로 고침을 선택하여 목록을 새로 고칩니다. 파이프라인 이름 아래 링크를 선택하여 활동 실행 세부 정보를 보거나 파이프라인을 다시 실행합니다.
복사 작업에 관한 자세한 내용은 "활동 실행" 페이지의 활동 이름 열에서 세부 정보 링크(안경 아이콘)를 선택합니다. "파이프라인 실행" 페이지로 돌아가려면 이동 경로 메뉴의 모든 파이프라인 실행 링크를 선택합니다. 보기를 새로 고치려면 새로 고침을 선택합니다.
adftutorial 컨테이너의 fromonprem 폴더에 있는 출력 파일이 표시되는지 확인합니다.
왼쪽의 작성 탭을 선택하여 편집기 모드로 전환합니다. 편집기를 사용하여 도구에서 만든 연결된 서비스, 데이터 세트 및 파이프라인을 업데이트할 수 있습니다. 코드를 선택하여 편집기에서 열려 있는 엔터티와 연결된 JSON 코드를 살펴봅니다. Data Factory UI에서 이러한 엔터티를 편집하는 방법에 대한 자세한 내용은 이 자습서의 Azure Portal 버전을 참조하세요.