Azure Data Studio에서 SQL Server 빅 데이터 클러스터에 대한 Spark 작업 제출
적용 대상: 
SQL Server 2019(15.x)
중요
Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.
빅 데이터 클러스터의 주요 시나리오 중 하나는 SQL Server용 Spark 작업을 제출하는 기능입니다. Spark 작업 제출 기능을 사용하면 SQL Server 2019 빅 데이터 클러스터를 참조하는 로컬 Jar 또는 Py 파일을 제출할 수 있습니다. 또한 이미 HDFS 파일 시스템에 있는 Jar 또는 Py 파일을 실행할 수 있습니다.
필수 조건
-
- Azure Data Studio
- SQL Server 2019 확장
- kubectl
Spark 작업 제출 대화 상자 열기
Spark 작업 제출 대화 상자를 여는 방법에는 여러 가지가 있습니다. 방법에는 대시보드, 개체 탐색기 컨텍스트 메뉴 및 명령 팔레트가 포함됩니다.
Spark 작업 제출 대화 상자를 열려면 대시보드에서 새 Spark 작업을 클릭합니다.
또는 개체 탐색기 클러스터를 마우스 오른쪽 단추로 클릭하고 컨텍스트 메뉴에서 Spark 작업 제출을 선택합니다.
Jar/Py 필드가 미리 채워져 있는 Spark 작업 제출 대화 상자를 열려면 개체 탐색기에서 jar/Py 파일을 마우스 오른쪽 단추로 클릭하고 상황에 맞는 메뉴에서 Spark 작업 제출을 선택합니다.
Ctrl+Shift+P(Windows) 및 Cmd+Shift+P(Mac)를 입력하여 명령 팔레트에서 Spark 작업 제출을 사용합니다.
Spark 작업 제출
Spark 작업 제출 대화 상자는 다음과 같이 표시됩니다. 작업 이름, JAR/Py 파일 경로, 기본 클래스 및 기타 필드를 입력합니다. Jar/Py 파일 원본은 로컬 또는 HDFS에서 온 것일 수 있습니다. Spark 작업에 참조 Jar, Py 파일 또는 추가 파일이 있는 경우 고급 탭을 클릭하고 해당 파일 경로를 입력합니다. 제출을 클릭하여 Spark 작업을 제출합니다.
Spark 작업 제출 모니터링
Spark 작업이 제출되면 Spark 작업 제출 및 실행 상태 정보가 왼쪽의 작업 기록에 표시됩니다. 진행률 및 로그에 대한 세부 정보도 아래쪽의 출력 창에 표시됩니다.
Spark 작업이 진행 중이면 작업 기록 패널과 출력 창이 진행률과 함께 새로 고침됩니다.
Spark 작업이 성공적으로 완료되면 Spark UI 및 Yarn UI 링크가 출력 창에 표시됩니다. 링크를 클릭하여 자세한 내용을 알아보세요.
다음 단계
SQL Server 빅 데이터 클러스터 및 관련 시나리오에 대한 자세한 내용은 SQL Server 빅 데이터 클러스터 소개를 참조하세요.