작업 영역 패키지
작업 영역 패키지는 사용자 지정 또는 프라이빗 휠(Python), jar(Scala/Java) 또는 tar.gz(R) 파일일 수 있습니다. 이러한 패키지를 작업 영역에 업로드하고 나중에 특정 Spark 풀에 할당할 수 있습니다.
작업 영역 패키지를 추가하려면:
- 관리>작업 영역 패키지 탭으로 이동합니다.
- 파일 선택기를 사용하여 파일을 업로드합니다.
- 파일이 Azure Synapse 작업 영역에 업로드되면 이러한 패키지를 Apache Spark 풀에 추가할 수 있습니다.
Warning
Azure Synapse 내에서 Apache Spark 풀은 작업 영역 패키지로 업로드되거나 잘 알려진 Azure Data Lake Storage 경로 내에 업로드된 사용자 지정 라이브러리를 활용할 수 있습니다. 그러나 이러한 두 옵션은 동일한 Apache Spark 풀 내에서 동시에 사용할 수 없습니다. 두 방법을 모두 사용하여 패키지를 제공하면 작업 영역 패키지 목록에 지정된 휠 파일만 설치됩니다.
지정된 Apache Spark 풀에 패키지를 설치하는 데 작업 영역 패키지를 사용하는 경우 동일한 풀에서 스토리지 계정 경로를 사용하여 패키지를 더 이상 지정할 수 없다는 제한 사항이 있습니다.
참고 항목
작업 영역에 동일한 이름을 가진 여러 패키지가 없는 것이 좋습니다. 동일한 패키지의 다른 버전을 사용하려면 기존 버전을 삭제하고 새 버전을 업로드해야 합니다.
스토리지 계정
Synapse 작업 영역과 연결된 Azure Data Lake Storage(Gen2) 계정에 모든 파일을 업로드하여 Apache Spark 풀에 사용자 지정 빌드 패키지를 설치할 수 있습니다.
스토리지 계정의 기본 컨테이너에 있는 다음 경로에 파일을 업로드해야 합니다.
abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/
Warning
- 아직 존재하지 않는 경우 위의 구조체를 기반으로 파일 경로를 만들어야 하는 경우도 있습니다. 예를 들어 폴더가 아직 없는 경우
python폴더를libraries폴더 안에 추가해야 할 수 있습니다. - 이 사용자 지정 파일 관리 방법은 Apache Spark 3.0용 Azure Synapse Runtime에서 지원되지 않습니다. 사용자 지정 파일을 관리하려면 작업 영역 패키지 기능을 참조하세요.
Important
Azure DataLake 스토리지 메서드를 사용하여 사용자 지정 라이브러리를 설치하려면 Azure Synapse Analytics 작업 영역에 연결된 기본 Gen2 스토리지 계정에 대한 Storage Blob 데이터 참가자 또는 Storage Blob 데이터 소유자 권한이 있어야 합니다.
다음 단계
- 기본 라이브러리 보기: Apache Spark 버전 지원
- 라이브러리 설치 오류 문제 해결: 라이브러리 오류 문제 해결
- Azure Data Lake Storage 계정을 사용하여 프라이빗 Conda 채널을 만듭니다. Conda 프라이빗 채널