Microsoft Fabric에서 환경 만들기, 구성, 사용

Microsoft Fabric 환경은 모든 하드웨어 및 소프트웨어 설정에 대한 통합 항목입니다. 환경에서 다른 Spark 런타임을 선택하고, 컴퓨팅 리소스를 구성하고, 공용 리포지토리 또는 로컬 디렉터리 등에서 라이브러리를 설치할 수 있습니다.

이 자습서에서는 환경 만들기, 구성 및 사용에 대한 개요를 제공합니다.

환경 만들기

새 환경을 만드는 진입점은 여러 가지가 있습니다.

• 표준 진입점

  작업 영역의 만들기 허브 또는 새 섹션에서 다른 Fabric 항목과 같은 새 환경을 만드는 옵션을 찾을 수 있습니다.

• 선택 중에 만들기

  Notebook 환경, Spark 작업 정의 및 작업 영역 기본값을 선택하면 새 환경을 만드는 옵션을 찾을 수 있습니다.

환경 구성

환경에는 Spark 런타임, 라이브러리 및 리소스를 포함하는 Spark 컴퓨팅이라는 세 가지 주요 구성 요소가 있습니다. 게시를 적용하려면 Spark 컴퓨팅 및 라이브러리 구성이 필요하지만 리소스는 실시간으로 변경할 수 있는 공유 스토리지입니다. 자세한 내용은 변경 내용 저장 및 게시 섹션을 참조하세요.

Spark 컴퓨팅 구성

환경의 경우 각각 고유한 기본 설정과 미리 설치된 패키지가 있는 다양한 Spark 런타임 중에서 선택할 수 있습니다. 사용 가능한 런타임을 보려면 환경의 홈 탭으로 이동하여 런타임을 선택합니다. 필요에 가장 적합한 트리거를 선택하세요.

Microsoft Fabric Spark 컴퓨팅은 Spark 및 요구 사항에 맞는 환경에서 실행되는 탁월한 속도와 효율성을 제공합니다. 사용자 환경에서는 작업 영역 관리자 및 용량 관리자가 만든 다양한 풀 중에서 선택할 수 있습니다. Spark 세션에서 적용되도록 구성을 추가로 조정하고 Spark 속성을 관리할 수 있습니다. 자세한 내용은 Fabric 환경의 Spark 컴퓨팅 구성 설정을 참조하세요.

라이브러리 관리

각 Spark 런타임에서 제공하는 기본 제공 라이브러리를 제외하고 Fabric 환경을 사용하면 공개 소스에서 라이브러리를 설치하거나 사용자 또는 조직에서 빌드한 사용자 지정 라이브러리를 업로드할 수 있습니다. 라이브러리를 성공적으로 설치하면 Spark 세션에서 사용할 수 있습니다. 자세한 내용은 Fabric 환경의 라이브러리 관리를 참조하세요. Microsoft Fabric에서 라이브러리를 관리하는 모범 사례를 찾을 수도 있습니다.Microsoft Fabric에서 Apache Spark 라이브러리 관리

리소스

환경의 리소스 섹션은 개발 단계에서 작은 리소스를 관리하는 기능을 용이하게 합니다. 환경에 업로드된 파일은 연결된 경우 Notebook에서 액세스할 수 있습니다. 자세한 내용은 Fabric 환경에서 리소스 관리를 참조하세요.

변경 사항을 저장하고 게시합니다.

환경 리본의 홈 탭에서 저장 및 게시라는 버튼 두 개를 쉽게 찾을 수 있습니다. 라이브러리 및 Spark 컴퓨팅 섹션에 저장되지 않거나 게시되지 않은 보류 중인 변경 내용이 있는 경우 활성화됩니다.

라이브러리 및 Spark 컴퓨팅 섹션에 보류 중인 변경 내용이 있을 때 리본 메뉴에 있는 것과 동일한 기능이 있는 경우 이 두 버튼을 묻는 배너도 표시됩니다.

• 브라우저를 새로 고치거나 열어 두면 저장되지 않은 변경 내용이 손실됩니다. 저장 버튼을 선택하여 떠나기 전에 변경 내용이 기록되도록 합니다. 저장은 구성을 적용하지 않지만 시스템에 캐시합니다.
• 게시를 선택하여 라이브러리 및 Spark 컴퓨팅에 변경 내용을 적용합니다. 게시하기 전에 최종 검토를 위해 보류 중인 변경 내용 페이지가 표시됩니다. 다음으로 모두 게시를 선택하여 Fabric 환경에서 구성을 시작합니다. 이 프로세스는 특히 라이브러리 변경 내용이 포함된 경우 다소 시간이 걸릴 수 있습니다.
• 게시 프로세스를 취소하려면 배너에서 진행률 보기를 선택하고 작업을 취소합니다.
• 게시가 완료되면 알림이 표시됩니다. 프로세스 중에 문제가 있는 경우 오류 알림이 발생합니다.

환경 연결

Microsoft Fabric 환경은 데이터 엔지니어링/데이터 과학 작업 영역 또는 Notebook 및 Spark 작업 정의에 연결할 수 있습니다.

이 환경을 작업 영역 기본값으로 연결

작업 영역 설정 ->데이터 엔지니어ing/Science ->Spark 설정을 선택하여 환경 탭을 찾습니다.

새 작업 영역

새 작업 영역이거나 라이브러리 및 Spark 설정이 설정되지 않은 작업 영역에서 작업하는 경우 다음 Spark 설정 화면이 나타납니다.

작업 영역 관리자는 전체 작업 영역에 대한 기본 워크로드를 정의할 수 있습니다. 여기에 구성된 값은 작업 영역 설정에 연결하는 Notebook 및 Spark 작업 정의에 적용됩니다.

기본 환경 설정 토글은 사용자 환경을 향상시킬 수 있습니다. 이 토글은 기본적으로 해제되어 있습니다. 작업 영역 기본값으로 필요한 기본 Spark 속성 또는 라이브러리가 없는 경우 관리자는 이 상황에서 Spark 런타임을 정의할 수 있습니다. 그러나 관리자가 작업 영역에 대한 기본 Spark 컴퓨팅 및 라이브러리를 준비하려는 경우 토글을 켜짐으로 전환하고 환경을 작업 영역 기본값으로 쉽게 연결할 수 있습니다. 이 옵션을 사용하면 환경의 모든 구성이 작업 영역 설정으로 유효합니다.

기존 라이브러리 또는 Spark 속성이 있는 작업 영역

환경 기능은 작업 영역 설정의 데이터 엔지니어링/데이터 과학 섹션으로 크게 업그레이드되었습니다. 이 업그레이드의 일부로 Fabric은 더 이상 라이브러리 관리를 지원하지 않으며 작업 영역 수준에서 새 Spark 속성을 추가합니다. 기존 라이브러리 및 Spark 속성을 환경으로 마이그레이션하고 작업 영역 기본값으로 연결할 수 있습니다. 자세한 내용은 작업 영역 라이브러리 및 Spark 속성을 기본 환경으로 마이그레이션을 참조하세요.

Notebook 또는 Spark 작업 정의에 환경 연결

환경 메뉴는 Notebook 및 Spark 작업 정의 홈 탭 둘 다에 표시됩니다. 사용 가능한 환경이 메뉴에 나열됩니다. 환경을 선택하면 Spark 세션을 시작한 후에 구성된 Spark 컴퓨팅 및 라이브러리가 적용됩니다.

기존 환경 공유

Microsoft Fabric은 다양한 수준의 사용 권한으로 항목 공유를 지원합니다.

환경 항목을 공유하면 받는 사람은 자동으로 읽기 권한을 받습니다. 이 권한을 사용하여 환경의 구성을 탐색하고 Notebook 또는 Spark 작업에 연결할 수 있습니다. 원활한 코드 실행을 위해 Notebook 및 Spark 작업 정의를 공유할 때 연결된 환경에 대한 읽기 권한을 부여해야 합니다.

또한 공유 및 편집 권한으로 환경을 공유할 수 있습니다. 공유 권한이 있는 사용자는 환경을 다른 사용자와 계속 공유할 수 있습니다. 한편 편집 권한이 있는 수신자는 환경의 콘텐츠를 업데이트할 수 있습니다.

관련 콘텐츠

• Fabric 환경의 Spark 컴퓨팅 구성 설정
• Fabric 환경에서 라이브러리 관리