패브릭 런타임 1.1(EOSA)

Microsoft Fabric 런타임은 Apache Spark를 기반으로 하는 Azure 통합 플랫폼으로, Fabric에서 데이터 엔지니어 및 데이터 과학 환경을 실행하고 관리할 수 있습니다. 이 문서에서는 Fabric 런타임 1.1 구성 요소 및 버전을 다룹니다.

Microsoft Fabric 런타임 1.1은 Microsoft Fabric 플랫폼 내에서 제공되는 런타임 중 하나입니다. 런타임 1.1 주요 구성 요소는 다음과 같습니다.

• Apache Spark 3.3
• 운영 체제: Ubuntu 18.04
• Java: 1.8.0_282
• Scala: 2.12.15
• Python: 3.10
• Delta Lake: 2.2
• R: 4.2.2

Microsoft Fabric Runtime 1.1에는 전체 Anaconda 설치 및 Java/Scala, Python 및 R용으로 일반적으로 사용되는 라이브러리를 비롯한 기본 수준 패키지 컬렉션이 함께 제공됩니다. 이러한 라이브러리는 Microsoft Fabric 플랫폼에서 Notebook 또는 작업을 사용할 때 자동으로 포함됩니다. 전체 라이브러리 목록은 설명서를 참조하세요.

Microsoft Fabric은 런타임 1.1에 대한 유지 관리 업데이트를 주기적으로 릴리스하여 버그 수정, 성능 향상 및 보안 패치를 제공합니다. 이러한 업데이트를 최신 상태로 유지하면 데이터 처리 작업에 최적의 성능과 안정성이 보장됩니다. 현재 런타임 1.1을 사용하는 경우 작업 영역 설정 데이터 엔지니어/Science > Spark 설정 > > 환경으로 이동하여 런타임 1.3 또는 런타임 1.2로 업그레이드할 수 있습니다.

새로운 기능 및 개선 사항 - Apache Spark 3.3.1

Spark 3.3.0 및 Spark 3.3.1을 모두 방문하여 특정 Apache Spark 버전에 대한 릴리스 정보의 전체 버전을 읽어봅니다.

Delta Lake 2.2의 새로운 기능 및 개선 사항

Delta Lake 2.2.0에서 원본 및 전체 릴리스 정보를 확인합니다.

Java/Scala에 대한 기본 수준 패키지

Java, Scala, Python 및 해당 버전에 대한 모든 기본 수준 패키지 목록은 릴리스 정보를 참조하세요.

다른 Apache Spark 버전 간 마이그레이션

이전 버전의 Apache Spark에서 Fabric 런타임 1.1(Apache Spark 3.3)으로 워크로드를 마이그레이션하려면 원활한 마이그레이션을 위한 일련의 단계가 필요합니다. 이 가이드에서는 효율적이고 효과적으로 마이그레이션하는 데 도움이 되는 필요한 단계를 간략하게 설명합니다.

1. Fabric 런타임 1.1 릴리스 정보(구성 요소 및 런타임에 포함된 기본 수준 패키지 확인 포함)를 검토하여 새로운 기능 및 향상된 기능을 이해합니다.

2. 종속성 및 통합을 포함하여 현재 설정 및 모든 관련 라이브러리의 호환성을 확인합니다. 마이그레이션 가이드를 검토하여 잠재적인 호환성이 손상되는 변경 사항을 식별합니다.

   • Spark Core 마이그레이션 가이드를 검토하세요.
   • SQL, 데이터세트 및 데이터프레임 마이그레이션 가이드를 검토하세요.
   • 솔루션이 Apache Spark 구조 스트리밍과 관련된 경우 구조적 스트리밍 마이그레이션 가이드를 검토합니다.
   • PySpark를 사용하는 경우 Pyspark 마이그레이션 가이드를 검토합니다.
   • Koalas에서 PySpark에 코드를 마이그레이션하는 경우, Spark 마이그레이션 가이드에서 Koalas에서 Pandas로 API를 검토하세요.

3. 워크로드를 Fabric으로 이동하고 이전 버전으로 되돌려야 하는 경우 데이터 및 구성 파일의 백업이 있는지 확인합니다.

4. 타사 라이브러리 또는 커넥터를 포함하여 새 버전의 Apache Spark 또는 다른 Fabric 런타임 1.1 관련 구성 요소가 영향을 줄 수 있는 종속성을 업데이트합니다. 프로덕션 환경에 배포하기 전에 스테이징 환경에서 업데이트된 종속성을 테스트해야 합니다.

5. 구성 설정 업데이트, 메모리 할당 조정 및 사용되지 않는 구성 수정을 포함하여 워크로드에서 Apache Spark 구성을 업데이트합니다.

6. Fabric 런타임 1.1 및 Apache Spark 3.3에 도입된 새로운 API 및 기능을 사용하도록 Apache Spark 애플리케이션(Notebook 및 Apache Spark 작업 정의)을 수정합니다. 더 이상 사용되지 않거나 제거된 API를 수용하도록 코드를 업데이트하고 성능 향상 및 새로운 기능을 활용하기 위해 애플리케이션을 리팩터링해야 할 수 있습니다.

7. 스테이징 환경에서 업데이트된 애플리케이션을 철저히 테스트하여 Apache Spark 3.3과의 호환성 및 안정성을 보장합니다. 성능 테스트, 기능 테스트 및 회귀 테스트를 수행하여 마이그레이션 프로세스 중에 발생할 수 있는 문제를 식별하고 해결합니다.

8. 스테이징 환경에서 애플리케이션의 유효성을 검사한 후 업데이트된 애플리케이션을 프로덕션 환경에 배포합니다. 마이그레이션 후 애플리케이션의 성능 및 안정성을 모니터링하여 해결해야 하는 문제를 식별합니다.

9. Fabric 런타임 1.1에 도입된 변경 내용을 반영하도록 내부 설명서 및 교육 자료를 업데이트합니다. 팀 구성원이 마이그레이션의 이점을 최대화하기 위해 새로운 기능과 향상된 기능을 잘 알고 있는지 확인합니다.

관련 콘텐츠

• Fabric의 Apache Spark 런타임 - 개요, 버전 관리, 다중 런타임 지원 및 Delta Lake 프로토콜 업그레이드에 대해 읽어보세요.
• 런타임 1.2(Spark 3.4, Java 11, Python 3.10, Delta Lake 2.4)