알려진 문제 - GA에 대한 런타임 1.3 업데이트로 인해 Spark 작업이 실패할 수 있습니다.
Apache Spark 3.5를 기반으로 하는 Microsoft Fabric 런타임 1.3은 2024년 9월 23일에 GA(일반 공급)에 들어갔습니다. 이제 패브릭 런타임 1.3을 프로덕션 워크로드에 사용할 수 있습니다. 공개 미리 보기에서 일반 공급 단계로 전환하는 과정의 일환으로 기능, 보안, 안정성 및 성능을 개선하기 위한 주요 기본 제공 라이브러리 업데이트를 릴리스했습니다. 이러한 업데이트는 라이브러리를 설치하거나 런타임 1.3을 사용하여 기본 제공 라이브러리 버전을 재정의하는 경우 Microsoft Fabric 환경에 영향을 줄 수 있습니다.
상태: 열기
제품 환경: 데이터 엔지니어링
증상
런타임 1.3을 사용하여 라이브러리를 사용하여 환경을 설치한 경우 Spark 작업은 다음과 유사한 오류로 실패하기 Post Personalization failed시작합니다. 기본 제공 라이브러리가 업데이트되어 설치된 사용자 지정 라이브러리를 가져오지 못할 수 있습니다.
솔루션 및 해결 방법
Microsoft Fabric 환경에서 Fabric Runtime 1.3용 라이브러리를 다시 설치합니다. 다시 설치는 최신 업데이트를 기반으로 새 종속성을 빌드합니다. 사용자 지정 라이브러리에 Python 기본 제공 패키지에 호환되지 않는 종속성이 있는 경우 설치가 실패하고 필요한 버전 목록을 사용하여 자체 디버그 로그가 생성됩니다. 사용자 지정 라이브러리가 호환되도록 종속성을 업데이트할 수 있습니다. 기본 Python 패키지가 변경됨에 따라 기존 Notebook 또는 파이프라인에서 호환되지 않거나 호환성이 손상되는 변경이 있을 수 있습니다. 코드를 다시 검토하여 완화해야 합니다.