Python용 Databricks Connect 문제 해결

이 문서에서는 Python용 Databricks Connect에 대한 문제 해결 정보를 제공합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?을 참조하세요. 이 문서의 Scala 버전은 Scala용 Databricks Connect 문제 해결을 참조하세요.

오류: StatusCode.UNAVAILABLE, StatusCode.UNKNOWN, DNS 확인 실패 또는 상태 500의 수신된 http2 헤더

문제: Databricks Connect를 사용하여 코드를 실행하려고 하면 문자열(예: StatusCode.UNAVAILABLE, StatusCode.UNKNOWNDNS resolution failed또는 Received http2 header with status: 500)이 포함된 오류 메시지가 표시됩니다.

가능한 원인: Databricks Connect가 클러스터에 연결할 수 없습니다.

권장 솔루션:

• 작업 영역 인스턴스 이름이 올바른지 확인합니다. 환경 변수를 사용하는 경우 로컬 개발 머신에서 관련 환경 변수를 사용할 수 있고 올바른지 확인합니다.
• 클러스터 ID가 올바른지 확인합니다. 환경 변수를 사용하는 경우 로컬 개발 머신에서 관련 환경 변수를 사용할 수 있고 올바른지 확인합니다.
• 클러스터에 Databricks Connect와 호환되는 올바른 사용자 지정 클러스터 버전이 있는지 확인합니다.

Python 버전 불일치

로컬로 사용 중인 Python 버전이 클러스터의 버전 이상의 부 릴리스를 가지고 있는지 확인합니다(예 3.10.11 대 3.10.10은(는) 괜찮으며 3.10 대 3.9은(는) 괜찮지 않음).

여러 Python 버전을 로컬로 설치한 경우 Databricks Connect가 PYSPARK_PYTHON 환경 변수(예: PYSPARK_PYTHON=python3)를 설정하여 올바른 버전을 사용하고 있는지 확인합니다.

PySpark 설치 충돌

databricks-connect 패키지가 PySpark와 충돌합니다. 둘 다 설치하면 Python에서 Spark 컨텍스트를 초기화할 때 오류가 발생합니다. 이는 "스트림이 손상됨" 또는 "클래스를 찾을 수 없음" 오류를 포함하여 여러 가지 방법으로 매니페스트할 수 있습니다. Python 환경에 PySpark가 설치되어 있는 경우 databricks-connect를 설치하기 전에 PySpark가 제거되었는지 확인합니다. PySpark를 제거한 후 Databricks Connect 패키지를 완전히 다시 설치해야 합니다.

pip3 uninstall pyspark
pip3 uninstall databricks-connect
pip3 install --upgrade "databricks-connect==14.0.*"  # or X.Y.* to match your specific cluster version.

이진 파일에 대한 PATH 항목 충돌 또는 누락

spark-shell과(와) 같은 명령이 Databricks Connect에서 제공된 이진 파일 대신 이전에 설치된 다른 이진 파일을 실행하도록 PATH가 구성되었을 가능성이 있습니다. Databricks Connect 이진 파일이 우선하는지 확인하거나 이전에 설치된 이진 파일을 제거해야 합니다.

spark-shell과(와) 같은 명령을 실행할 수 없는 경우 PATH가 pip3 install에 의해 자동으로 설정되지 않아 PATH에 설치 bin dir을 수동으로 추가해야 할 수도 있습니다. 설정되지 않은 경우에도 IDE와 함께 Databricks Connect를 사용할 수 있습니다.

Windows에서 파일 이름, 디렉터리 이름 또는 볼륨 레이블 구문이 잘못됨

Windows에서 Databricks Connect를 사용하고 있으며 다음이 표시되는 경우:

The filename, directory name, or volume label syntax is incorrect.

Databricks Connect가 경로에 공백이 있는 디렉터리에 설치되었습니다. 이 문제는 공백 없이 디렉터리 경로에 설치하거나 짧은 이름 양식을 사용하여 경로를 구성하면 해결할 수 있습니다.