다음을 통해 공유

Delta Sharing의 일반적인 공유 문제 해결

  • 아티클

다음 섹션에서는 공유의 데이터에 액세스하려고 할 때 발생할 수 있는 일반적인 오류에 대해 설명합니다.

리소스 제한이 오류를 초과했습니다.

문제: 공유 테이블의 쿼리에서 오류가 RESOURCE_LIMIT_EXCEEDED반환됩니다.

다음 오류 중 하나가 표시 될 수 있습니다.

  • "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
  • "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

가능한 원인: 공유 테이블에 허용되는 메타데이터의 파일 수에 제한이 있습니다.

권장 해결 방법: 이러한 문제 중 하나를 해결하는 방법을 알아보려면 Databricks 기술 자료에서 델타 공유 테이블을 쿼리할 때 RESOURCE_LIMIT_EXCEEDED 오류를 참조하세요.

진공 데이터 파일 문제

문제: "404 지정된 [path|key]가 없습니다." 예외를 throw하는 오류 메시지가 표시됩니다.

Spark 오류 예:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

또는

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

가능한 원인: 일반적으로 미리 서명된 URL에 해당하는 데이터 파일이 공유 테이블에서 진공되고 데이터 파일이 기록 테이블 버전에 속하기 때문에 이 오류가 표시됩니다.

해결 방법: 최신 스냅샷을 쿼리합니다.

스토리지 네트워크 구성 문제

문제: 을 throw하는 오류 메시지가 표시됩니다 SSLCertVerificationError.

Spark 오류 예제:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

가능한 원인: 일반적으로 공유 테이블 또는 볼륨의 스토리지 위치에 네트워크 제한이 있기 때문에 이 오류가 표시됩니다.

권장 수정 사항: 스토리지 공급자 인터페이스에서 스토리지 계정 방화벽 설정에서 클라이언트 IP를 허용하여 스토리지 위치에 대한 액세스를 허용합니다.