Databricks Runtime 14.1

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.1에 대한 정보를 제공합니다.

Databricks는 2023년 10월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• array_insert()는 음수 인덱스에 대해 1부터 사용합니다.
• Liquid 클러스터링에서 기본적으로 사용하도록 설정된 델타 v2 검사점
• 공개 미리 보기에서 델타 테이블 기능 삭제
• 델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
• 델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
• 공개 미리 보기의 Unity 카탈로그 뷰에서 스트림
• 공개 미리 보기의 Apache Pulsar 커넥터
• 업그레이드된 Snowflake 드라이버
• SQL 세션 변수
• SQL 및 Python UDF에 대한 명명된 매개변수 호출.
• 함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.
• 새롭고 향상된 기본 제공 SQL 함수
• 상호 관련된 하위 쿼리 처리 개선

array_insert()는 음수 인덱스에 대해 1부터 사용합니다.

array_insert 함수는 양수 및 음수 지수 모두 1을 기준으로 합니다. 이제 인덱스 -1의 입력 배열 끝에 새 요소를 삽입합니다. 이전 동작을 복원하려면 spark.sql.legacy.negativeIndexInArrayInsert을 true로 설정합니다.

Liquid 클러스터링에서 기본적으로 사용하도록 설정된 델타 v2 검사점

액체 클러스터링이 있는 새로 만든 델타 테이블은 기본적으로 v2 검사점을 사용합니다. 리퀴드 클러스터링이 있는 테이블의 호환성을 참조하세요.

공개 미리 보기에서 델타 테이블 기능 삭제

이제 델타 테이블에 대한 일부 테이블 기능을 삭제할 수 있습니다. 현재 지원되는 항목은 deletionVectors와 v2Checkpoint를 삭제하는 것입니다. 델타 테이블 기능 삭제를 참조하세요.

델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)

이제 델타 공유 받는 사람이 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기를 참조하세요.

델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)

이제 델타 공유 받는 사람이 열 매핑을 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기를 참조하세요.

공개 미리 보기의 Unity 카탈로그 뷰에서 스트림

이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 보기에서 스트리밍 읽기를 수행할 수 있습니다. Azure Databricks는 델타 테이블에 대해 정의된 뷰의 스트리밍 읽기만 지원합니다. 스트림으로 Unity 카탈로그 뷰 읽기를 참조하세요.

공개 미리 보기의 Apache Pulsar 커넥터

이제 구조적 스트리밍을 사용하여 Azure Databricks의 Apache Pulsar에서 데이터를 스트리밍할 수 있습니다. Apache Pulsar에서 스트림을 참조하세요.

업그레이드된 Snowflake 드라이버

이제 Snowflake JDBC 드라이버는 버전 3.13.33을 사용합니다.

SQL 세션 변수

이번 릴리스에서는 세션에서 임시 변수를 선언하여 설정한 다음 쿼리 내에서 참조할 수 있는 기능이 도입되었습니다. 변수를 참고하세요.

SQL 및 Python UDF에 대한 명명된 매개변수 호출.

이제 SQL 및 Python UDF에서 명명된 매개 변수 호출을 사용할 수 있습니다.

함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.

이제 함수 호출 중에 테이블 인수가 함수에 전달되는 방식을 제어하기 위해 PARTITION BY 및 ORDER BY 절을 사용할 수 있습니다.

새롭고 향상된 기본 제공 SQL 함수

다음과 같은 기본 제공 기능이 추가되었습니다.

• from_xml: XML STRING을 STRUCT로 구문 분석합니다.
• schema_of_xml: XML STRING에서 스키마를 파생합니다.
• session_user: 로그인한 사용자를 반환합니다.
• try_reflect: Java 메서드가 실패하면 예외 대신 NULL를 반환합니다.

다음과 같은 기본 제공 함수가 향상되었습니다.

• 모드: 결정론적 결과를 강제하는 선택적 매개변수 지원.
• to_char: DATE, TIMESTAMP 및 BINARY에 대한 새로운 지원.
• to_varchar: DATE, TIMESTAMP 및 BINARY에 대한 새로운 지원.

상호 관련된 하위 쿼리 처리 개선

하위 쿼리에서 상관 관계를 처리하는 기능이 확장되었습니다.

• 상관 관계 스칼라(횡적) 하위 쿼리에서 제한 및 순서를 처리합니다.
• 상관 관계가 있는 스칼라 하위 쿼리에서 창 함수를 지원합니다.
• 스칼라 및 횡적 하위 쿼리에 대한 조인 조건자의 상관 관계 참조 지원

동작 변경

Photon Parquet 판독기에서 엄격한 형식 검사

10진수 형식이 아닌 Parquet 열에서 10진수 값을 읽으려고 하면 Photon이 실패합니다. 또한 Parquet에서 고정 길이 바이트 배열을 문자열로 읽을 때 Photon은 실패합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • filelock을 3.12.2에서 3.12.3로
  • s3transfer를 0.6.1에서 0.6.2으로
• 업그레이드된 Java 라이브러리:
  • com.uber.h3에서 3.7.0에서 3.7.3으로
  • io.airlift.aircompressor 0.24에서 0.25로
  • io.delta.delta-sharing-spark_2.12 0.7.1에서 0.7.5로
  • io.netty.netty-all을 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-buffer를 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-codec을 4.1.93.Final에서 4.1.96.Final로
  • 4.1.93.Final에서 4.1.96.Final로 io.netty.netty-codec-http 변경
  • 4.1.93.Final에서 4.1.96.Final로 io.netty.netty-codec-http2 변경
  • 4.1.93.Final에서 4.1.96.Final로 io.netty.netty-codec-socks 변경
  • io.netty.netty-common을 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-handler를 4.1.93.Final에서 4.1.96.Final로
  • 4.1.93.Final에서 4.1.96.Final로 io.netty-handler-proxy 변경
  • io.netty.netty-resolver를 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-transport를 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-transport-classes-epoll를 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-transport-classes-kqueue를 4.1.93.Final에서 4.1.96.Final로
  • 4.1.93.Final-linux-x86_64에서 4.1.96.Final-linux-x86_64로 io.netty-transport-native-epoll 변경
  • 4.1.93.Final-osx-x86_64에서 4.1.96.Final-osx-x86_64로 io.netty.netty-transport-native-kqueue 변경
  • io.netty.netty-transport-native-unix-common을 4.1.93.Final에서 4.1.96.Final로
  • 3.13.29부터 3.13.33까지 net.snowflake.snowflake-jdbc.
  • org.apache.orc.orc-core에서 1.9.0-shaded-protobuf에서 1.9.1-shaded-protobuf로
  • org.apache.orc.orc-mapreduce from 1.9.0-shaded-protobuf to 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims: 1.9.0에서 1.9.1으로

Apache Spark

Databricks Runtime 14.1에는 Apache Spark 3.5.0이 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 14.0 (EoS)에 포함된 모든 Spark 수정 사항 및 개선 사항과 다음과 같은 Spark의 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-45088] [DBRRM-557] 되돌리기 "[SC-142785][PYTHON][CONNECT] getitem이 중복된 열로 작동하게 함"
• [SPARK-43453] [DBRRM-557] 되돌리기 “[SC-143135][PS] axis=1가 concat일 때 MultiIndex의 names를 무시합니다."
• [SPARK-45225] [SC-143207] [SQL] XML: XSD 파일 URL 지원
• [SPARK-45156] [SC-142782] [SQL] NON_FOLDABLE_INPUT 오류 클래스에서 백틱으로 inputName를 감싸기.
• [SPARK-44910] [SC-143082][SQL] Encoders.bean은 일반 유형 인수가 있는 슈퍼클래스를 지원하지 않습니다.
• [SPARK-43453] [SC-143135][PS] axis=1가 concat일 때 MultiIndex의 names를 무시합니다.
• [SPARK-44463] [SS] [CONNECT] Steaming Python 작업자 연결에 대한 오류 처리 개선
• [SPARK-44960] [SC-141023] [UI] UI 페이지에서 비스케이프 및 구성 오류 요약
• [SPARK-44788] [SC-142980] [CONNECT] [PYTHON] [SQL] pyspark, spark connect 및 sql 함수에 from_xml 및 schema_of_xml 추가
• [SPARK-44614] [SC-138460] [PYTHON] [CONNECT] [3.5] setup.py 누락된 패키지 추가
• [SPARK-45151] [SC-142861] [CORE] [UI] 작업 수준 스레드 덤프 지원
• [SPARK-45056] [SC-142779] [PYTHON] [SS] [CONNECT] streamingQueryListener 및 foreachBatch에 대한 종료 테스트
• [SPARK-45084] [SC-142828] [SS] StateOperatorProgress를 사용하여 정확한 유효 순서 섞기 파티션 번호 사용
• [SPARK-44872] [SC-142405] [CONNECT] 서버 테스트 인프라 및 ReattachableExecuteSuite
• [SPARK-45197] [SC-142984] [CORE] StandaloneRestServer 드라이버에 추가 JavaModuleOptions
• [SPARK-44404] [SC-139601][SQL] 오류 클래스에 이름 할당 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297] [SQL] 조인 키가 클러스터 키보다 작은 SPJ 지원
• [SPARK-45088] [SC-142785] [PYTHON] [CONNECT] getitem 중복 열 작업
• [SPARK-45128] [SC-142851] [SQL] 화살표에서 CalendarIntervalType 지원
• [SPARK-45130] [SC-142976] [CONNECT] [ML] [PYTHON] Spark 연결 ML 모델을 방지하여 입력 pandas 데이터 프레임 변경
• [SPARK-45034] [SC-142959] [SQL] 결정 모드 함수 지원
• [SPARK-45173] [SC-142931] [UI] UI에서 불필요한 sourceMapping 파일 제거
• [SPARK-45162] [SC-142781] [SQL] call_function을 통해 생성된 맵 및 배열 매개 변수 지원
• [SPARK-45143] [SC-142840] [PYTHON] [CONNECT] PySpark를 PyArrow 13.0.0과 호환되도록 만들기
• [SPARK-45174] [SC-142837] [CORE] spark.deploy.maxDrivers 지원
• [SPARK-45167] [SC-142956] [CONNECT] [PYTHON] Python 클라이언트가 release_all를 호출해야 합니다.
• [SPARK-36191] [SC-142777] [SQL] 상관 관계가 있는 스칼라(횡적) 하위 쿼리에서 제한 및 순서 처리
• [SPARK-45159] [SC-142829] [PYTHON] 필요한 경우에만 명명된 인수 처리
• [SPARK-45133] [SC-142512] [CONNECT] 마지막 결과 작업이 완료되면 Spark Connect 쿼리를 완료합니다.
• [SPARK-44801] [SC-140802] [SQL] [UI] 수신기 및 UI에서 실패한 쿼리 분석 캡처
• [SPARK-45139] [SC-142527] [SQL] SQL 형식 변환을 처리하는 DatabricksDialect 추가
• [SPARK-45157] [SC-142546] [SQL] [On|Off|HeapColumnVector에서 if를 반복해서 확인하지 마십시오.
• [SPARK-45077] "[SC-142069][UI] dagre-d3.js 04.3에서 0.6.4로 업그레이드" 되돌리기
• [SPARK-45145] [SC-142521] [예제] JavaSparkSQLCli 예제 추가
• [SPARK-43295] 되돌리기 "[SC-142254][PS] DataFrameGroupBy.sum에 대한 문자열 형식 열 지원"
• [SPARK-44915] [SC-142383] [CORE] 복구하기 전에 다시 탑재된 PVC의 순서 섞기 데이터의 체크섬 유효성 검사
• [SPARK-45147] [SC-142524] [CORE] System.setSecurityManager 사용법 제거
• [SPARK-45104] [SC-142206] [UI] graphlib-dot.min.js를 1.0.2로 업그레이드
• [SPARK-44238] [SC-141606] [CORE] [SQL] BloomFilter에 대한 바이트 배열 입력을 사용하여 새 메서드 readFrom 소개
• [SPARK-45060] [SC-141742] [SQL] 형식 NULL에서 to_char()의 내부 오류 수정
• [SPARK-43252] [SC-142381] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2016를 내부 오류로 바꾸기
• [SPARK-45069] [SC-142279] [SQL] SQL 변수는 항상 외부 참조 후에 확인되어야 합니다.
• [SPARK-44911] [SC-142388] [SQL] 잘못된 열이 있는 hive 테이블을 만들면 오류 클래스가 반환됩니다.
• [SPARK-42754] [SC-125567][SQL][UI] 중첩된 SQL 실행에서 하위 호환성 문제 수정
• [SPARK-45121] [SC-142375] [CONNECT] [PS] Spark Connect에 대한 Series.empty 지원.
• [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. 사전이 있는 열 벡터에서 작동해야 합니다.
• [SPARK-45027] [SC-142248] [PYTHON] 자동 완성에서 pyspark.sql.functions의 내부 함수/변수 숨기기
• [SPARK-45073] [SC-141791] [PS] [CONNECT] LastNotNull를 Last(ignoreNulls=True)로 바꾸기
• [SPARK-44901] [SC-141676] [SQL] 수동 백포트: Python UDTF 'analyze' 메서드에 API를 추가하여 분할/순서 지정 식을 반환합니다.
• [SPARK-45076] [SC-141795] [PS] 기본 제공 함수 repeat로 전환
• [SPARK-44162] [SC-141605] [CORE] Spark 메트릭에서 G1GC 지원
• [SPARK-45053] [SC-141733] [PYTHON] [MINOR] Python 버전 불일치의 로그 개선
• [SPARK-44866] [SC-142221] [SQL] 부울 형식을 올바르게 처리하도록 SnowflakeDialect 추가
• [SPARK-45064] [SC-141775] [PYTHON] [CONNECT] ceil/ceiling에서 누락된 scale 매개 변수 추가
• [SPARK-45059] [SC-141757] [CONNECT] [PYTHON] Scala 및 Python에 함수 try_reflect 추가
• [SPARK-43251] [SC-142280] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2015를 내부 오류로 바꾸기
• [SPARK-45052] [SC-141736] [SQL] [PYTHON] [CONNECT] 함수 별칭 출력 열 이름을 SQL과 일치하게 만들기
• [SPARK-44239] [SC-141502] [SQL] 벡터가 다시 설정될 때 큰 벡터에 의해 할당된 사용 가능한 메모리
• [SPARK-43295] [SC-142254] [PS] DataFrameGroupBy.sum에 대한 문자열 형식 열 지원
• [SPARK-45080] [SC-142062] [SS] DSv2 스트리밍 데이터 원본에서 열 형식에 대한 지원을 명시적으로 호출합니다.
• [SPARK-45036] [SC-141768] [SQL] SPJ: 부분적으로 클러스터된 배포를 처리하도록 논리 간소화
• [SPARK-45077] [SC-142069] [UI] dagre-d3.js 0.4.3에서 0.6.4로 업그레이드
• [SPARK-45091] [SC-142020] [PYTHON] [CONNECT] [SQL] 함수 floor/round/bround 허용 열 유형 scale
• [SPARK-45090] [SC-142019][PYTHON][CONNECT] DataFrame.{cube, rollup} 열 서수 지원
• [SPARK-44743] [SC-141625][SQL] try_reflect 함수 추가
• [SPARK-45086] [SC-142052] [UI] 스레드 잠금 해시 코드에 대한 16진수 표시
• [SPARK-44952] [SC-141644] [SQL] [PYTHON] 집계 Pandas UDF에서 명명된 인수 지원
• [SPARK-44987] [SC-141552][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1100에 이름을 할당합니다.
• [SPARK-45032] [SC-141730] [CONNECT] Top-level wildcard is not allowed and will error under -Xsource:3과 관련 컴파일 경고 수정
• [SPARK-45048] [SC-141629] [CONNECT] Python 클라이언트 및 연결 가능한 실행에 대한 추가 테스트 추가
• [SPARK-45072] [SC-141807] [CONNECT] 암모나이트 클래스에 대한 외부 범위 수정
• [SPARK-45033] [SC-141759][SQL] 매개변수화된 sql()로 맵 지원
• [SPARK-45066] [SC-141772] [SQL] [PYTHON] [CONNECT] 함수 repeat이 열 유형 n를 허용하도록 설정
• [SPARK-44860] [SC-141103] [SQL] SESSION_USER 함수 추가
• [SPARK-45074] [SC-141796][PYTHON][CONNECT] DataFrame.{sort, sortWithinPartitions} 열 서수 지원
• [SPARK-45047] [SC-141774] [PYTHON] [CONNECT] DataFrame.groupBy에서 서수 지원
• [SPARK-44863] [SC-140798] [UI] Spark UI에서 스레드 덤프를 txt로 다운로드하는 단추 추가
• [SPARK-45026] [SC-141604] [CONNECT] spark.sql는 화살표와 호환되지 않는 데이터 형식을 지원해야 합니다.
• [SPARK-44999] [SC-141145] [CORE] ExternalSorter를 리팩터링하여 getPartition를 호출할 때 shouldPartition에 대한 검사를 줄입니다.
• [SPARK-42304] [SC-141501][SQL] _LEGACY_ERROR_TEMP_2189를 GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION로 이름 바꾸기
• [SPARK-43781] [SC-139450] [SQL] 동일한 원본에서 파생된 두 데이터 세트를 공동 그룹화할 때 IllegalStateException 수정
• [SPARK-45018] [SC-141516] [PYTHON] [CONNECT] Python 클라이언트에 CalendarIntervalType 추가
• [SPARK-45024] [SC-141513] [PYTHON] [CONNECT] 세션 만들기에서 일부 구성 필터링
• [SPARK-45017] [SC-141508] [PYTHON] PySpark에 CalendarIntervalType 추가
• [SPARK-44720] [SC-139375] [CONNECT] 데이터 세트가 AgnosticEncoder 대신 인코더를 사용하도록 설정
• [SPARK-44982] [SC-141027] [CONNECT] Spark Connect 서버 구성을 정적으로 표시
• [SPARK-44839] [SC-140900] [SS] [CONNECT] 사용자가 Spark 세션을 serialize하려고 할 때 더 나은 오류 로깅
• [SPARK-44865] [SC-140905] [SS] StreamingRelationV2에서 메타데이터 열 지원
• [SPARK-45001] [SC-141141][PYTHON][CONNECT] DataFrame.foreachPartition 구현
• [SPARK-44497] [SC-141017] [WEBUI] 작업 테이블에 작업 파티션 ID 표시
• [SPARK-45006] [SC-141143] [UI] 타임라인의 x축에 대해 다른 UI 날짜 요소의 동일한 날짜 형식 사용
• [SPARK-45000] [SC-141135][PYTHON][CONNECT] DataFrame.foreach 구현
• [SPARK-44967] [SC-141137] [SQL] [CONNECT] TreeNodeTag에 부울을 사용하기 전에 먼저 단위를 고려해야 합니다.
• [SPARK-44993] [SC-141088] [CORE] ShuffleChecksumTestHelp.compareChecksums를 다시 사용해서 ShuffleChecksumUtils.compareChecksums 추가
• [SPARK-44807] [SC-140176] [CONNECT] Scala 클라이언트에 Dataset.metadataColumn 추가
• [SPARK-44965] [SC-141098] [PYTHON] pyspark.sql.functions에서 내부 함수/변수 숨기기
• [SPARK-44983] [SC-141030] [SQL] 형식에 대해 to_char를 사용하여 바이너리를 문자열로 변환합니다: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] createDataFrame에서 작동하도록 상속된 namedtuple 수정
• [SPARK-44985] [SC-141033] [CORE] 작업 사신 threadDump에 스택 추적 대신 toString 사용
• [SPARK-44984] [SC-141028] [PYTHON] [CONNECT] DataFrame에서 _get_alias 제거
• [SPARK-44975] [SC-141013] [SQL] BinaryArithmetic 쓸모없는 재정의 해결 제거
• [SPARK-44969] [SC-140957][SQL] ArrayAppend에서 ArrayInsert 재사용
• [SPARK-44549] [SC-140714] [SQL] 상관 관계가 있는 스칼라 하위 쿼리의 지원 창 함수
• [SPARK-44938] [SC-140811] [SQL] spark.sql.maxSinglePartitionBytes의 기본값을 128m로 변경
• [SPARK-44918] [SC-140816] [SQL] [PYTHON] 스칼라 Python/Pandas UDF에서 명명된 인수 지원
• [SPARK-44966] [SC-140907] [CORE] [CONNECT] 변경되지 않은 var를 val로 변경
• [SPARK-41471] [SC-140804] [SQL] 조인의 한 쪽만 KeyGroupedPartitioning인 경우 Spark 순서 섞기 줄이기
• [SPARK-44214] [SC-140528] [CORE] Spark 드라이버 라이브 로그 UI 지원
• [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519] [CONNECT] SparkListenerConnectOperationFinished에 ProducedRowCount 추가
• [SPARK-42017] [SC-140765] [PYTHON] [CONNECT] df['col_name']는 열 이름의 유효성을 검사해야 합니다.
• [SPARK-40178] [SC-140433] [SQL] [COONECT] PySpark 및 R에 대해 쉽게 병합 힌트 지원
• [SPARK-44840] [SC-140593][SQL] 음수 인덱스에 대해 array_insert()를 1 기반으로 만들기
• [SPARK-44939] [SC-140778] [R] SparkR SystemRequirements에서 Java 21 지원
• [SPARK-44936] [SC-140770] [CORE] Spark HybridStore가 메모리 제한에 도달할 때 로그 간소화
• [SPARK-44908] [SC-140712] [ML] [CONNECT] 교차 유효성 검사기 foldCol 매개 변수 기능 수정
• [SPARK-44816] [SC-140717] [CONNECT] UDF 클래스를 찾을 수 없는 경우 오류 메시지 개선
• [SPARK-44909] [SC-140710][ML] 토치 분배기 로그 스트리밍 서버를 사용할 수 없을 때 서버 시작 건너뛰기
• [SPARK-44920] [SC-140707] [CORE] TransportClientFactory.createClient()에서 awaitUninterruptibly() 대신 await()를 사용합니다.
• [SPARK-44905] [SC-140703] [SQL] 상태 저장 lastRegex로 인해 eval에서 NullPointerException이 regexp_replace
• [SPARK-43987] [SC-139594] [Shuffle] 전용 스레드 풀에 대한 별도의 finalizeShuffleMerge 처리
• [SPARK-42768] [SC-140549] [SQL] 캐시된 계획 사용은 기본적으로 AQE를 적용합니다.
• [SPARK-44741] [SC-139447] [CORE] StatsdSink에서 regex 기반 MetricFilter 지원
• [SPARK-44751] [SC-140532] [SQL] XML FileFormat 인터페이스 구현
• [SPARK-44868] [SC-140438] [SQL] datetime을 문자열로 변환 기준 to_char/to_varchar
• [SPARK-44748] [SC-140504] [SQL] UDTF TABLE 인수의 PARTITION BY 절에 대한 쿼리 실행
• [SPARK-44873] [SC-140427] Hive 클라이언트에서 중첩된 열을 사용하여 보기 변경 지원
• [SPARK-44876] [SC-140431] [PYTHON] Spark Connect에서 화살표 최적화 Python UDF 수정
• [SPARK-44520] [SC-137845] [SQL] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 용어를 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 및 공개 루트 AE로 바꿉
• [SPARK-42664] [SC-139769] [CONNECT] DataFrameStatFunctions에 대한 bloomFilter 함수 지원
• [SPARK-43567] [SC-139227] [PS] factorize에 대한 use_na_sentinel 지원
• [SPARK-44859] [SC-140254] [SS] 구조적 스트리밍 문서에서 잘못된 속성 이름 수정
• [SPARK-44822] [SC-140182] [PYTHON] [SQL] 기본적으로 비결정적 Python UDF 만들기
• [SPARK-44731] [SC-139524][PYTHON][CONNECT] 파이썬 스파크 커넥트에서 리터럴과 함께 타임스탬프NTZ 작동하기
• [SPARK-44836] [SC-140180] [PYTHON] 화살표 Python UDTF 리팩터링
• [SPARK-44714] [SC-139238] 다음을 포함하는 쿼리에 대한 LCA 해상도 제한 완화
• [SPARK-44749] [SC-139664] [SQL] [PYTHON] Python UDTF에서 명명된 인수 지원
• [SPARK-44737] [SC-139512] [SQL] [UI] SQL 탭에서 SparkThrowable이 아닌 경우 SQL 페이지에 json 형식 오류가 표시되지 않아야 함
• [SPARK-44665] [SC-139307] [PYTHON] pandas DataFrame assertDataFrameEqual에 대한 지원 추가
• [SPARK-44736] [SC-139622] [CONNECT] Spark Connect Scala 클라이언트에 Dataset.explode 추가
• [SPARK-44732] [SC-139422] [SQL] 기본 제공 XML 데이터 원본 지원
• [SPARK-44694] [SC-139213] [PYTHON] [CONNECT] 활성 세션을 리팩터링하고 API로 노출
• [SPARK-44652] [SC-138881] df가 하나만 없음인 경우 오류 발생
• [SPARK-44562] [SC-138824] [SQL] Subquery 일괄 처리에 OptimizeOneRowRelationSubquery 추가
• [SPARK-44717] [SC-139319] [PYTHON] [PS] 다시 샘플링 시 TimestampNTZ 존중
• [SPARK-42849] [SC-139365] [SQL] 세션 변수
• [SPARK-44236] [SC-139239] [SQL] spark.sql.codegen.factoryMode를 NO_CODEGEN으로 설정한 경우 WholeStageCodegen 비활성화
• [SPARK-44695] [SC-139316][PYTHON] DataFrame.toDF에 대한 오류 메시지 개선
• [SPARK-44680] [SC-139234] [SQL] DEFAULT에서 매개 변수에 대한 오류 개선
• [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec는 스칼라 하위 쿼리를 사용하여 데이터 필터 푸시다운을 지원합니다.
• [SPARK-44641] [SC-139216] [SQL] SPJ가 트리거되지 않은 특정 시나리오의 잘못된 결과
• [SPARK-44689] [SC-139219] [CONNECT] 함수 SparkConnectPlanner#unpackScalarScalaUDF 의 예외 처리를 보다 보편적으로 만들기
• [SPARK-41636] [SC-139061] [SQL] selectFilters가 결정론적 순서로 술어를 반환하는지 확인합니다.
• [SPARK-44132] [SC-139197] [SQL] codegen 오류를 방지하기 위해 조인 열 이름 Stream을 구체화 합니다.
• [SPARK-42330] [SC-138838][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2175에 이름 RULE_ID_NOT_FOUND를 할당합니다.
• [SPARK-44683] [SC-139214] [SS] 로깅 수준이 RocksDB 상태 저장소 공급자에게 올바르게 전달되지 않음
• [SPARK-44658] [SC-138868][CORE] ShuffleStatus.getMapStatus는 Some(null) 대신 None를 반환해야 합니다.
• [SPARK-44603] [SC-138353] pyspark.testing을 setup.py 추가
• [SPARK-44252] [SC-137505] [SS] 새 오류 클래스를 정의하고 DFS에서 로드 상태가 실패하는 경우 적용
• [SPARK-29497] [DBRRM-396] [SC-138477] [CONNECT] UDF를 역직렬화할 수 없는 경우 오류를 throw합니다.
• [SPARK-44624] [DBRRM-396] [SC-138900] [CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
• [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Connect 클라이언트 촉매 종속성 제거
• [SPARK-44059] [SC-138833] [SQL] argumnts라는 SQL에 대한 더 나은 오류 메시지 추가
• [SPARK-44620] [SC-138831] [SQL] [PS] [CONNECT] ResolvePivot가 Plan_ID_TAG를 유지하도록 합니다.
• [SPARK-43838] [SC-137413] [SQL] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
• [SPARK-44555] [SC-138820] [SQL] checkError()를 사용하여 Command Suite에서 예외를 확인하고 일부 오류 클래스 이름을 할당합니다.
• [SPARK-44280] [SC-138821] [SQL] JDBCDialect API에서 convertJavaTimestampToTimestamp 추가
• [SPARK-44602] [SC-138337] [SQL] [CONNECT] [PS] WidenSetOperationTypes가 Plan_ID_TAG를 유지하도록 합니다.
• [SPARK-42941] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
• [SPARK-43838] 되돌리기 "[SC-137413][SQL] 단일 ta에서 하위 쿼리 수정...
• [SPARK-44538] [SC-138178] [CONNECT] [SQL] Row.jsonValue 및 친구 복원
• [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Spark Connect에서 다시 연결할 수 있는 실행
• [SPARK-43838] [SC-137413] [SQL] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
• [SPARK-44587] [SC-138315] [SQL] [CONNECT] protobuf 마샬러 재귀 제한 늘리기
• [SPARK-44605] [SC-138338] [CORE] 내부 ShuffleWriteProcessor API 구체화
• [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] Spark Connect에 대한 Spark UI 페이지 추가
• [SPARK-44585] [SC-138286] [MLLIB] MLLib RankingMetrics ndcgAk에서 경고 조건 수정
• [SPARK-44198] [SC-138137] [CORE] 실행기에 로그 수준 전파 지원
• [SPARK-44454] [SC-138071] [SQL] [HIVE] HiveShim getTablesByType 지원 대체
• [SPARK-44425] [SC-138135] [CONNECT] 사용자가 제공한 sessionId가 UUID인지 확인
• [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] ExtractWindowExpressions가 PLAN_ID_TAG를 유지하도록 합니다.
• [SPARK-44560] [SC-138117] [PYTHON] [CONNECT] Arrow Python UDF에 대한 테스트 및 설명서 개선
• [SPARK-44482] [SC-138067] [CONNECT] 연결 서버는 바인딩 주소를 지정할 수 있어야 합니다.
• [SPARK-44528] [SC-138047] [CONNECT] Connect 데이터 프레임에 대한 hasattr()의 적절한 사용 지원
• [SPARK-44525] [SC-138043] [SQL] Invoke 메서드를 찾을 수 없는 경우 오류 메시지 개선
• [SPARK-44355] [SC-137878] [SQL] WithCTE를 명령 쿼리로 이동

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 14.1 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)