Databricks Runtime 13.1(EoS)

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.1에 대한 정보를 제공합니다.

Databricks는 2023년 5월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• JDK 17의 클러스터 지원(공개 미리 보기)
• 스트리밍 테이블에서 데이터 추가, 변경 또는 삭제
• SQL을 사용하여 Kafka 읽기
• 새로운 SQL 기본 제공 함수
• 클러스터 범위 Python 라이브러리에 대한 Unity 카탈로그 지원
• Unity 카탈로그에서 최적화된 쓰기에 대한 확장된 기본 사용
• 구조적 스트리밍 워크로드의 상태 저장 연산자 고급 지원
• Unity 카탈로그용 Delta 클론은 공개 미리 보기로 제공됩니다.
• 구조화된 스트리밍에 대한 Pub/Sub 지원
• 구조적 스트리밍의 워터마크 내에 중복 항목 삭제
• 잘린 파티션 열을 사용하여 Iceberg 테이블에서 델타 변환에 대한 지원 확장
• Delta Lake에서 열 매핑을 사용하여 스트림 스키마 변경 내용
• 시작 버전 제거
• Python에서 사용할 수 있는 새 H3 식

JDK 17의 클러스터 지원(공개 미리 보기)

이제 Databricks는 JDK(Java Development Kit) 17에 대한 클러스터 지원을 제공합니다. Java용 Databricks SDK를 참조하세요.

스트리밍 테이블에서 데이터 추가, 변경 또는 삭제

이제 DML 문을 사용하여 Delta Live Tables 파이프라인에서 Unity 카탈로그에 게시된 스트리밍 테이블을 수정할 수 있습니다. 스트리밍 테이블의 데이터 추가, 변경 또는 삭제 및 대상 스트리밍 테이블의 데이터 추가, 변경 또는 삭제를 참조하세요. DML 문을 사용하여 Databricks SQL에서 만든 스트리밍 테이블을 수정할 수도 있습니다.

SQL을 사용하여 Kafka 읽기

이제 Kafka 데이터를 읽기 위해 read_kafka SQL 함수를 사용할 수 있습니다. SQL을 사용한 스트리밍은 Delta Live Tables 또는 Databricks SQL의 스트리밍 테이블에서만 지원됩니다. read_kafka 테이블 반환 함수를 참조하세요.

새로운 SQL 기본 제공 함수

다음 기능이 추가되었습니다.

• array_prepend(array, elem) array 앞에 추가된 elem 값을 반환합니다.
• try_aes_decrypt(expr, key [, mode [, padding]]) AES 암호화를 사용하여 생성된 이진 파일의 암호를 해독하고 오류가 있으면 NULL을(를) 반환합니다.
• sql_keywords() Azure Databricks SQL 키워드 테이블을 반환합니다.

클러스터 범위 Python 라이브러리에 대한 Unity 카탈로그 지원

Unity 카탈로그에는 라이브러리 사용에 몇 가지 제한 사항이 있습니다. Databricks Runtime 13.1 및 그 이상에서는, 작업 영역 파일로 업로드되는 Python 휠 파일을 포함하여 클러스터 범위 Python 라이브러리가 지원됩니다. DBFS 파일 경로를 사용하여 참조되는 라이브러리는 DBFS 루트 또는 DBFS에 탑재된 외부 위치에 관계없이 지원되지 않습니다. Python이 아닌 라이브러리는 지원되지 않습니다. 클러스터 라이브러리를 참조하세요.

Databricks Runtime 13.0 이하에서는 Unity 카탈로그 사용 작업 영역에서 공유 액세스 모드를 사용하는 클러스터에서 클러스터 범위 라이브러리가 지원되지 않습니다.

Unity 카탈로그에서 최적화된 쓰기에 대한 확장된 기본 사용

Unity 카탈로그에 등록된 델타 테이블에 대한 기본 최적화 쓰기 지원이 분할된 테이블에 대한 CTAS 문 및 INSERT 작업을 포함하도록 확장되었습니다. 이 동작은 SQL 웨어하우스의 기본값에 맞춥니다. Azure Databricks의 Delta Lake에 대한 최적화된 쓰기를 참조하세요.

구조적 스트리밍 워크로드의 상태 저장 연산자 고급 지원

이제 여러 상태 저장 연산자를 함께 연결할 수 있습니다. 즉, 창이 있는 집계와 같은 작업의 출력을 조인과 같은 다른 상태 저장 작업에 공급할 수 있습니다. 상태 저장 스트리밍이란?을 참조하세요.

Unity 카탈로그용 Delta 클론은 공개 미리 보기로 제공됩니다.

이제 단순 클론을 사용하여 기존 Unity 카탈로그 관리 테이블에서 새 Unity 카탈로그 관리 테이블을 만들 수 있습니다. Unity 카탈로그 테이블의 단순 복제본을 참조 하세요.

구조화된 스트리밍에 대한 Pub/Sub 지원

이제 기본 제공 커넥터를 사용하여 구조적 스트리밍을 사용하여 Google Pub/Sub를 구독할 수 있습니다. Google Pub/Sub 구독을 참조하세요.

구조적 스트리밍의 워터마크 내에 중복 항목 삭제

이제 지정된 워터마크 임계값과 함께 dropDuplicatesWithinWatermark을(를) 사용하여 구조적 스트리밍에서 레코드를 중복 제거할 수 있습니다. 워터마크 내에서 중복 항목 삭제를 참조하세요.

잘린 파티션 열을 사용하여 Iceberg 테이블에서 델타 변환에 대한 지원 확장

이제 잘린 형식 열 int, long, string에 정의된 파티션이 있는 Iceberg 테이블과 CLONE 및 CONVERT TO DELTA를 함께 사용할 수 있습니다. 잘린 decimal 형식의 열은 지원되지 않습니다.

Delta Lake에서 열 매핑을 사용하여 스트림 스키마 변경 내용

이제 열 매핑을 사용하도록 설정된 델타 테이블에서 스트리밍을 사용하도록 설정하는 스키마 추적 위치를 제공할 수 있습니다. 열 매핑 및 스키마 변경 내용이 포함된 스트리밍을 참조하세요.

시작 버전 제거

ALTER SHARE(은)는 이제 START VERSION(을)를 사용하지 않습니다.

Python에서 사용할 수 있는 새 H3 식

h3_coverash3 및 h3_coverash3string 식은 Python에서 사용할 수 있습니다.

버그 수정

Parquet failOnUnknownFields는 더 이상 형식 불일치에 대한 데이터를 자동으로 삭제하지 않습니다.

failOnUnknownFields 스키마 진화 모드에서 failOnNewColumns 옵션 또는 자동 로더를 사용하여 Parquet 파일을 읽은 경우 이제 데이터 형식이 다른 열이 실패하게 되고 rescuedDataColumn을(를) 사용하는 것이 좋습니다. 이제 자동 로더가 올바르게 읽고 이러한 데이터 형식 중 하나가 제공되면 정수, 쇼트, 바이트 형식을 더 이상 복구 하지 않습니다. Parquet 파일은 다른 두 형식 중 하나를 제안합니다.

호환성이 손상되는 변경

sqlite-jdbc 버전을 3.42.0.0으로 업그레이드하여 CVE-2023-32697 해결

sqlite-jdbc 버전을 3.8.11.2에서 3.42.0.0으로 업그레이드합니다. 버전 3.42.0.0의 API는 3.8.11.2와 완전히 호환되지 않습니다. 코드에서 sqlite-jdbc를 사용하는 경우 sqlite-jdbc 호환성 보고서에서 자세한 내용을 확인합니다. 13.1로 마이그레이션하고 sqlite를 사용하는 경우 메서드를 확인하고 버전 3.42.0.0에서 형식을 반환합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리
  • facets-overview를 1.0.2에서 1.0.3으로
  • filelock을 3.10.7에서 3.12.0으로
  • pyarrow를 7.0.0에서 8.0.0으로
  • tenacity를 8.0.1에서 8.1.0으로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리
  • com.github.ben-manes.caffeine.caffeine 2.3.4에서 2.9.3
  • io.delta.delta-sharing-spark_2.12에서 0.6.8에서 0.6.4로
  • net.snowflake.snowflake-jdbc from 3.13.29 to 3.13.22
  • org.checkerframework.checker-qual을 3.5.0에서 3.19.0으로
  • org.scalactic.scalactic_2.12에서 3.0.8에서 3.2.15로
  • org.scalatest.scalatest_2.12에서 3.0.8에서 3.2.15로
  • org.xerial.sqlite-jdbc 3.8.11.2에서 3.42.0.0

Apache Spark

Databricks Runtime 13.1에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.0(EoS)에 포함된 모든 Spark 수정 사항 및 개선 사항과 다음과 같은 Spark의 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-42719] [DBRRM-199][SC-131578] 되돌리기 "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] 되돌리기 [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] 추가 Spark 연결 SparkSession.interruptAll
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] SparkConnectClient용 ChannelBuilder를 확장할 수 있도록 합니다.
• [SPARK-43323] [SC-129966][SQL][PYTHON] 예외를 제대로 처리하도록 화살표가 설정된 DataFrame.toPandas 수정
• [SPARK-42940] [SC-129896][SS][CONNECT] 스트리밍 쿼리에 대한 세션 관리 개선
• [SPARK-43032] [SC-125756][CONNECT][SS] 스트리밍 쿼리 관리자 추가
• [SPARK-16484] [SC-129975][SQL] DataSketches HllSketch에 대한 지원이 추가되었습니다.
• [SPARK-43260] [SC-129281][PYTHON] Spark SQL pandas 화살표 유형 오류를 오류 클래스로 마이그레이션합니다.
• [SPARK-41766] [SC-129964][CORE] 실행기 등록 전에 전송된 서비스 해제 요청 처리
• [SPARK-43307] [SC-129971][PYTHON] PandasUDF 값 오류를 오류 클래스로 마이그레이션
• [SPARK-43206] [SC-129903][SS][CONNECT] StreamingQuery 예외() 포함 스택 추적
• [SPARK-43311] [SC-129905][SS] RocksDB 상태 저장소 공급자 메모리 관리 개선 사항 추가
• [SPARK-43237] [SC-129898][CORE] 이벤트 로그에서 null 예외 메시지 처리
• [SPARK-43320] [SC-129899][SQL] [HIVE] Hive 2.3.9 API 직접 호출
• [SPARK-43270] [SC-129897][PYTHON] __dir__()에서 열을 포함하도록 pyspark.sql.dataframe.DataFrame 구현
• [SPARK-43183] 되돌리기 "[SC-128938][SS] 새 콜백 소개 "...
• [SPARK-43143] [SC-129902][SS][CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2022를 내부 오류로 바꿉
• [SPARK-43198] [SC-129470][CONNECT] "클래스 암모나이트를 초기화할 수 없습니다..." 오류 수정 필터 사용 시 에러
• [SPARK-43165] [SC-129777][SQL] CanWrite를 DataTypeUtils로 이동
• [SPARK-43298] [SC-129729][PYTHON][ML] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함
• [SPARK-43298] [SC-129700] "[PYTHON][ML] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함" 되돌리기
• [SPARK-43052] [SC-129663][CORE] 이벤트 로그에서 null 파일 이름으로 stacktrace 처리
• [SPARK-43183] [SC-128938][SS] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] 식 오류를 오류 클래스로 마이그레이션
• [SPARK-42151] [SC-128754][SQL] UPDATE 할당을 테이블 특성과 정렬
• [SPARK-43134] [SC-129468][CONNECT][SS] JVM 클라이언트 StreamingQuery 예외() API
• [SPARK-43298] [SC-129699][PYTHON][ML] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함
• [SPARK-43248] [SC-129660][SQL] 병렬 수집 파티션 통계에서 경로의 불필요한 직렬화/역직렬화
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] PySparkNotImplementedError 소개
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] repr 및 repr_html에 대한 즉시 평가 구현
• [SPARK-42953] [SC-129469][Connect][Followup] Scala 클라이언트 UDF 테스트에 대한 maven 테스트 빌드 수정
• [SPARK-43144] [SC-129280] Scala 클라이언트 DataStreamReader 테이블() API
• [SPARK-43136] [SC-129358][CONNECT] groupByKey + mapGroup + coGroup 함수 추가
• [SPARK-43156] [SC-129672][SC-128532][SQL] 상관 관계가 있는 스칼라 하위 쿼리의 COUNT(*) is null 버그 수정
• [SPARK-43046] [SC-129110][SS][연결] Spark Connect에 대한 Python API dropDuplicatesWithinWatermark 구현
• [SPARK-43199] [SC-129467][SQL] InlineCTE idempotent 만들기
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only(은)는 일반 열에서 무시되어야 합니다.
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Spark Connect 창 오류를 오류 클래스로 마이그레이션
• [SPARK-43174] [SC-129109][SQL] SparkSQLCLIDriver 완료자 수정
• [SPARK-43084] [SC-128654][SS] Spark 연결에 대한 applyInPandasWithState 지원 추가
• [SPARK-43119] [SC-129040][SQL] JDBC API 및 TVF를 통해 동적으로 SQL 키워드 가져오기 지원
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect의 화살표 최적화 Python UDF
• [SPARK-43085] [SC-128432][SQL] 여러 부분으로 구성된 테이블 이름에 대한 열 DEFAULT 할당 지원
• [SPARK-43226] [LC-671] 파일 상수 메타데이터에 대한 추출기 정의
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] PySparkAssertionError 소개
• [SPARK-43214] [SC-129199][SQL] LocalTableScanExec/CommandResultExec에 대한 드라이버 쪽 메트릭 게시
• [SPARK-43285] [SC-129347] JDK 17에서 ReplE2ESuite가 지속적으로 실패하는 문제 해결
• [SPARK-43268] [SC-129249][SQL] 메시지와 함께 예외가 생성될 때 적절한 오류 클래스 사용
• [SPARK-43142] [SC-129299] 특수 문자가 있는 특성의 DSL 식 수정
• [SPARK-43129] [SC-128896] Spark Connect 스트리밍을 위한 Scala Core API
• [SPARK-43233] [SC-129250][SS] 토픽 파티션, 오프셋 범위 및 작업 ID에 대한 Kafka Batch 읽기용 로깅 추가
• [SPARK-43249] [SC-129195][CONNECT] SQL 명령에 대한 누락된 통계 수정
• [SPARK-42945] [SC-129188][CONNECT] Spark Connect의 지원 PYSPARK_JVM_STACKTRACE_ENABLED
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] UDF 오류를 PySpark 오류 프레임워크로 마이그레이션
• [SPARK-43123] [SC-128494][SQL] 내부 필드 메타데이터를 카탈로그에 유출해서는 안 됩니다.
• [SPARK-43217] [SC-129205] findNestedField의 중첩된 맵/배열에서 올바르게 재귀
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] Python용 printSchema에 수준 매개 변수 추가
• [SPARK-43230] [SC-129191][CONNECT] DataFrameNaFunctions.fillna 기본화
• [SPARK-43088] [SC-128403][SQL] CTAS/RTAS에서 RequiresDistributionAndOrdering 리스펙트
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] Conect DataFrame에서 ValueError을(를) 오류 클래스로 마이그레이션
• [SPARK-43212] [SC-129187][SS][PYTHON] 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
• [SPARK-43239] [SC-129186][PS] info()에서 null_counts 제거
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput은 자식 출력과 일치해야 합니다.
• [SPARK-43191] [SC-128924][CORE] Hadoop CallerContext에 대한 직접 호출을 사용하여 리플렉션 바꾸기
• [SPARK-43193] [SC-129042][SS] HADOOP-12074에 대한 해결 방법 제거
• [SPARK-42657] [SC-128621][CONNECT] 클라이언트 쪽 REPL 클래스 파일을 찾아서 서버로 아티팩트로 전송하도록 지원
• [SPARK-43098] [SC-77059][SQL] 스칼라 하위 쿼리에 group by 절이 있는 경우 정확성 COUNT 버그 수정
• [SPARK-43213] [SC-129062][PYTHON] 바닐라 PySpark에 DataFrame.offset 추가
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] 지정된 스키마 ddl을 준수하도록 createDataFrame 수정
• [SPARK-43124] [SC-129011][SQL] Dataset.show가 CommandResults를 로컬로 프로젝트
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] Null 구조체를 사용하여 DataFrame.collect 수정
• [SPARK-41498] [SC-125343]”Union을 통해 메타데이터 전파” 되돌리기
• [SPARK-42960] [SC-129010][CONNECT][SS] Python에서 스트리밍 쿼리에 대한 await_termination() 및 exception() API 추가
• [SPARK-42552] [SC-128824][SQL] antlr 파서의 2단계 구문 분석 전략 수정
• [SPARK-43207] [SC-128937][CONNECT] 리터럴 식에서 값을 추출하는 도우미 함수 추가
• [SPARK-43186] [SC-128841][SQL][HIVE] FileSinkDesc에 대한 해결 방법 제거
• [SPARK-43107] [SC-128533][SQL] 브로드캐스트 조인 스트림 쪽에 적용된 조인의 병합 버킷
• [SPARK-43195] [SC-128922][CORE] HadoopFSUtils에서 불필요한 직렬화 가능 래퍼 제거
• [SPARK-43137] [SC-128828][SQL] 위치가 접을 수 있고 양수이면 ArrayInsert를 개선합니다.
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith 외부 조인은 일치하지 않는 행에 대해 null 값을 반환해야 합니다.
• [SPARK-43042] [SC-128602][SS][연결] DataStreamReader에 대한 table() API 지원 추가
• [SPARK-43153] [SC-128753][CONNECT] 데이터 프레임이 로컬인 경우 Spark 실행 건너뛰기
• [SPARK-43064] [SC-128496][SQL] Spark SQL CLI SQL 탭은 문을 한 번만 표시해야 합니다.
• [SPARK-43126] [SC-128447][SQL] 두 Hive UDF 식을 상태 저장으로 표시
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] 중첩된 if 문을 단일 if 문으로 병합
• [SPARK-43113] [SC-128749][SQL] 바인딩된 조건에 대한 코드를 생성할 때 스트림 쪽 변수 평가
• [SPARK-42895] [SC-127258][CONNECT] 중지된 Spark 세션에 대한 오류 메시지 개선
• [SPARK-42884] [SC-126662][CONNECT] Ammonite REPL 통합 추가
• [SPARK-43168] [SC-128674][SQL] Datatype 클래스에서 PhysicalDataType 메서드 가져오기 제거
• [SPARK-43121] [SC-128455][SQL] 'HiveInspectors'에서 수동 복사 대신 BytesWritable.copyBytes 사용
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog는 읽기 쪽에서 Char/Varchar 메타를 유지합니다.
• [SPARK-43050] [SC-128550][SQL] 그룹화 함수를 대체하여 구문 집계 식 수정
• [SPARK-43095] [SC-128549][SQL] 일괄 처리에 대한 전략의 idempotent가 손상되는 것 방지: Infer Filters
• [SPARK-43130] [SC-128597][SQL] InternalType을 PhysicalDataType으로 이동
• [SPARK-43105] [SC-128456][CONNECT] proto 메시지의 바이트 및 문자열 축약
• [SPARK-43099] [SC-128596][SQL] FunctionRegistry에 udf를 등록할 때 작성기 클래스 이름을 가져오기 위해 getName 대신 getCanonicalName 사용
• [SPARK-42994] [SC-128586][ML][CONNECT] PyTorch 배포자가 로컬 모드를 지원합니다.
• [SPARK-42859] 되돌리기 "[SC-127935][CONNECT][PS] Spark Connect의 pandas API에 대한 기본 지원"
• [SPARK-43021] [SC-128472][SQL] AQE를 사용할 때 CoalesceBucketsInJoin 작동하지 않음
• [SPARK-43125] [SC-128477][CONNECT] Connect 서버에서 Null 메시지로 예외를 처리할 수 없음 수정
• [SPARK-43147] [SC-128594] 로컬 검사를 위한 flake8 lint 수정
• [SPARK-43031] [SC-128360][SS][연결] 스트리밍에 단위 테스트 및 문서 테스트 사용
• [SPARK-43039] [LC-67] 파일 원본 _metadata 열에서 사용자 지정 필드 지원
• [SPARK-43120] [SC-128407][SS] RocksDB 상태 저장소에 대한 고정 블록 메모리 사용 추적에 대한 지원 추가
• [SPARK-43110] [SC-128381][SQL] AsIntegral을 PhysicalDataType으로 이동
• [SPARK-43118] [SC-128398][SS] KafkaMicroBatchStream에서 UninterruptibleThread에 대한 불필요한 어설션 제거
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] 중복된 중첩 필드 이름 지원
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable 스토리지 수준 지정 가능
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] SQL 구성을 준수하도록 createDataFrame 수정
• [SPARK-39696] [SC-127830][CORE] TaskMetrics.externalAccums에 대한 액세스에서 데이터 경합 수정
• [SPARK-43103] [SC-128335][SQL] 정수 계열을 PhysicalDataType으로 이동
• [SPARK-42741] [SC-125547][SQL] 리터럴이 null인 경우 이진 비교에서 캐스트 래프 해제 안 함
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Spark Connect 열 오류를 오류 클래스로 마이그레이션
• [SPARK-42859] [SC-127935][CONNECT][PS] Spark Connect에서 pandas API에 대한 기본 지원
• [SPARK-43013] [SC-127773][PYTHON] DataFrame에서 ValueError(으)로 PySparkValueError 마이그레이션
• [SPARK-43089] [SC-128051][CONNECT] UI에서 디버그 문자열 수정
• [SPARK-43028] [SC-128070][SQL] 오류 클래스 SQL_CONF_NOT_FOUND 추가
• [SPARK-42999] [SC-127842][Connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] JavaDatasetSuite에서 dropDuplicates에 대한 테스트 추가
• [SPARK-43075] [SC-127939][CONNECT] gRPC을(를) 설치되지 않은 시점의 grpcio(으)로 변경
• [SPARK-42953] [SC-127809][Connect] 형식화된 필터, 맵, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] 날짜 형식을 타임스탬프 형식으로 래핑 해제 지원
• [SPARK-42931] [SC-127933][SS] dropDuplicatesWithinWatermark 소개
• [SPARK-43073] [SC-127943][CONNECT] proto 데이터 형식 상수 추가
• [SPARK-43077] [SC-128050][SQL] UNRECOGNIZED_SQL_TYPE 오류 메시지 개선
• [SPARK-42951] [SC-128030][SS][Connect] DataStreamReader API
• [SPARK-43049] [SC-127846][SQL] Oracle JDBC용 StringType에 VARCHAR(255) 대신 CLOB 사용
• [SPARK-43018] [SC-127762][SQL] 타임스탬프 리터럴을 사용하여 INSERT 명령에 대한 버그 수정
• [SPARK-42855] [SC-127722][SQL] TableOutputResolver에서 런타임 null 검사 사용
• [SPARK-43030] [SC-127847][SQL] 메타데이터 열을 사용하여 관계 중복 제거
• [SPARK-42993] [SC-127829][ML][CONNECT] PyTorch 배포자를 Spark Connect와 호환되도록 만들기
• [SPARK-43058] [SC-128072][SQL] Numeric 및 Fractional을 PhysicalDataType으로 이동
• [SPARK-43056] [SC-127946][SS] RocksDB 상태 저장소 커밋은 일시 중지된 경우에만 백그라운드 작업을 계속해야 합니다.
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] TypeError(읽기 권한자|기록기)를 DataFrame에서 오류 클래스로 마이그레이션
• [SPARK-43071] [SC-128018][SQL] INSERT 원본 관계의 ORDER BY, LIMIT, OFFSET을 사용하여 SELECT DEFAULT 지원
• [SPARK-43061] [SC-127956][CORE][SQL] SQL 연산자 실행을 위한 PartitionEvaluator 소개
• [SPARK-43067] [SC-127938][SS] Kafka 커넥터에서 오류 클래스 리소스 파일의 위치 수정
• [SPARK-43019] [SC-127844][SQL] PhysicalDataType으로 순서 이동
• [SPARK-43010] [SC-127759][PYTHON] 열 오류를 오류 클래스로 마이그레이션
• [SPARK-42840] [SC-127782][SQL] _LEGACY_ERROR_TEMP_2004 오류를 내부 오류로 변경
• [SPARK-43041] [SC-127765][SQL] 커넥터 API에서 호환성을 위한 예외 생성자 복원
• [SPARK-42939] [SC-127761][SS][CONNECT] Spark Connect용 핵심 스트리밍 Python API
• [SPARK-42844] [SC-127766][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_2008을(를) INVALID_URL로 변경
• [SPARK-42316] [SC-127720][SQL] _LEGACY_ERROR_TEMP_2044에 이름 할당
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] Spark Connect DataFrame 오류를 오류 클래스로 마이그레이션
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] 0-dim numpy 배열을 올바르게 처리하도록 createDataFrame 수정
• [SPARK-42955] [SC-127476][SQL] classifyException 건너뛰기 및 SparkThrowable에 대한 AnalysisException 래핑
• [SPARK-42949] [SC-127255][SQL] NAAJ에 대한 코드 간소화
• [SPARK-43011] [SC-127577][SQL] array_insert는 0 인덱스로 실패해야 함.
• [SPARK-42974] [SC-127487][CORE] Utils.createTempDir을(를) 복원하기 위해 ShutdownHookManager을(를) 사용하여 JavaUtils.createTempDir 메서드를 정리합니다.
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07'은 테이블이 이미 존재한다는 의미이기도 합니다.
• [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME는 스키마 이름을 사용하여 new-table-Name을 한정할 수 없습니다.
• [SPARK-37980] [SC-127668][SQL] 테스트에서 가능한 경우 _metadata 통해 row_index 액세스
• [SPARK-42655] [SC-127591][SQL] 잘못된 모호한 열 참조 오류
• [SPARK-43009] [SC-127596][SQL] Any 상수로 sql()(이)가 매개 변수화됩니다.
• [SPARK-43026] [SC-127590][SQL] 비교환 테이블 캐시를 사용하여 AQE 적용
• [SPARK-42963] [SC-127576][SQL] SparkSessionExtensions를 확장하여 AQE 쿼리 단계 최적화에 규칙 삽입
• [SPARK-42918] [SC-127357] FileSourceStrategy에서 메타데이터 특성 처리 일반화
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Catalog 지원 추가
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver는 배열 및 맵에 대한 오류 메시지에서 올바른 열 경로를 사용해야 합니다.
• [SPARK-43006] [SC-127486][PYSPARK] StorageLevel eq()의 오타 수정
• [SPARK-43005] [SC-127485][PYSPARK] pyspark/pandas/config.py 오타 수정
• [SPARK-43004] [SC-127457][CORE] ResourceRequest.equals()의 오타 수정
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] Avro 함수 구현
• [SPARK-42979] [SC-127272][SQL] 리터럴 생성자를 키워드로 정의
• [SPARK-42946] [SC-127252][SQL] 변수 대체에 의해 중첩되는 중요한 데이터 수정
• [SPARK-42952] [SC-127260][SQL] 분석기 규칙 PreprocessTableCreation 및 DataSourceAnalysis의 매개 변수 간소화
• [SPARK-42683] [LC-75] 충돌하는 메타데이터 열의 이름을 자동으로 바꿉니다.
• [SPARK-42853] [SC-126101][FollowUp] 충돌 수정
• [SPARK-42929] [SC-126748][CONNECT] mapInPandas / mapInArrow 지원 "is_barrier" 만들기
• [SPARK-42968] [SC-127271][SS] DSv2 원본/싱크에 대한 StreamingWrite API의 일부로 커밋 코디네이터를 건너뛰는 옵션 추가
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] PySpark 및 Spark Connect Python 클라이언트에 YearMonthIntervalType 추가
• [SPARK-41359] [SC-127256][SQL] UnsafeRow에서 DataType 대신 PhysicalDataType 사용
• [SPARK-42873] [SC-127262][SQL] Spark SQL 형식을 키워드로 정의
• [SPARK-42808] [SC-126302][CORE] MapOutputTrackerMaster#getStatistics에서 매번 availableProcessors를 가져오지 않도록 합니다.
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries가 InSubqueryExec#shouldBroadcast을 true로 설정해야 합니다.
• [SPARK-42896] [SC-126729][SQL][PYTHON] mapInPandas / mapInArrow 지원 장벽 모드 실행
• [SPARK-42874] [SC-126442][SQL] 모든 입력 파일에 대한 분석을 위해 새 골든 파일 테스트 프레임워크 사용
• [SPARK-42922] [SC-126850][SQL] Random에서 SecureRandom으로 이동
• [SPARK-42753] [SC-126369] ReusedExchange는 존재하지 않는 노드를 참조합니다.
• [SPARK-40822] [SC-126274][SQL] 안정적인 파생 열 별칭
• [SPARK-42908] [SC-126856][PYTHON] SparkContext가 필요하지만 초기화되지 않은 경우 RuntimeError 발생
• [SPARK-42779] [SC-126042][SQL] V2 쓰기가 권고 순서 섞기 파티션 크기를 나타내도록 허용
• [SPARK-42914] [SC-126727][PYTHON] transformUnregisteredFunction에 다시 DistributedSequenceID 사용
• [SPARK-42878] [SC-126882][CONNECT] DataFrameReader의 테이블 API도 옵션을 수락할 수 있습니다.
• [SPARK-42927] [SC-126883][CORE] o.a.spark.util.Iterators#size 액세스 범위를 private[util](으)로 변경합니다.
• [SPARK-42943] [SC-126879][SQL] 유효 길이를 위해 StringType에 TEXT 대신 LONGTEXT 사용
• [SPARK-37677] [SC-126855][CORE] 압축을 풀면 파일 사용 권한을 유지할 수 있습니다.
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] 공동 그룹화된 맵 API 구현
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] DataFrame.toLocalIterator 구현
• [SPARK-42930] [SC-126761][CORE][SQL] ProtobufSerDe 관련 구현의 액세스 범위를 private[protobuf](으)로 변경
• [SPARK-42819] [SC-125879][SS] 스트리밍에 사용되는 RocksDB에 대한 max_write_buffer_number 및 write_buffer_size 설정에 대한 지원 추가
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] 매개 변수가 있는 SQL 인수의 주석을 명확히 합니다.
• [SPARK-42748] [SC-126455][CONNECT] 서버 쪽 아티팩트 관리
• [SPARK-42816] [SC-126365][CONNECT] 최대 128MB의 최대 메시지 크기 지원
• [SPARK-42850] [SC-126109][SQL] 최적화 프로그램에서 중복된 규칙 CombineFilter 제거
• [SPARK-42662] [SC-126355][CONNECT][PS] Spark 기본 인덱스에 pandas API에 대한 proto 메시지 추가
• [SPARK-42720] [SC-126136][PS][SQL] 계획 대신 분산 시퀀스 기본 인덱스에 식을 사용합니다.
• [SPARK-42790] [SC-126174][SQL] JDBC Docker 테스트에 대한 더 나은 테스트를 위해 제외된 메서드를 추상화합니다.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] 유추 및 열 이름을 존중하도록 createDataFrame 수정
• [SPARK-42917] [SC-126657][SQL] DerbyDialect에 대한 올바른 getUpdateColumnNullabilityQuery
• [SPARK-42684] [SC-125157][SQL] v2 카탈로그는 기본적으로 열 기본값을 허용하지 않아야 합니다.
• [SPARK-42861] [SC-126635][SQL] 보호된[sql] 대신 개인[sql]을 사용하여 API 문서 생성 방지
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] UDT를 사용하여 UDF에 대한 테스트 사용
• [SPARK-42791] [SC-126617][SQL] 분석을 위한 새 골든 파일 테스트 프레임워크 만들기
• [SPARK-42911] [SC-126652][PYTHON] 더 많은 기본 예외 소개
• [SPARK-42904] [SC-126634][SQL] JDBC 카탈로그에 대한 Char/Varchar 지원
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] 가능성을 방지하기 위해 별도의 파일로 이동 StorageLevelfile recursively imports
• [SPARK-42894] [SC-126451] [CONNECT] Spark 연결 jvm 클라이언트에 cache/persist/unpersist/storageLevel 지원
• [SPARK-42792] [SC-125852][SS] 스트리밍 상태 저장 연산자에서 사용되는 RocksDB에 대한 WRITE_FLUSH_BYTES 대한 지원 추가
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] Spark Connect Python 클라이언트에 array_prepend 추가
• [SPARK-42681] [SC-125149][SQL] ALTER TABLE ADD에 대한 정렬 제약 조건 완화|REPLACE 열 설명자
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] 캐시 구현, 유지, 비지속성 및 storageLevel
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] 지원되지 않는 JVM 특성에 대한 명확한 오류 메시지 제공
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] 그룹화된 맵 API 구현
• [SPARK-42892] [SC-126454][SQL] DataType에서 sameType 및 관련 메서드 이동
• [SPARK-42827] [SC-126126][CONNECT] Scala Connect 클라이언트에 대한 functions#array_prepend 지원
• [SPARK-42823] [SC-125987][SQL] spark-sql 셸은 초기화를 위해 다중 파트 네임스페이스를 지원합니다.
• [SPARK-42817] [SC-125960][CORE] ApplicationMaster에서 순서 섞기 서비스 이름을 한 번 로깅
• [SPARK-42786] [SC-126438][Connect] 형식화된 선택
• [SPARK-42800] [SC-125868][CONNECT][PYTHON] [ML] ml 함수 {array_to_vector, vector_to_array} 구현
• [SPARK-42052] [SC-126439][SQL] HiveSimpleUDF에 대한 Codegen 지원
• [SPARK-41233] [SC-126110][SQL][PYTHON] array_prepend 함수 추가
• [SPARK-42864] [SC-126268][ML][3.4] IsotonicRegression.PointsAccumulator 비공개로 만들기
• [SPARK-42876] [SC-126281][SQL] DataType의 physicalDataType은 private[sql]이어야 합니다.
• [SPARK-42101] [SC-125437][SQL] AQE 지원 InMemoryTableScanExec 만들기
• [SPARK-41290] [SC-124030][SQL] create/replace 테이블 문의 열에 대해 GENERATED ALWAYS AS 식을 지원합니다.
• [SPARK-42870] [SC-126220][CONNECT] toCatalystValue(을)를 connect-common(으)로 이동
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] returnType을 사용하도록 UserDefinedFunction 수정
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] 표준 시간대 및 지도 형식을 올바르게 처리하도록 toPanda 수정
• [SPARK-42757] [SC-125626][CONNECT] DataFrameReader에 대한 textFile 구현
• [SPARK-42803] [SC-126081][CORE][SQL][ML] getParameterTypes.length 대신 getParameterCount 함수 사용
• [SPARK-42833] [SC-126043][SQL] applyExtensions에서 SparkSession 리팩터링
• [SPARK-41765] 되돌리기 "[SC-123550][SQL] v1 쓰기 메트릭 끌어오기...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] DataFrame.registerTempTable 구현
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] Spark Connect에서 UserDefinedType 지원.
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] DataFrameReader/Writer.jdbc 구현
• [SPARK-42812] [SC-125867][CONNECT] AddArtifactsRequest protobuf 메시지에 client_type 추가
• [SPARK-42772] [SC-125860][SQL] true로 푸시다운에 대한 JDBC 옵션의 기본값 변경
• [SPARK-42771] [SC-125855][SQL] HiveGenericUDF 리팩터링
• [SPARK-25050] [SC-123839][SQL] Avro: 복잡한 공용 구조체 작성
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] pandas_udf에서 pyspark.sql.connect.functions 가져오기 사용
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation은(는) spark.shuffle.reduceLocality.enabled(을)를 존중해야 합니다.
• [SPARK-42480] [SC-125173][SQL] DROP 파티션 성능 향상
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] 순서 섞기 데이터가 안정적으로 저장되어 있는 경우 ShuffleDriverComponent에서 선언하도록 허용
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] DataFrame.mapInArrow 구현
• [SPARK-41765] [SC-123550][SQL] WriteFiles에 v1 쓰기 메트릭 풀아웃
• [SPARK-41171] [SC-124191][SQL] partitionSpec이 비어 있는 경우 창을 통해 창 제한을 유추 및 푸시다운합니다.
• [SPARK-42686] [SC-125292][CORE] TaskMemoryManager에서 디버그 메시지의 서식 연기
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] Python 클라이언트에서 proto 리터럴을 값으로 변환하는 도우미 함수
• [SPARK-42793] [SC-125627][CONNECT] connect 모듈에서 build_profile_flags 필요
• [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() 함수 추가
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame이 nullable이 아닌 스키마에서 작동하지 않음
• [SPARK-42733] [SC-125542][CONNECT][Followup] 경로 또는 테이블 없이 쓰기
• [SPARK-42777] [SC-125525][SQL] TimestampNTZ 카탈로그 통계를 계획 통계로 변환 지원
• [SPARK-42770] [SC-125558][CONNECT] Java 17 일별 테스트 GA 태스크 통과의 truncatedTo(ChronoUnit.MICROS)에 SQLImplicitsTestSuite 추가
• [SPARK-42752] [SC-125550][PYSPARK][SQL] 초기화 중에 PySpark 예외를 인쇄할 수 있도록 설정
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Spark Connect 세션 getActiveSession 메서드 지원
• [SPARK-42755] [SC-125442][CONNECT] 리터럴 값 변환을 connect-common(으)로 변환합니다.
• [SPARK-42747] [SC-125399][ML] LoR 및 AFT의 잘못된 내부 상태 수정
• [SPARK-42740] [SC-125439][SQL] 일부 기본 제공 언어에 대해 푸시다운 오프셋 또는 페이징이 유효하지 않은 버그 수정
• [SPARK-42745] [SC-125332][SQL] 향상된 AliasAwareOutputExpression은 DSv2에서 작동합니다.
• [SPARK-42743] [SC-125330][SQL] TimestampNTZ 열 분석 지원
• [SPARK-42721] [SC-125371][CONNECT] RPC 로깅 인터셉터
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] Dataset.semanticHash 구현
• [SPARK-42688] [SC-124922][CONNECT] Connect proto Request client_id 이름을 session_id
• [SPARK-42310] [SC-122792][SQL] _LEGACY_ERROR_TEMP_1289에 이름 할당
• [SPARK-42685] [SC-125339][CORE] Utils.bytesToString 루틴 최적화
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] LiteralExpression 지원 배열 매개 변수 만들기
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] 하위 쿼리 및 CTE에서 매개 변수가 있는 쿼리 지원
• [SPARK-42697] [SC-125189][WEBUI] 기간 필드에 대해 0이 아닌 총 가동 시간을 반환하도록 /api/v1/applications 수정
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] 경로 매개 변수 없이 작동하도록 DataFrameWriter.save 수정
• [SPARK-42376] [SC-124928][SS] 연산자 간에 워터마크 전파 소개
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] FrameMap proto를 MapPartitions로 이름 바꾸기
• [SPARK-37099] [SC-123542][SQL] 상위 K 계산을 최적화하기 위해 순위 기반 필터에 대한 창의 그룹 제한 도입
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] SparkConnectClient를 사용할 수 있을 때까지 UnparsedDataType 소개 및 DDL 문자열 구문 분석 지연
• [SPARK-42690] [SC-125193][CONNECT] Scala 클라이언트에 대한 CSV/JSON 구문 분석 함수 구현
• [SPARK-42709] [SC-125172][PYTHON] 사용 가능한 __file__ 가정을 제거합니다.
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] LEGACY_ERROR_TEMP에 이름 할당(2123|2125)
• [SPARK-42723] [SC-125183][SQL] TimestampType으로 파서 데이터 형식 json "timestamp_ltz" 지원
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema()는 스키마를 캐시하면 안 됩니다.
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] Java(집계) 사용자 정의 함수 등록
• [SPARK-42656] [SC-125177][CONNECT][Followup] spark-connect 스크립트 수정
• [SPARK-41516] [SC-123899][SQL] jdbc 언어가 테이블을 만드는 데 사용되는 쿼리를 재정의하도록 허용
• [SPARK-41725] [SC-124396][CONNECT] DF.sql()의 즉시 실행
• [SPARK-42687] [SC-124896][SS] 스트리밍에서 지원되지 않는 pivot 작업에 대한 더 나은 오류 메시지
• [SPARK-42676] [SC-124809][SS] 기본 FS가 다르게 설정된 경우에도 로컬 파일 시스템에 스트리밍 쿼리에 대한 임시 검사점 작성
• [SPARK-42303] [SC-122644][SQL] _LEGACY_ERROR_TEMP_1326에 이름 할당
• [SPARK-42553] [SC-124560][SQL] “간격” 후에 하나 이상의 시간 단위를 확인합니다.
• [SPARK-42649] [SC-124576][CORE] 타사 원본 파일 맨 위에서 표준 Apache 라이선스 헤더 제거
• [SPARK-42611] [SC-124395][SQL] 해상도 중에 내부 필드에 대한 char/varchar 길이 검사 삽입
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Spark Connect 열 API에 대한 오류 프레임워크로 마이그레이션합니다.
• [SPARK-42637] [SC-124522][CONNECT] SparkSession.stop() 추가
• [SPARK-42647] [SC-124647][PYTHON] numpy 사용되지 않는 형식 및 제거된 형식에 대한 별칭 변경
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver는 시작된 hive sessionState만 닫아야 합니다.
• [SPARK-42593] [SC-124405][PS] pandas 2.0에서 제거될 API를 더 이상 사용하지 않습니다
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] 중복된 열 이름을 처리하도록 createDataFrame 수정
• [SPARK-42569] [SC-124379][CONNECT] 지원되지 않는 세션 API에 대한 예외 throw
• [SPARK-42631] [SC-124526][CONNECT] Scala 클라이언트에서 사용자 지정 확장 지원
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] 기간을 지원하도록 createDataFrame 수정
• [SPARK-42572] [SC-124171][SQL][SS] StateStoreProvider.validateStateRowFormat에 대한 동작 수정

유지 관리 업데이트

Databricks Runtime 13.1 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)