Databricks Runtime 16.1(베타)

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 16.1에 대한 정보를 제공합니다.

동작 변경

VARIANT 데이터 형식은 더 이상 비교가 필요한 작업과 함께 사용할 수 없습니다.

DBR 16.1 이상에서는 VARIANT 데이터 형식을 포함하는 쿼리에서 다음 절 또는 연산자를 사용할 수 없습니다.

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

또한 다음 DataFrame 함수를 사용할 수 없습니다.

• df.dropDuplicates()
• df.repartition()

이러한 작업은 비교를 수행하고 VARIANT 데이터 형식을 사용하는 비교는 정의되지 않은 결과를 생성하며 Databricks에서 지원되지 않습니다. Azure Databricks 워크로드 또는 테이블에서 VARIANT 형식을 사용하는 경우 Databricks는 다음과 같은 변경 사항을 권장합니다.

• 쿼리 또는 식을 업데이트하여 VARIANT 값을 비VARIANT 데이터 형식으로 명시적으로 캐스팅합니다.
• 위의 작업과 함께 사용해야 하는 필드가 있는 경우 VARIANT 데이터 형식에서 해당 필드를 추출하고 비VARIANT 데이터 형식을 사용하여 저장합니다.

자세한 내용은 쿼리 변형 데이터참조하세요.

새로운 기능 및 개선 사항

공개 미리 보기의 Apache Spark에서 데이터 정렬 지원

이제 언어 인식, 대/소문자 구분하지 않는, 그리고 액세스 구분하지 않는 정렬 규칙을 STRING 열 및 식에 할당할 수 있습니다. 이러한 데이터 정렬은 문자열 비교, 정렬, 그룹화 작업 및 많은 문자열 함수에 사용됩니다. 정렬 순서참조.

공개 미리 보기의 Delta Lake에서 데이터 정렬 지원

이제 델타 테이블을 만들거나 변경할 때 열에 대한 데이터 정렬을 정의할 수 있습니다. Delta Lake대한 데이터 정렬 지원을 참조하세요.

공개 미리 보기로 제공되는 청소기의 간편 모드

이제 VACUUM table_name LITE 사용하여 델타 트랜잭션 로그의 메타데이터를 활용하는 더 가벼운 진공 작업을 수행할 수 있습니다. 전체 모드 대 라이트 모드 및 VACUUM를 참조하세요.

USE CATALOG을 IDENTIFIER 절 지원으로 매개변수화

Databricks Runtime 16.1 이상에서는 IDENTIFIER 절USE CATALOG 문에 대해 지원됩니다. 이 지원을 사용하면 문자열 변수 또는 매개 변수 표식을 기반으로 현재 카탈로그를 매개 변수화할 수 있습니다.

테이블 및 뷰에 대한 COMMENT ON COLUMN 지원

Databricks Runtime 16.1 이상에서 COMMENT ON 문은 보기 및 테이블 열에 대한 주석 변경을 지원합니다.

새 SQL 함수

Databricks Runtime 16.1 이상에서는 다음과 같은 새로운 기본 제공 SQL 함수를 사용할 수 있습니다.

• dayname(expr) 지정된 날짜의 요일에 대한 세 글자 영어 약어를 반환합니다.
• uniform(expr1, expr2 [,seed]) 지정된 숫자 범위 내에서 독립적이고 동일하게 분산된 값을 가진 임의 값을 반환합니다.
• randstr(length)length 알파 숫자 문자의 임의 문자열을 반환합니다.

더 많은 함수에 대한 명명된 매개 변수 호출

다음 함수는 Databricks Runtime 16.1 이상에서 명명된 매개 변수 호출을 지원합니다.

• variant_explode
• variant_explode_outer
• 인라인
• inline_outer
• posexplode
• posexplode_outer

REPAIR TABLE 명령의 SYNC METADATA 인수에 대한 Hive 메타스토어 지원

Databricks Runtime 16.1 이상에서는 REPAIR TABLE과 함께 SYNC METADATA 인수를 사용하여 Hive 메타스토어 관리 테이블의 메타데이터를 업데이트할 수 있습니다.

압축된 Apache Arrow 배치에 대한 향상된 데이터 무결성

Databricks Runtime 16.1 이상에서는 데이터 손상으로부터 추가로 보호하기 위해, 이제 모든 LZ4 압축된 Arrow 일괄 처리에 LZ4 콘텐츠 및 블록 체크섬이 포함됩니다. LZ4 프레임 형식 설명을 참조하세요.

Unity 카탈로그 공유 액세스 모드 컴퓨팅에서 Scala 메서드에 대한 지원 추가

Databricks Runtime 16.1 이상에서는 Unity 카탈로그 공유 액세스 모드 컴퓨팅에서 Dataset.flatMapGroups(), Dataset.mapGroups()및 DataStreamWriter.foreach()같은 Scala 메서드에 대한 지원이 추가됩니다.

기본 제공 Oracle JDBC 드라이버

Databricks Runtime 16.1 이상에서는 Oracle JDBC 드라이버가 Azure Databricks에 기본 제공됩니다. DriverManager통해 고객이 업로드한 JDBC 드라이버 JAR을 사용하는 경우 사용자 지정 JAR을 명시적으로 사용하도록 스크립트를 다시 작성해야 합니다. 그렇지 않으면 기본 제공 드라이버가 사용됩니다.

경로로 액세스된 델타 테이블에 대한 자세한 오류

이제 경로를 사용하여 액세스하는 델타 테이블에 대한 새로운 오류 메시지 환경을 사용할 수 있습니다. 이제 모든 예외가 사용자에게 전달됩니다. 이제 기본 파일을 델타 테이블로 읽을 수 없을 때 예외 DELTA_MISSING_DELTA_TABLE이 예약됩니다.

기타 변경 내용

cloudFiles 구조적 스트리밍 원본에 대한 이름 변경된 오류 코드

이 릴리스에는 다음 오류 코드의 이름을 바꾸는 변경 내용이 포함되어 있습니다.

• _LEGACY_ERROR_TEMP_DBR_0143가 CF_INCORRECT_STREAM_USAGE으로 이름이 변경되었습니다.
• _LEGACY_ERROR_TEMP_DBR_0260가 CF_INCORRECT_BATCH_USAGE 으로 이름이 변경되었습니다.

버그 수정

이제 중첩 형식이 NULL 제약 조건을 적절하게 수락합니다.

이 릴리스에서는 중첩된 형식의 일부 델타 생성 열에 영향을 주는 버그(예: STRUCT)를 수정합니다. 이러한 열은 중첩 필드의 NULL 또는 NOT NULL 제약 조건에 따라 식을 잘못 거부하는 경우가 있습니다. 이 문제는 해결되었습니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • ipyflow-core 0.0.198에서 0.0.201로
  • pyccolo 0.0.52에서 0.0.65로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리:
  • io.delta.delta-sharing-client_2.12 버전을 1.2.0에서 1.2.2로 업데이트합니다.
  • org.lz4.lz4-java from 1.8.0 to 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider에서 1.6.2-linux-x86_64에서 2.4.1-linux-x86_64로

Apache Spark

Databricks Runtime 16.1에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 16.0포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-50482] [SC-182879][CORE] 더 이상 사용되지 않는 no-op spark.shuffle.spill 구성
• [SPARK-50032] [SC-182706][SQL][16.x] 정규화된 데이터 정렬 이름 사용 허용
• [SPARK-50467] [SC-182823][PYTHON] 기본 제공 함수에 대한 __all__ 추가
• [SPARK-48898] [SC-182828][SQL] 변이 파쇄 버그 수정
• [SPARK-50441] [SC-182668][SQL] CTE를 참조할 때 작동하지 않는 매개변수화된 식별자 수정
• [SPARK-50446] [SC-182639][PYTHON] 화살표 최적화 Python UDF의 동시 수준
• [SPARK-50430] [SC-182536][CORE] 수동 복제 대신 표준 Properties.clone 사용
• [SPARK-50471] [SC-182790][PYTHON] Apache Arrow 기반 Python 데이터 소스 작성기 지원
• [SPARK-50466] [SC-182791][PYTHON] 문자열 함수에 대한 문서 문자열 개선 - 첫 번째 부분
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] 새 타이머 API 및 초기 상태 API와 타이머 통합
• [SPARK-50437] [SC-182586][SS] TransformWithStateExec에서 역직렬화기를 생성하는 오버헤드 줄이기
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] 체인에 대한 지원 추가...
• [SPARK-49294] [SC-182730][UI] 셔플 쓰기 시간 확인란에 대한 너비 속성을 추가합니다.
• [SPARK-50426] [SC-182540][PYTHON] 기본 제공 또는 Java 데이터 원본을 사용할 때 정적 Python 데이터 원본 조회 방지
• [SPARK-48356] [SC-182603][SQL] FOR 문 지원
• [SPARK-50333] [SC-182136][SQL] CsvToStructs에 대한 Codegen 지원 (Invoke & RuntimeReplaceable 사용)
• [SPARK-50285] [SC-182575] StagedTable 인스턴스에 대한 커밋에 대한 측정 지표
• [SPARK-50081] [SC-182344][SQL] XPath*Codegen 지원(& RuntimeReplaceable 호출)
• [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates 리팩터링
• [SPARK-50067] [SC-179648][SQL] SchemaOfCsv에 대한 코드 생성 지원(Invoke & RuntimeReplaceable 사용)
• [SPARK-49873] [SC-178577][SQL] 오류 테스트 시 병합 실패 수정
• [SPARK-50118] [SC-181259][CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-49873] [SC-178577][SQL] _LEGACY_ERROR_TEMP_1325에 적절한 오류 클래스를 할당하기
• [SPARK-50381] [SC-182197][CORE] 지원 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] DAYNAME 함수 추가
• [SPARK-50270] [SC-181179][SS][PYTHON] TransformWithStateInPandas에 대한 사용자 지정 상태 메트릭 추가
• [SPARK-50118] 되돌리기 "[SC-181259][CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] 테이블 값 함수에 대한 DataFrame API 추가
• [SPARK-49470] [SC-175736][UI] dataTables 스타일시트 및 javascripts를 1.13.5에서 1.13.11로 업데이트
• [SPARK-50235] 되돌리기 "[SC-180786][SQL] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리"
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame 트리거가 Config RPC를 최대 한 번 실행하도록 하기
• [SPARK-50387] [SC-182441][SS] 타이머 만료 및 관련 테스트에 대한 업데이트 조건
• [SPARK-50287] [SC-182400][SQL] FileTable에서 WriteBuilder 생성 시 테이블 및 관계의 옵션 병합
• [SPARK-50066] [SC-181484][SQL] SchemaOfXml 코드 생성 지원 (Invoke & RuntimeReplaceable 사용)
• [SPARK-50092] [SC-181568][SQL] 다차원 배열에 대한 PostgreSQL 커넥터 동작 수정
• [SPARK-50318] [SC-181641][SQL] IntervalUtils.makeYearMonthInterval을 추가하여 해석된 코드와 codegen 간에 코드 중복 제거
• [SPARK-50312] [SC-181646][SQL] SparkThriftServer createServer 매개 변수 전달 오류(kerberos가 true인 경우)
• [SPARK-50246] [SC-181468][SQL] 적절한 오류 조건을 할당합니다: _LEGACY_ERROR_TEMP_2167INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] json/xml에서 지정된 스키마의 데이터 정렬을 변경하지 않아야 합니다.
• [SPARK-50250] [SC-181466][SQL] _LEGACY_ERROR_TEMP_2075에 적절한 오류 조건 할당: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] _LEGACY_ERROR_TEMP_2058에 적절한 오류 조건을 할당: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-50235] [SC-180786][SQL] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리
• [SPARK-50156] [SC-180781][SQL] _LEGACY_ERROR_TEMP_2113를 UNRECOGNIZED_STATISTIC에 통합하기
• [SPARK-50069] [SC-180163][SQL] _LEGACY_ERROR_TEMP_0028를 UNSUPPORTED_FROM_TO_EXPRESSION에 통합
• [SPARK-50154] [SC-180663][SQL] _LEGACY_ERROR_TEMP_0043에 적절한 오류 조건 할당: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] StructsToJsonCodegen 지원(to_json)
• [SPARK-50055] [SC-180978][SQL] TryMakeInterval 대체 추가
• [SPARK-50397] [SC-182367][CORE] 더 이상 사용되지 않는 --ip 및 -i 인수를 Master/Worker에서 제거
• [SPARK-50238] [SC-181434][PYTHON] PySpark UDF/UDTF/UDAF 및 Python UC UDF에서 Variant 지원 추가
• [SPARK-50079] [SC-179830][SQL] _LEGACY_ERROR_TEMP_2013적절한 오류 조건을 할당: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][예제] submit-sql.sh REST API 예제 추가
• [SPARK-49966] [SC-179501][SQL] Invoke 사용하여 JsonToStructs구현(from_json)
• [SPARK-50302] [SC-182518][SS] 보조 인덱스 크기가 TTL을 사용하여 TransformWithState 상태 저장 변수의 기본 인덱스 크기와 같은지 확인
• [SPARK-50301] [SC-182241][SS][16.x] TransformWithState 메트릭이 직관적인 의미를 반영하도록 만드세요.
• [SPARK-50175] [SC-182140][SQL] 데이터 정렬 우선 순위 계산 변경
• [SPARK-50148] [SC-180292][SQL] throw 예외를 선언하는 메서드와 StaticInvoke 호환되도록 설정
• [SPARK-50280] [SC-181214][PYTHON] 리팩터링 결과 정렬 및 빈 bin 채우기가 compute_hist
• [SPARK-50190] [SC-182458][PYTHON] 히스토그램에서 Numpy의 직접 종속성 제거
• [SPARK-50382] [SC-182368][CONNECT] Spark Connect를 사용하여/확장하는 애플리케이션 개발에 대한 일반 정보를 위한 설명서 추가
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Python Connect 클라이언트용 threadpool에서 클래스 속성 사용 방지
• [SPARK-49566] [SC-182239][SQL] EXTEND 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-50036] [SC-179533][CORE][PYTHON] REPL 셸의 컨텍스트에 SPARK_LOG_SCHEMA 포함
• ko-KR: [SPARK-49859] [SC-178259][CONNECT] multiprocessing.ThreadPool을 ThreadPoolExecutor로 대체합니다.
• [SPARK-50141] [SC-182378][PYTHON] lpad 및 rpad가 열 형식 인수를 수락할 수 있도록 합니다.
• [SPARK-50379] [SC-182142][SQL] WindowExecBase에서 DayTimeIntevalType 처리 수정
• [SPARK-49954] [SC-179110][SQL] SchemaOfJson에 대한 Codegen 지원(& RuntimeReplaceable 호출)
• [SPARK-50398] [SC-182341][CORE] Spark 스크립트에서 0를 사용할 때 ExitCode --help를 사용하세요.
• [SPARK-50377] [SC-182238][SQL] 접이식 RuntimeReplaceable 평가 허용
• [SPARK-50241] [SC-181444][SQL] NullIntolerant Mixin을 Expression.nullIntolerant 메서드로 바꾸기
• [SPARK-50084] [SC-179672][SQL] _LEGACY_ERROR_TEMP_3168의 적절한 오류 조건을 할당: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] _LEGACY_ERROR_TEMP_0038오류 조건을 적절하게 할당: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] _LEGACY_ERROR_TEMP_1049적절한 오류 조건을 할당하기: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] _LEGACY_ERROR_TEMP_0039를 UNSUPPORTED_SQL_STATEMENT에 통합하다
• [SPARK-50378] [SC-182235][SS] transformWithState에서 절차 초기 상태의 소요 시간 추적을 위한 사용자 지정 메트릭 추가
• [SPARK-50029] [SC-179531][SQL] StaticInvoke를 반환하는 메서드와 호환되도록 Any
• [SPARK-49990] [SC-179497][SQL] randStr 성능을 향상시키다
• ko-KR: [SPARK-50048] [SC-179528][SQL] _LEGACY_ERROR_TEMP_2114에 적절한 오류 조건을 할당: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] _LEGACY_ERROR_TEMP_2104을(를) INTERNAL_ERROR으로 변환
• [SPARK-49665] [SC-180054][SQL] 문자열 함수에 대한 정렬 순서 지원 조정
• [SPARK-48549] [SC-176472][SQL][PYTHON] SQL 함수 sentences 개선
• [SPARK-50022] [SC-179503][CORE][UI] UI가 비활성화된 경우 앱 UI 링크를 숨기도록 MasterPage 수정
• [SPARK-50087] [SC-182152] MS SQL Server 및 향후 커넥터용 CASE WHEN에서 불린 식의 보다 견고한 처리
• [SPARK-49991] [SC-179481][SQL] HadoopMapReduceCommitProtocol이 'mapreduce.output.basename'을 존중하여 파일 이름을 생성하도록 합니다.
• [SPARK-50038] [SC-179521][SQL] _LEGACY_ERROR_TEMP_0008에 적절한 오류 조건 할당:MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] _LEGACY_ERROR_TEMP_1156적절한 오류 조건 할당: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] UI가 비활성화되었을 때 앱 UI 링크를 숨기도록 ApplicationPage 수정
• [SPARK-49911] [SC-179111][SQL] 바이너리 동등성 지원 의미 체계 수정
• [SPARK-50025] [SC-179496][SQL] _LEGACY_ERROR_TEMP_1253를 EXPECT_VIEW_NOT_TABLE에 통합
• [SPARK-49829] [SC-179480][SS] 스트림 간 조인의 상태 저장소에 입력을 추가하는 최적화 버그 수정
• [SPARK-50004] [SC-179499][SQL] _LEGACY_ERROR_TEMP_3327를 FIELD_NOT_FOUND에 통합합니다.
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator는 ConstantFolding의 계약을 준수해야 합니다.
• [SPARK-50340] [SC-181859][SQL] INSERT 입력 쿼리에서 UDT 풀기
• [SPARK-50237] [SC-181660][SQL] _LEGACY_ERROR_TEMP_2138-9오류 조건을 적절하게 할당하기: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] AQE 최적화 후 출력 열 순서 변경 문제 해결
• [SPARK-49773] [SC-178369][SQL] 잘못된 표준 시간대에서 발생한 처리되지 않은 make_timestamp() Java 예외
• [SPARK-49977] [SC-179265][SQL] 스택 기반 반복 계산을 사용하여 심층 식 트리에 많은 Scala List 개체를 만들지 않도록 방지
• [SPARK-50153] [SC-181591][SQL] name를 RuleExecutor에 추가하여 인쇄할 때 QueryExecutionMetrics의 로그를 더 명확하게 만들기
• [SPARK-50320] [SC-181668][CORE] --remote 경고를 제거하여 experimental 공식 옵션으로 만들기
• [SPARK-49909] [SC-179492] 되돌리기 “[SQL] 일부 식의 예쁜 이름 수정”
• [SPARK-50330] [SC-180720][SC-181764][SQL] 정렬 및 창 노드에 힌트 추가
• [SPARK-50364] [SC-182003][SQL] Row.jsonValue에서 LocalDateTime 형식에 대한 serialization 구현
• [SPARK-50016] [SC-182139][SQL] _LEGACY_ERROR_TEMP_2067적절한 오류 조건을 할당하십시오: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] TransformWithStateInPandas에서 deleteIfExists를 지원합니다.
• [SPARK-49757] [SC-177824][SQL] SET CATALOG 문 내 IDENTIFIER 식 지원
• [SPARK-50315] [SC-181886][SQL] V1Fallback 쓰기에 대한 사용자 지정 메트릭 지원
• [SPARK-42838] [SC-181509][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] ResolveSQLOnFile 재구성
• [SPARK-48344] [SC-181967][SQL] 실행 프레임워크 추가를 위한 SQL 스크립팅 준비
• [SPARK-49345] [SC-174786][CONNECT] 현재 실행 중인 Spark 세션을 사용해야 합니다.
• [SPARK-49925] [SC-178882][SQL] 정렬된 문자열을 사용하여 순서에 대한 테스트 추가
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] PySpark 플로팅 오류 메시지 및 임포트 개선
• [SPARK-49368] [SC-174999][CONNECT] protobuf lite 클래스에 직접 액세스하지 마십시오.
• [SPARK-50056] [SC-181378][SQL] ParseUrl에 대한 Codegen 지원(& RuntimeReplaceable 호출)
• [SPARK-49601] [SC-180770][SS][PYTHON] TransformWithStateInPandas에 대한 초기 상태 처리 지원
• [SPARK-49908] [SC-178768][SQL] _LEGACY_ERROR_TEMP_0044에 적절한 오류 조건을 할당하기
• [SPARK-50144] [SC-180307][SS] DSv1 스트리밍 원본을 사용하여 메트릭 계산의 제한 사항 해결
• [SPARK-49874] [SC-178303][SQL] trim 및 ltrim 데이터 정렬 지정자를 제거합니다.
• [SPARK-49513] [SC-180339][SS] transformWithStateInPandas API에서 타이머에 대한 지원 추가
• [SPARK-49119] [SC-175607][SQL] v1과 v2 간의 구문 show columns 불일치 수정
• [SPARK-49206] [SC-173704][CORE][UI] Master Environment Variables에 EnvironmentPage 테이블 추가
• [SPARK-49934] [SC-179581][SQL] 리터럴을 사용하여 데이터 정렬된 맵에 액세스하기 위한 암시적 캐스트 추가
• [SPARK-50049] [SC-181659][SQL] 사용자 지정 드라이버 메트릭이 v2 테이블에 작성되도록 지원
• [SPARK-50171] [SC-180295][PYTHON] KDE 플롯에 대해 numpy를 옵션으로 설정
• [SPARK-49962] [SC-179320][SQL] AbstractStringTypes 클래스 계층 구조 간소화
• [SPARK-50226] [SC-181483][SQL] Java 예외를 처리하기 위한 MakeDTInterval 및 MakeYMInterval 수정
• [SPARK-48775] [SC-170801][SQL][STS] SQLContext를 STS의 SparkSession으로 바꾸기
• [SPARK-49015] [SC-175688][CORE] Connect Server는 존중해야 합니다 spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] 단일 패스 분석기에서 다시 사용할 함수 해상도 계산
• [SPARK-49995] [SC-180762][SQL] 더 많은 TVF에 명명된 인수 지원 추가
• [SPARK-49268] [SC-174903][CORE] SHS 기록 공급자에서 IO 예외를 기록하십시오.
• [SPARK-48123] [SC-164989][Core] 구조적 로그 쿼리를 위한 상수 테이블 스키마 제공
• [SPARK-49217] [SC-174904][CORE] UnsafeShuffleWriter에서 별도의 버퍼 크기 구성 지원
• [SPARK-50325] [SC-181664][SQL][16.x] 단일 패스 분석기에서 다시 사용할 별칭 확인 요소
• [SPARK-50322] [SC-181665][SQL] 하위 쿼리에서 매개 변수가 있는 식별자 수정
• [SPARK-48400] [SC-175283][CORE] PrometheusServlet을/를 DeveloperApi(으)로 승진시키다
• [SPARK-50118] 되돌리기 "[SC-181259][CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Spark Connect에서 Python 3.13 지원
• [SPARK-50152] [SC-181264][SS] 상태 데이터 원본 판독기에서 handleInitialState 지원
• [SPARK-50260] [SC-181271][CONNECT] Spark C 리팩터링 및 최적화...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: logInfo를 변수와 함께 구조적 로깅 프레임워크로 마이그레이션
• [SPARK-49312] [SC-174672][PYTHON] assertSchemaEqual에 대한 오류 메시지를 개선합니다.
• [SPARK-49439] [SC-175236][SQL] FromProtobuf & ToProtobuf 식의 예쁜 이름 수정
• [SPARK-50092] [ES-1258521] 다차원 배열에 대한 PostgreSQL 커넥터 동작 수정
• [SPARK-49913] [SC-181565][SQL] 중첩된 레이블 범위에서 고유한 레이블 이름에 대한 확인 추가
• [SPARK-49563] [SC-181465][SQL] WINDOW 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49661] [SC-179021][SQL] 트림 정렬 해싱 및 비교를 구현합니다.
• [SPARK-38912] [SC-181543][PYTHON] classmethod 및 속성과 관련된 주석 제거
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB 강화] RocksDB SST 파일 매핑 관리 개선 및 기존 스냅샷으로 동일한 버전 다시 로드 관련 문제 해결
• [SPARK-49002] 되돌리기 "[SC-172846][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY에서 잘못된 위치를 일관되게 처리"
• [SPARK-50290] [SC-181453][SQL] DataFrameQueryContext 만들기를 사용하지 않도록 설정하는 플래그 추가
• [SPARK-49668] [SC-178268][SQL] 트림 데이터 정렬에 대한 정렬 키 지원 구현
• [SPARK-50262] [SC-181193][SQL] 데이터 정렬을 변경하는 동안 복합 타입 지정 금지
• [SPARK-48898] [SC-181435][SQL] Variant 변형 분해 함수 추가
• [SPARK-48273] [SC-181381]Revert "[SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
• [SPARK-50222] [SC-180706][CORE] 지원 spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] 지원 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] IsValidUTF8, ValidateUTF8, TryValidateUTF8 및 MakeValidUTF8의 대체는 NullIntolerant여야 합니다.
• [SPARK-50247] [SC-180962][CORE] BLOCK_MANAGER_REREGISTRATION_FAILED을 ExecutorExitCode로 정의
• [SPARK-50282] [SC-181221][ML] TargetEncoderModel.transform 간소화
• [SPARK-50112] [SC-180763][SQL] TransformWithState 연산자가 Avro 인코딩을 사용하도록 허용
• [SPARK-50267] [SC-181180][ML] DataFrame API를 사용하여 TargetEncoder.fit 개선
• [SPARK-37178] [SC-180939][ML] ml.feature에 대상 인코딩 추가
• [SPARK-50118] [SC-181259][CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] np.int8로 lit(ndarray)가 numpy 데이터 형식을 따르도록 만듭니다.
• [SPARK-50256] [SC-181048][SQL] 각 최적화 규칙 후에 논리 계획이 해결되지 않는지 확인하는 간단한 유효성 검사 추가
• [SPARK-50196] [SC-180932][CONNECT] 적절한 컨텍스트를 사용하도록 Python 오류 컨텍스트 수정
• [SPARK-50274] [SC-181181][CORE] DirectByteBufferOutputStream의 사용 후 닫기 방지 보호
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] box, kde 및 hist 도표에서 'column' 매개변수 선택적 지원
• [SPARK-50273] [SC-181178][SS] RocksDB 잠금 획득/릴리스 사례에 대한 로깅 개선
• [SPARK-50033] [SC-180720][SC-180659][SQL] logical.Aggregate() 노드에 힌트를 추가합니다.
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] 완료 수신기로 인해 RocksDB 추가 acquireLock 릴리스 수정
• [SPARK-50253] [SC-180969][SS] Stream-Stream 조인은 지원되지 않는 경우 검사점 ID를 가져오지 않아야 합니다.
• [SPARK-50255] [SC-180964][PYTHON] compute_hist 불필요한 캐스팅을 방지하기 위한 조치
• [SPARK-50228] [SC-180780][SQL] RewriteCollationJoin 규칙을 FinishAnalysis로 이동합니다.
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] 상자 수형도에 대한 kwargs에 "정밀도"가 포함되도록 조정합니다.
• [SPARK-49637] [SC-180160][SQL] INVALID_FRACTION_OF_SECOND에 대한 변경된 오류 메시지
• [SPARK-49530] [SC-180658][PYTHON] 데이터 프레임에서 활성 세션 가져오기
• [SPARK-50195] [SC-180654][CORE] StandaloneRestServer가 spark.app.name를 SparkSubmit에 제대로 전파하도록 수정
• [SPARK-50229] [SC-180773] 논리 계획 중에 만든 AttributeReference 개체의 수명을 줄여 광범위한 스키마에 대한 드라이버의 메모리 사용량을 줄입니다.
• [SPARK-50231] [SC-180815][PYTHON] 함수를 instr 열 substring 수락합니다.
• [SPARK-49854] [SC-179812][16.x][SQL] 세션을 복제할 때 아티팩트 매니저 복제
• [SPARK-50028] [SC-180699][CONNECT] Spark Connect 서버 수신기의 전역 잠금을 세분화된 잠금으로 바꾸기
• [SPARK-49615] [SC-180672] [ML] "spark.sql.caseSensitive" 구성을 준수하는 모든 ML 기능 변환기 데이터 세트 스키마 유효성 검사를 수행합니다.
• [SPARK-50219] [SC-180694][SQL] 도우미 메서드를 단일 패스 해석기에서 사용할 수 있도록 ApplyCharTypePadding 리팩터링
• [SPARK-50077] [SC-179827][SQL] 기본 전체 매개 변수 패턴을 방지하는 데 도움이 되도록 LogicalRelation에 대한 새 패턴 개체 소개
• [SPARK-50128] [Backport][16x][SC-180677][SS] Scala에서 암시적 인코더를 사용하여 상태 저장 프로세서 핸들 API 추가
• [SPARK-50061] [SC-179961][SQL] 정렬된 열에 대해 분석 테이블 기능 활성화
• [SPARK-49993] [SC-180084][SQL] 합계 및 평균에 대한 오류 메시지 개선
• [SPARK-49638] [SC-179665][SQL] INVALID_URL에서 ANSI 구성 제안 제거
• [SPARK-50204] [SC-180660][SQL] HiveTableRelation 읽기 경로 확인을 고려합니다.
• [SPARK-50193] [SC-180651][SS] 시간 모드 유효성 검사에 대한 예외 처리 수정
• [SPARK-50179] [SC-180342][CORE] REST API에서 spark.app.name 속성을 선택 사항으로 만들기
• [SPARK-50068] [SC-180300][SQL] TypeCoercion와 AnsiTypeCoercion을 리팩터링하여 단일 노드 변환을 구분하다.
• [SPARK-49411] [SC-179483][SS] 드라이버와 상태 저장 연산자 간에 상태 저장소의 체크포인트 ID 정보 교환
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET은 데이터 순서를 유지해야 합니다.
• [SPARK-49506] [SC-180165][SQL] 접을 수 있는 배열에 ArrayBinarySearch 최적화
• [SPARK-50097] [SC-179908][SQL] _LEGACY_ERROR_TEMP_1248에 적절한 오류 조건을 할당: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] try_make_timestamp(_ltz 및 _ntz) 및 관련 테스트 추가
• [SPARK-50024] 되돌리기 "[SC-179515][PYTHON][CONNECT] 클라이언트에서 경고 모듈 대신 로거를 사용하도록 전환"
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] 히스토그램 플롯을 지원함
• [SPARK-50015] [SC-179964][SQL] _LEGACY_ERROR_TEMP_1125에 적절한 오류 조건을 설정: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] scala 및 java 파일을 기본 폴더로 이동
• [SPARK-49980] [SC-180353][CORE][SQL] 취소된 작업의 중단으로 인한 잠재적인 파일 스트림 누수 수정
• [SPARK-49010] [SC-172304][SQL][XML] XML 스키마 추론의 대소문자 구분에 대한 단위 테스트 추가
• [SPARK-50024] [SC-179515][PYTHON][CONNECT] 클라이언트의 경고 모듈 대신 로거를 사용하도록 전환
• [SPARK-49562] [SC-180211][SQL] 집계를 위한 SQL 파이프 구문 추가
• [SPARK-49663] [SC-180239][SQL] 데이터 정렬 식에서 RTRIM 제안 사용
• [SPARK-48965] [SC-175926][SQL] Dataset#toJSON 올바른 스키마 사용
• [SPARK-48493] [SC-175893][PYTHON] 성능 향상을 위해 Arrow Batch를 직접 지원하여 Python 데이터 소스 리더를 개선
• [SPARK-49734] [SC-180226][PYTHON] 함수 seed 대한 shuffle 인수 추가
• [SPARK-50174] [16.x][SC-180253][SQL] UnresolvedCatalogRelation 해결을 고려합니다.
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] KDE/밀도 플롯 지원
• [SPARK-49805] [SC-180218][SQL][ML] private[xxx] 함수 function.scala에서 제거
• [SPARK-49808] [SC-179490][SQL] lazy vals로 인한 하위 쿼리 실행의 교착 상태 수정
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] 지원 상자 그림
• [SPARK-50008] [SC-179290][PS][CONNECT] attach_distributed_sequence_column 불필요한 작업을 방지하기 위한 조치
• [SPARK-49767] [SC-180161][PS][CONNECT] 내부 함수 호출 리팩터링
• [SPARK-49683] [SC-178341][SQL] 블록 트리밍 데이터 정렬
• [SPARK-49939] [SC-178941][SQL] 'json_object_keys'에 대한 코드 생성 지원(& RuntimeReplaceable 호출)
• [SPARK-50031] [SC-179582][SQL] TryParseUrl 식 추가
• [SPARK-49766] [SC-178933][SQL] json_array_length Codegen 지원(Invoke & RuntimeReplaceable기준)
• [SPARK-50046] [SC-180026][SS] EventTimeWatermark 노드의 안정적인 순서를 사용하여 워터마크 계산
• [SPARK-49540] [SC-180145][PS] distributed_sequence_id의 사용을 통합하다.
• [SPARK-50060] [SC-179965][SQL] TypeCoercion과 AnsiTypeCoercion에서 서로 다른 정렬된 형식 간의 변환을 사용하지 않도록 설정
• [SPARK-49004] [SC-173244][CONNECT] Column API 내부 함수에 별도의 레지스트리 사용
• [SPARK-49811] [SC-177888][SQL]StringTypeAnyCollation 이름 바꾸기
• [SPARK-49202] [SC-180059][PS] 히스토그램에 ArrayBinarySearch 적용
• [SPARK-49203] [SC-175734][SQL] java.util.Arrays.binarySearch 식 추가
• [SPARK-50034] [SC-179816][CORE] 치명적인 오류를 잡히지 않은 예외로 잘못 보고하는 문제 수정 SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] ICU를 사용하는 데이터 정렬에서는 사용된 ICU 라이브러리의 버전을 명시해야 합니다.
• [SPARK-49985] [SC-179644][SQL] Variant에서 간격 유형에 대한 지원 제거
• [SPARK-49103] [SC-173066][CORE] 지원 spark.master.rest.filters
• [SPARK-50090] [SC-179819] ResolveBinaryArithmetic을 별도의 단일 노드 변환으로 리팩터링
• [SPARK-49902] [SC-179650][SQL] RegExpReplace 근본적인 런타임 오류 포착
• [SPARK-49126] [SC-173342][CORE] spark.history.ui.maxApplications 구성 정의를 History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] 줄 번호가 없는 편집기에서 메모리 프로파일러를 사용할 때 더 나은 오류 메시지
• [SPARK-50062] [SC-179835][SQL] InSet별 데이터 정렬 지원
• [SPARK-50035] [Backport][16x][SC-179530][SS] 상태 저장 프로세서의 명시적 handleExpiredTimer 함수 부분에 대한 지원 추가
• [SPARK-49982] [SC-179814][SQL] InMemoryRelation에서 음수 캐싱 수정
• [SPARK-49082] [SC-173350][SQL] AvroDeserializer 형식 승격 확대
• [SPARK-50088] [SC-179680][SQL] 리팩터링 UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] 상태 저장 프로세서에 사용되는 지도 및 목록 형식에 대한 읽기 변경 피드에 대한 지원 추가
• [SPARK-49846] [SC-179506][SS] transformWithState 연산자와 함께 사용할 numUpdatedStateRows 및 numRemovedStateRows 메트릭 추가
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] lit가 str 및 bool 타입의 numpy ndarray를 허용하도록 수정.
• [SPARK-49821] [SC-179527][SS][PYTHON] TransformWithStateInPandas에 대한 MapState 및 TTL 지원 구현
• [SPARK-49558] [SC-179485][SQL] LIMIT/OFFSET 및 ORDER/SORT/CLUSTER/DISTRIBUTE BY에 대한 SQL 파이프 구문 추가
• [SPARK-48144] [SC-165725][LC-4080][SQL] 셔플 조인 힌트를 준수하도록 canPlanAsBroadcastHashJoin 수정
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] lit 빈 numpy ndarray와 함께 작동하게 합니다.
• [SPARK-50018] [SC-179488][SQL] AbstractStringType을 직렬화 가능하게 하기
• [SPARK-50016] [SC-179491][SQL] 명시적 데이터 정렬 불일치 오류 개선
• [SPARK-50010] [SC-179487][SQL] 암시적 데이터 정렬 불일치 오류 상세 설명
• [SPARK-48749] [SC-170116][SQL] UnaryPositive 간소화 및 RuntimeReplaceable을 사용하여 촉매 규칙 제거
• [SPARK-49857] [SC-178576][SQL] Dataset localCheckpoint API에 StorageLevel 추가
• [SPARK-50058] [SC-179538][SQL] 나중에 단일 패스 분석기 테스트에 사용할 수 있도록 계획 정규화 함수를 분리합니다.
• [SPARK-50052] [SC-179535][PYTHON][16.X] NumpyArrayConverter가 빈 str ndarray를 지원하도록 수정합니다.
• [SPARK-47261] [SC-173665][SQL] 오류 _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 및 _LEGACY_ERROR_TEMP_1174에 대한 더 나은 이름 할당
• [SPARK-49147] [SC-173471][CORE] DeveloperApi 인터페이스로 KryoRegistrator 표시하다
• [SPARK-48949] [SC-173070][SQL] SPJ: 런타임 파티션 필터링
• [SPARK-50044] [SC-179523][PYTHON] 여러 수학 함수의 docstring 구체화
• [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver에 명시적 생성자를 정의하기
• [SPARK-50037] [SQL] AttributeSeq.resolve(…) 메소드 리팩터링
• [SPARK-48782] [SC-177056][SQL] 카탈로그에서 프로시저 실행에 대한 지원 추가
• [SPARK-49057] [SC-173081][SQL] 쿼리 단계를 제출할 때 AQE 루프를 차단하지 마세요.
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] 식별자 열 SQL 문법 추가
• [SPARK-48773] [SC-170773] 구성 작성기 프레임워크를 사용하여 "spark.default.parallelism"을 문서화하기.
• [SPARK-48735] [SC-169810][SQL] BIN 함수의 성능 향상
• [SPARK-48900] [SC-172433] 작업/단계 취소를 위한 모든 내부 호출에 reason 필드 추가
• [SPARK-48488] [SC-167605][CORE] log[info|warning|error] 내의 SparkSubmit 메서드 수정
• [SPARK-48708] [SC-169809][CORE] KryoSerializer 불필요한 유형 등록 3개 제거
• [SPARK-49958] [SC-179312][PYTHON] 문자열 유효성 검사 함수용 Python API
• [SPARK-49979] [SC-179264][SQL] 실패한 계획에서 두 번 데이터 수집을 실행할 때 AQE가 멈추는 문제 해결
• [SPARK-48729] [SC-169795][SQL] SQL 함수를 나타내는 UserDefinedFunction 인터페이스 추가
• [SPARK-49997] [SC-179279][SQL] _LEGACY_ERROR_TEMP_2165를 MALFORMED_RECORD_IN_PARSING에 통합하다
• [SPARK-49259] [SC-179271][SS]Kafka 읽기 중 크기 기반 파티션 생성
• [SPARK-48129] [SC-165006][PYTHON] 구조적 로그 쿼리를 위해 PySpark에 상수 테이블 스키마 제공
• [SPARK-49951] [SC-179259][SQL] LEGACY_ERROR_TEMP대한 적절한 오류 조건 할당(1099|3085)
• [SPARK-49971] [SC-179278][SQL] _LEGACY_ERROR_TEMP_1097에 적절한 오류 조건을 할당하다
• [SPARK-49998] [SC-179277][SQL] _LEGACY_ERROR_TEMP_1252를 EXPECT_TABLE_NOT_VIEW에 통합하다
• [SPARK-49876] [SC-179262][CONNECT] Spark Connect 서비스에서 전역 잠금 제거
• [SPARK-49957] [SC-179202][SQL] 문자열 유효성 검사 함수용 Scala API
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener는 spark.interrupt()의 영향을 받지 않아야 합니다.
• [SPARK-49643] [SC-179239][SQL] _LEGACY_ERROR_TEMP_2042를 ARITHMETIC_OVERFLOW로 병합
• [SPARK-49959] [SC-179109][SQL] 올바른 오프셋에서 null을 읽도록 ColumnarArray.copy()를 수정합니다.
• [SPARK-49956] 되돌리기 "[SC-179070] collect_set 식을 사용한 데이터 정렬 사용 안 함"
• [SPARK-49987] [SC-179180][SQL] seedExpression에서 randstr가 폴딩할 수 없는 경우 오류 메시지 수정
• [SPARK-49948] [SC-179158][PS][CONNECT] Spark 상자 플롯에서 pandas에 매개 변수 "precision" 추가
• [SPARK-49970] [SC-179167][SQL] _LEGACY_ERROR_TEMP_2069 대한 적절한 오류 조건 할당
• [SPARK-49916] [SC-179108][SQL] 데이터 형식이 일부 행의 ColumnType과 불일치할 때 적절한 예외를 발생시키다.
• [SPARK-49956] [SC-179070] collect_set 식을 사용한 데이터 정렬 사용 안 함
• [SPARK-49974] [16.x][SC-179071][SQL] Analyzer.scala에서 resolveRelations(...) 밖으로 이동시키기
• [SPARK-47259] [SC-176437][SQL] 간격 오류에 대한 오류 조건에 이름 할당
• [SPARK-47430] [SC-173679][SQL] 바인딩 참조 예외를 해결하기 위해 지도 형식별 그룹 재작업
• [SPARK-49067] [SC-172616][SQL] UTF-8 리터럴을 UrlCodec 클래스의 내부 함수로 이동
• [SPARK-49955] [SC-178989][SQL] null 값은 JSON 문자열 RDD를 구문 분석할 때 손상된 파일을 의미하지 않습니다.
• [SPARK-49393] [SC-175212][SQL] 더 이상 지원되지 않는 카탈로그 플러그인 API에서 기본 동작 실패
• [SPARK-49952] [SC-178985][SQL] _LEGACY_ERROR_TEMP_1142에 적절한 오류 조건을 할당합니다.
• [SPARK-49405] [SC-175224][SQL] JsonOptions에서 문자 집합 제한
• [SPARK-49892] [SC-178975][SQL] _LEGACY_ERROR_TEMP_1136에 적절한 오류 클래스를 할당합니다.
• [SPARK-49904] [SC-178973][SQL] _LEGACY_ERROR_TEMP_2140에 적절한 오류 조건을 지정하기.
• [SPARK-47257] [SC-174244][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_105[3-4] 및 _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] ReorderAssociativeOperator에서 0 및 1 처리
• [SPARK-49891] [SC-178970][SQL] _LEGACY_ERROR_TEMP_2271에 적절한 오류 조건을 할당합니다
• [SPARK-49829] [ES-1254513] 스트림-스트림 조인에서 상태 저장소에 입력을 추가할 때의 최적화를 재검토(정확성 수정)
• [SPARK-49918] [SC-178748][CORE] 적절한 경우 SparkContext conf에 읽기 전용 액세스 사용
• [SPARK-49666] [SC-177891][SQL] 데이터 정렬 트림 기능에 대한 기능 플래그 추가
• [SPARK-48885] [SC-171050][SQL] RuntimeReplaceable의 일부 하위 클래스를 지연 val로 재정의합니다.
• [SPARK-49932] [SC-178931][CORE] 메모리 누수를 방지하기 위해 tryWithResource 릴리스 JsonUtils#toJsonString 리소스를 사용
• [SPARK-49949] [SC-178978][PS] attach_sequence_column 불필요한 분석 작업을 피하기
• [SPARK-49924] [SC-178935][SQL] containsNull 교체 후에도 ArrayCompact 유지
• [SPARK-49905] [ES-1265435] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지
• [SPARK-49615] [SC-178877] Bugfix: ML 열 스키마 유효성 검사가 spark 구성 spark.sql.caseSensitive준수하도록 합니다.
• [SPARK-49121] [SC-174787][SQL] SQL 함수에 대한 from_protobuf 및 to_protobuf 지원
• [SPARK-47496] [SC-160529][SQL] 동적 JDBC 언어 등록을 위한 Java SPI 지원
• [SPARK-49359] [SC-174895][SQL] StagedTableCatalog 구현이 비원자성 쓰기로 대체되도록 허용
• [SPARK-49895] [SC-178543][SQL][ES-1270338] SELECT 절에서 후행 쉼표가 발생할 때 오류 개선
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Microsoft SQL Server의 Spark SQL 데이터 형식 매핑 문서화 및 테스트 추가
• [SPARK-46037] [SC-175495][SQL] codegen 없이 남아 있는 순서 섞인 해시 조인 빌드에 대한 정확성 수정
• [SPARK-47813] [SC-162615][SQL] getArrayDimension을 updateExtraColumnMeta로 바꾸기
• [SPARK-49542] [SC-178765][SQL] 파티션 변환 예외 평가 오류
• [SPARK-47172] [SC-169537][CORE] RPC 암호화에 대한 AES-GCM 지원 추가
• [SPARK-47666] [SC-161476][SQL] mysql 비트 배열을 LongType으로 읽을 때 NPE 수정
• [SPARK-48947] [SC-174239][SQL] Charset.forName에서 캐시 누락을 줄이기 위해 소문자 인코딩 이름을 사용합니다.
• [SPARK-49909] [SC-178552][SQL] 일부 식의 예쁜 이름 수정
• [SPARK-47647] [SC-161377][SQL] MySQL 데이터 원본이 Postgres와 같은 BinaryType으로 bit(n>1)를 읽을 수 있도록 합니다.
• [SPARK-46622] [SC-153004][CORE] toString 메서드를 o.a.s.network.shuffledb.StoreVersion에 대해 재정의
• [SPARK-48961] [SC-171910][PYTHON] PySparkException의 매개 변수 이름을 JVM과 일치하게 만듭니다.
• [SPARK-49889] [SC-178474][PYTHON] 함수에 대한 인수 trim 추가trim/ltrim/rtrim
• [SPARK-49863] [ES-1184693][SC-178546][SQL] 중첩된 구조체의 null 허용 가능성을 유지하도록 NormalizeFloatingNumbers 수정
• [SPARK-47537] [SC-160747][SQL] MySQL 커넥터/J에서 오류 데이터 형식 매핑 수정
• [SPARK-47628] [SC-161257][SQL] Postgres 비트 배열의 'Boolean으로 변환할 수 없음' 문제 수정
• [SPARK-49843] [SC-178084][ES-1268164][SQL] char/varchar 열에 대한 변경 설명 수정
• [SPARK-49549] [SC-178764][SQL] 오류 조건 _LEGACY_ERROR_TEMP_3055와 3146에 이름 할당
• [SPARK-49782] [SC-178756][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 해결합니다.
• [SPARK-49791] [SC-177730][SQL] DelegatingCatalogExtension을 더 확장 가능하게 만들기
• [SPARK-49559] [SC-178551][SQL] 설정 작업에 대한 SQL 파이프 구문 추가
• [SPARK-49906] [SC-178536][SQL] PartitioningUtils에 CONFLICTING_DIRECTORY_STRUCTURES 오류를 도입하고 사용하다
• [SPARK-49877] [SC-178392][SQL] classifyException 함수 서명 변경: isRuntime 인수 추가
• [SPARK-47501] [SC-160532][SQL] JdbcDialect용 기존 convertTimestampToTimestamp와 같은 convertDateToDate 추가
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType은 오류 시 자식을 반환해야 합니다.
• [SPARK-47462] [SC-160460][SQL] 다른 부호 없는 숫자 형식의 매핑을 MySQLDialect의 TINYINT와 맞추기
• [SPARK-47435] [SC-160129][SQL] SPARK-45561로 인한 MySQL UNSIGNED TINYINT의 오버플로 문제 해결
• [SPARK-49398] [SC-176377][SQL] CACHE TABLE 및 CREATE VIEW 쿼리의 매개 변수 오류 개선
• [SPARK-47263] [SC-177012][SQL] 레거시 조건에 이름 할당 _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] ascendingOrder에서 DataTypeMismatch가 SortArray일 때 프롬프트를 수정합니다.
• [SPARK-49806] [SC-178304][SQL][CONNECT] blank space 및 show 클라이언트에서 Scala 후 중복 Connect 제거
• [SPARK-47258] [SC-175032][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] JOIN 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49836] [SC-178339][SQL][SS] 창/session_window fn에 창이 제공될 때 손상될 수 있는 쿼리 수정
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Postgres 및 MySQL에 대한 SQL 타임스탬프 매핑 처리
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] 원형 그래프 지원
• [SPARK-49824] [SC-178251][SS][CONNECT] SparkConnectStreamingQueryCache의 로깅 기능 개선
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] 열 필드 작업의 문자열 표현 구체화
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] 지원 영역 그림
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] 산점도 지원
• [SPARK-49744] [SC-178363][SS][PYTHON] TransformWithStateInPandas에서 ListState에 대한 TTL 지원 구현
• [SPARK-49879] [SC-178334][CORE] Java 컴파일 경고를 제거하기 위해 TransportCipherUtil 별도의 파일로 이동
• [SPARK-49866] [SC-178353][SQL] 파티션 열이 있는 설명 테이블에 대한 오류 메시지 개선
• [SPARK-49867] [SC-178302][ES-1260570][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
• [SPARK-49607] [SC-177373][PYTHON] 샘플 기반 플롯의 샘플링 방법 업데이트
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] 가로 및 세로 막대 차트 지원
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] plotly 백엔드를 사용한 라인 그래프 지원
• [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser가 ArrayIndexOutOfBounds로 인한 런타임 예외를 사용자에게 더 친숙한 메시지와 함께 발생하도록 수정
• [SPARK-49870] [SC-178262][PYTHON] Spark 클래식에서 Python 3.13 지원 추가
• [SPARK-49560] [SC-178121][SQL] TABLESAMPLE 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49864] [SC-178305][SQL] BINARY_ARITHMETIC_OVERFLOW 메시지가 개선되었습니다.
• [SPARK-48780] [SC-170274][SQL] 함수 및 프로시저를 처리하기 위해 NamedParametersSupport의 오류 처리를 제네릭하게 만듭니다.
• [SPARK-49358] [SC-178158][SQL] 정렬된 문자열이 있는 지도 형식에 대한 모드 식
• [SPARK-47341] [SC-178157][SQL] RuntimeConfig#get의 부정확한 설명서 수정
• [SPARK-48357] [SC-178153][SQL] LOOP 문 지원
• [SPARK-49845] [SC-178059][CORE] REST API에서 appArgs 및 environmentVariables 선택 사항으로 만들기
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable은 쓰기용인지 여부를 표시해야 합니다.
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Scala에 대한 클라이언트 쪽 수신기 지원 추가
• [SPARK-48700] [SC-177978][SQL] 복합 형식에 대한 모드 식(모든 데이터 정렬)
• [SPARK-48196] [SC-177899][SQL] QueryExecution의 lazy val 계획을 LazyTry로 변환
• [SPARK-49749] [16.x][SC-177877][CORE] BlockManagerInfo에서 로그 수준을 디버그하도록 변경
• [SPARK-49561] [SC-177897][SQL] PIVOT 및 UNPIVOT 연산자의 SQL 파이프 구문 추가
• [SPARK-49823] [SC-177885][SS] 종료 시 rocksdb 닫기 경로에서 플러시를 방지
• [SPARK-49820] [SC-177855] [PYTHON] raise IOError을 raise OSError으로 변경합니다.
• [SPARK-49653] [SC-177266][SQL] 상관된 스칼라 하위 쿼리에 대한 단일 조인
• [SPARK-49552] [SC-177477][PYTHON] 새 'randstr' 및 'uniform' SQL 함수에 대한 DataFrame API 지원 추가
• [SPARK-48303] [16.x][SC-166251][CORE] LogKeys 다시 구성
• [SPARK-49656] [16x][Backport][SS] 값 상태 컬렉션 형식 및 읽기 변경 피드 옵션을 사용하여 상태 변수에 대한 지원 추가
• [SPARK-48112] [SC-165129][CONNECT] SparkConnectPlanner에서 플러그인에 대한 세션을 노출하기
• [SPARK-48126] [16.x][SC-165309][Core] spark.log.structuredLogging.enabled를 효과적으로 설정
• [SPARK-49505] [SC-176873][SQL] 범위 내에서 임의의 문자열 또는 숫자를 생성하는 새 SQL 함수 "randstr" 및 "uniform"을 만듭니다.
• [SPARK-49463] [SC-177474] TransformWithStateInPandas에 대한 ListState 지원
• [SPARK-48131] [SC-165007][Core] MDC 키 mdc.taskName 및 task_name 통합
• [SPARK-49557] [SC-177227][SQL] WHERE 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49323] [16.x][SC-174689][CONNECT] Spark Connect 서버의 테스트 폴더에서 서버의 기본 폴더로 MockObserver 이동
• [SPARK-49745] [SC-177501][SS] 상태 데이터 원본 판독기를 통해 등록된 타이머를 읽기 위한 변경 내용 추가
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions를 제거하고 RocksDB의 dbOptions에 구성을 직접 추가하기

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 릴리스된 드라이버를 다운로드하고 업그레이드하세요(ODBC다운로드하고 JDBC다운로드 ).

시스템 환경

• 운영 체제: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)