Databricks Runtime 7.0(EoS)

Databricks는 2020년 6월에 이 버전을 릴리스했습니다.

다음 릴리스 정보는 Apache Spark 3.0에서 제공하는 Databricks Runtime 7.0에 대한 정보를 제공합니다.

새로운 기능

Databricks Runtime 7.0에는 다음과 같은 새로운 기능이 포함되어 있습니다.

• Scala 2.12

  Databricks Runtime 7.0은 Scala를 2.11.12에서 2.12.10으로 업그레이드합니다. Scala 2.12와 2.11 사이의 변경 목록은 Scala 2.12.0 릴리스 정보에 있습니다.

• Databricks Runtime 6.4에서 릴리스된 자동 로더(공개 미리 보기)가 Databricks Runtime 7.0에서 개선되었습니다.

  자동 로더는 ETL 동안 클라우드 Blob 저장소에 도착하는 새 데이터 파일을 증분 방식으로 처리하는 보다 효율적인 방법을 제공합니다. 이는 클라우드 디렉터리를 반복적으로 나열하고 본 파일을 추적하여 새 파일을 식별하는 파일 기반 구조적 스트리밍에 비해 개선되었으며 디렉터리가 커질수록 매우 비효율적일 수 있습니다. 또한 자동 로더는 파일 알림 기반 구조화된 스트리밍보다 더 편리하고 효과적입니다. 이렇게 하려면 클라우드에서 파일 알림 서비스를 수동으로 구성해야 하며 기존 파일을 백필할 수 없습니다. 자세한 내용은 자동 로더란?을 참조하세요.

  Databricks Runtime 7.0에서는 자동 로더를 사용하기 위해 더 이상 사용자 지정 Databricks Runtime 이미지를 요청할 필요가 없습니다.

• Idempotent 재시도를 사용하여 Delta Lake에 데이터를 로드할 수 있는 COPY INTO(공개 미리 보기)가 Databricks Runtime 7.0에서 개선되었습니다.

  Databricks Runtime 6.4에서 공개 미리 보기로 릴리스된 COPY INTO SQL 명령을 사용하면 idempotent 다시 시도를 통해 Delta Lake에 데이터를 로드할 수 있습니다. 현재 Delta Lake에 데이터를 로드하려면 Apache Spark DataFrame API를 사용해야 합니다. 로드 중 오류가 발생하면 이를 효과적으로 처리해야 합니다. 새로운 COPY INTO 명령은 SQL에서 데이터를 로드하기 위한 친숙한 선언적 인터페이스를 제공합니다. 이 명령은 이전에 로드된 파일을 추적하고 실패할 경우 안전하게 다시 실행할 수 있습니다. 자세한 내용은 COPY INTO를 참조하세요.

향상된 기능

• Azure Synapse(이전의 SQL Data Warehouse) 커넥터는 COPY 문을 지원합니다.

  COPY의 주요 이점은 권한이 낮은 사용자가 Azure Synapse에 대한 엄격한 CONTROL 권한이 없어도 Azure Synapse에 데이터를 쓸 수 있다는 것입니다.

• %matplotlib inline 매직 명령은 더 이상 Notebook 셀에 인라인으로 Matplolib 개체를 표시하는 데 필요하지 않습니다. 기본적으로 항상 인라인으로 표시됩니다.

• Matplolib 그림이 이제 transparent=False로 렌더링되므로 사용자 지정 배경이 손실되지 않습니다. 이 동작은 Spark 구성 spark.databricks.workspace.matplotlib.transparent true를 설정하여 재정의할 수 있습니다.

• 높은 동시성 모드 클러스터에서 구조적 스트리밍 프로덕션 작업을 실행할 때 이전에 실행 중인 작업이 제대로 종료되지 않았기 때문에 작업 다시 시작이 경우에 따라 실패했습니다. Databricks Runtime 6.3에는 이전 실행이 중지되도록 클러스터에서 SQL 구성 spark.sql.streaming.stopActiveRunOnRestart true를 설정하는 기능이 도입되었습니다. 이 구성은 Databricks Runtime 7.0에서 기본적으로 설정됩니다.

주요 라이브러리 변경 내용

Python 패키지

업그레이드된 주요 Python 패키지:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

제거된 Python 패키지:

• boto(boto3 사용)
• pycurl

R 패키지

추가된 R 패키지:

• broom
• highr
• isoband
• knitr
• markdown
• modelr
• reprex
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

제거된 R 패키지:

• abind
• bitops
• 차량
• carData
• doMC
• gbm
• h2o
• littler
• lme4
• mapproj
• 맵
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• rio
• sp
• SparseM
• statmod
• zip

Java와 Scala 라이브러리

• Hive 사용자 정의 함수 및 Hive SerDes를 처리하는 데 사용되는 Apache Hive 버전이 2.3으로 업그레이드되었습니다.
• 이전에는 Azure Storage 및 Key Vault jar가 Databricks Runtime의 일부로 패키지되었으므로 클러스터에 연결된 해당 라이브러리의 다른 버전을 사용할 수 없습니다. com.microsoft.azure.storage 및 com.microsoft.azure.keyvault 아래의 클래스는 더 이상 Databricks Runtime의 클래스 경로에 없습니다. 이러한 클래스 경로 중 하나에 의존하는 경우 이제 Azure Storage SDK 또는 Azure Key Vault SDK를 클러스터에 연결해야 합니다.

동작 변경

이 섹션에서는 Databricks Runtime 6.6에서 Databricks Runtime 7.0으로의 동작 변경 내용을 나열합니다. 낮은 Databricks Runtime 릴리스에서 Databricks Runtime 7.0 이상으로 워크로드를 마이그레이션할 때 이러한 점을 알고 있어야 합니다.

Spark 동작 변경 내용

Databricks Runtime 7.0은 Spark 3.0에서 빌드된 첫 번째 Databricks Runtime이므로 Spark 2.4에서 빌드된 Databricks Runtime 5.5 LTS 또는 6.x에서 워크로드를 마이그레이션할 때 알아야 할 변경 내용이 많이 있습니다. 이러한 변경 내용은 이 릴리스 정보 문서의 Apache Spark 섹션에 있는 각 기능 영역의 "동작 변경 내용" 섹션에 나열되어 있습니다.

• Spark 코어, Spark SQL 및 구조적 스트리밍의 동작 변경 내용
• MLlib의 동작 변경 내용
• SparkR의 동작 변경 내용

기타 동작 변경

• Scala 2.12로의 업그레이드에 포함된 변경 내용은 다음과 같습니다.

  • 패키지 셀 직렬화가 다르게 처리됩니다. 다음 예제에서는 동작 변경과 이를 처리하는 방법을 보여 줍니다.

    다음 패키지 셀에서 정의한 대로 foo.bar.MyObjectInPackageCell.run()을 실행하면 java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$ 오류가 트리거됩니다.

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    이 오류를 해결하기 위해 MyObjectInPackageCell을 직렬화 가능한 클래스 내에서 래핑할 수 있습니다.

  • DataStreamWriter.foreachBatch를 사용하는 특정 경우에는 소스 코드 업데이트가 필요합니다. 이 변경은 Scala 2.12에 람다 식에서 SAM 형식으로의 자동 변환이 있고 모호성을 유발할 수 있기 때문입니다.

    예를 들어 다음 Scala 코드는 컴파일할 수 없습니다.

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    컴파일 오류를 수정하려면 foreachBatch { (df, id) => myFunc(df, id) }를 foreachBatch(myFunc _)로 변경하거나 Java API를 명시적으로 사용합니다(foreachBatch(new VoidFunction2 ...)).

• Hive 사용자 정의 함수 및 Hive SerDe를 처리하는 데 사용되는 Apache Hive 버전이 2.3으로 업그레이드되었으므로 두 가지 변경이 필요합니다.

  • Hive의 SerDe 인터페이스가 AbstractSerDe 추상 클래스로 바뀌었습니다. 사용자 지정 Hive SerDe 구현의 경우 AbstractSerDe로 마이그레이션해야 합니다.
  • spark.sql.hive.metastore.jars를 builtin으로 설정하면 Hive 2.3 메타스토어 클라이언트가 Databricks Runtime 7.0용 메타스토어에 액세스하는 데 사용됩니다. Hive 1.2 기반 외부 메타스토어에 액세스해야 하는 경우 spark.sql.hive.metastore.jars를 Hive 1.2 jar가 포함된 폴더로 설정합니다.

사용 중단 및 제거

• 데이터 건너뛰기 인덱스는 Databricks Runtime 4.3에서 더 이상 사용되지 않으며 Databricks Runtime 7.0에서 제거되었습니다. 대신 향상된 데이터 건너뛰기 기능을 제공하는 델타 테이블을 사용하는 것이 좋습니다.
• Databricks Runtime 7.0에서 Apache Spark의 기본 버전은 Scala 2.12를 사용합니다. Scala 2.11에 대해 컴파일된 라이브러리는 예기치 않은 방식으로 Databricks Runtime 7.0 클러스터를 사용하지 않도록 설정할 수 있으므로 Databricks Runtime 7.0 이상을 실행하는 클러스터는 모든 클러스터에 설치되도록 구성된 라이브러리를 설치하지 않습니다. 클러스터 라이브러리 탭에는 상태 Skipped와 라이브러리 처리 변경 내용을 설명하는 사용 중단 메시지가 표시됩니다. 그러나 Azure Databricks 플랫폼 버전 3.20이 작업 영역에 릴리스되기 전 이전 버전의 Databricks Runtime에서 만들어진 클러스터가 있고 이제 Databricks Runtime 7.0을 사용하도록 해당 클러스터를 편집하는 경우, 모든 클러스터에 설치되도록 구성되어 있으면 해당 클러스터에 설치됩니다. 이 경우 설치된 라이브러리의 호환되지 않는 JAR로 인해 클러스터가 사용하지 않도록 설정될 수 있습니다. 해결 방법은 클러스터를 복제하거나 새 클러스터를 만드는 것입니다.

Apache Spark

Databricks Runtime 7.0에는 Apache Spark 3.0이 포함되어 있습니다.

이 구역의 내용:

• Core, Spark SQL, 구조적 스트리밍
• MLlib
• SparkR
• 사용 중단
• 알려진 문제

Core, Spark SQL, 구조적 스트리밍

중요 사항

• (Project Hydrogen) 가속기 인식 스케줄러(SPARK-24615)
• 적응형 쿼리 실행(SPARK-31412)
• 동적 파티션 정리(SPARK-11150)
• 형식 힌트가 포함된 재설계된 pandas UDF API(SPARK-28264)
• 구조화된 스트리밍 UI(SPARK-29543)
• 카탈로그 플러그 인 API(SPARK-31121)
• 더 나은 ANSI SQL 호환성

성능 향상

• 적응 쿼리 실행(SPARK-31412)
  • 기본 프레임워크(SPARK-23128)
  • 사후 순서 섞기 파티션 번호 조정(SPARK-28177)
  • 동적 하위 쿼리 재사용(SPARK-28753)
  • 로컬 순서 섞기 판독기(SPARK-28560)
  • 기울이기 조인 최적화(SPARK-29544)
  • 연속 순서 섞기 블록 읽기 최적화(SPARK-9853)
• 동적 파티션 정리(SPARK-11150)
• 기타 최적화 프로그램 규칙
  • 규칙 ReuseSubquery(SPARK-27279)
  • 규칙 PushDownLeftSemiAntiJoin(SPARK-19712)
  • 규칙 PushLeftSemiLeftAntiThroughJoin(SPARK-19712)
  • 규칙 ReplaceNullWithFalse(SPARK-25860)
  • 규칙 조인/집계의 하위 쿼리에서 제한 없이 정렬 제거(SPARK-29343).
  • 규칙 PruneHiveTablePartitions(SPARK-15616)
  • 생성에서 불필요한 중첩 필드 정리(SPARK-27707)
  • 규칙 RewriteNonCorrelatedExists(SPARK-29800)
• 테이블 캐시 동기화 비용 최소화(SPARK-26917), (SPARK-26617), (SPARK-26548)
• 집계 코드를 작은 함수로 분할(SPARK-21870)
• INSERT 및 ALTER TABLE ADD PARTITION 명령에 일괄 처리 추가(SPARK-29938)

확장성 향상

• 카탈로그 플러그 인 API(SPARK-31121)
• 데이터 원본 V2 API 리팩터링(SPARK-25390)
• Hive 3.0 및 3.1 메타스토어 지원(SPARK-27970),(SPARK-24360)
• Spark 플러그 인 인터페이스를 드라이버로 확장(SPARK-29396)
• 실행기 플러그 인을 사용하여 사용자 정의 메트릭으로 Spark 메트릭 시스템 확장(SPARK-28091)
• 확장된 열 형식 처리 지원을 위한 개발자 API(SPARK-27396)
• DSV2를 사용한 기본 제공 원본 마이그레이션: parquet, ORC, CSV, JSON, Kafka, Text, Avro(SPARK-27589)
• SparkExtensions에서 FunctionInjection 허용(SPARK-25560)
• 집계를 UDAF로 등록 허용(SPARK-27296).

커넥터 개선 사항

• 비결정적 식을 통한 열 정리(SPARK-29768)
• 데이터 원본 테이블에서 spark.sql.statistics.fallBackToHdfs 지원(SPARK-25474)
• 파일 원본에서 하위 쿼리 필터로 파티션 정리 허용(SPARK-26893)
• 데이터 원본 필터에서 하위 쿼리 푸시다운 방지(SPARK-25482)
• 파일 원본에서 재귀 데이터 로드(SPARK-27990)
• Parquet/ORC
  • 분리 조건자 푸시다운(SPARK-27699)
  • 중첩 열 정리 일반화(SPARK-25603) 및 기본적으로 켜져 있음(SPARK-29805)
  • Parquet만
    • 중첩 필드에 대한 Parquet 조건자 푸시다운(SPARK-17636)
  • ORC만
    • ORC에 대한 병합 스키마 지원(SPARK-11412)
    • ORC용 중첩 스키마 정리(SPARK-27034)
    • ORC에 대한 조건자 변환 복잡성 감소(SPARK-27105, SPARK-28108)
    • Apache ORC를 1.5.9로 업그레이드(SPARK-30695)
• CSV
  • CSV 데이터 원본에서 필터 푸시다운 지원(SPARK-30323)
• Hive SerDe
  • 네이티브 데이터 원본을 사용하여 Hive serde 테이블을 읽을 때 스키마 유추 없음(SPARK-27119)
  • Hive CTAS 명령은 변환 가능한 데이터 원본을 사용해야 함(SPARK-25271)
  • 네이티브 데이터 원본을 사용하여 분할된 Hive 테이블 삽입 최적화(SPARK-28573)
• Apache Kafka
  • Kafka 헤더 지원 추가(SPARK-23539)
  • Kafka 위임 토큰 지원 추가(SPARK-25501)
  • Kafka 원본에 새로운 옵션 도입: 타임스탬프로 오프셋(시작/종료)(SPARK-26848)
  • Kafka 일괄 처리 원본 및 스트리밍 원본 v1에서 minPartitions 옵션 지원(SPARK-30656)
  • Kafka를 2.4.1로 업그레이드(SPARK-31126)
• 새 기본 제공 데이터 원본
  • 새로운 기본 제공 이진 파일 데이터 원본(SPARK-25348)
  • 새로운 no-op 일괄 처리 데이터 원본(SPARK-26550) 및 no-op 스트리밍 싱크(SPARK-26649)

향상된 기능

• [Hydrogen] 가속기 인식 스케줄러(SPARK-24615)
• 전체 조인 힌트 집합 소개(SPARK-27225)
• SQL 쿼리에 대한 PARTITION BY 힌트 추가(SPARK-28746)
• Thrift 서버의 메타데이터 처리(SPARK-28426)
• scala API에 고차 함수 추가(SPARK-27297)
• 장벽 작업 컨텍스트에서 단순 모두 수집 지원(SPARK-30667)
• Hive UDF에서 UDT 형식 지원(SPARK-28158)
• Catalyst에서 DELETE/UPDATE/MERGE 연산자 지원(SPARK-28351, SPARK-28892, SPARK-28893)
• DataFrame.tail 구현(SPARK-30185)
• 새로운 기본 제공 함수
  • sinh, cosh, tanh, asinh, acosh, atanh(SPARK-28133)
  • any, every, some(SPARK-19851)
  • bit_and, bit_or(SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if(SPARK-27425)
  • date_part (SPARK-28690)
  • extract(SPARK-23903)
  • forall(SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by(SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys(SPARK-23939)
  • transform_values(SPARK-23940)
  • typeof(SPARK-29961)
  • version(SPARK-29554)
  • xxhash64 (SPARK-27099)
• 기존 기본 제공 함수의 향상된 기능
  • 기본 제공 날짜-시간 함수/작업 개선(SPARK-31415)
  • from_json에 대한 FAILFAST 모드 지원(SPARK-25243)
  • array_sort가 새 비교기 매개 변수 추가(SPARK-29020)
  • 필터는 이제 요소와 함께 인덱스를 사용할 수 있음(SPARK-28962).

SQL 호환성 향상

• 그레고리력으로 전환(SPARK-26651)
• Spark의 자체 날짜/시간 패턴 정의 빌드(SPARK-31408)
• 테이블 삽입을 위한 ANSI 저장소 할당 정책 도입(SPARK-28495)
• 기본적으로 테이블 삽입에서 ANSI 저장소 할당 규칙 수행(SPARK-28885).
• SQLConf spark.sql.ansi.enabled 추가(SPARK-28989)
• 집계 식에 대한 ANSI SQL 필터 절 지원(SPARK-27986)
• ANSI SQL OVERLAY 함수 지원(SPARK-28077)
• ANSI 중첩 괄호 주석 지원(SPARK-28880)
• 정수에 대한 오버플로에 예외 throw(SPARK-26218)
• 간격 산술 연산에 대한 오버플로 검사(SPARK-30341)
• 잘못된 문자열이 숫자 형식으로 캐스팅되면 예외 throw(SPARK-30292)
• 간격 곱하기 및 나누기의 오버플로 동작이 다른 작업과 일치하도록 함(SPARK-30919).
• char 및 decimal에 대한 ANSI 형식 별칭 추가(SPARK-29941)
• SQL 파서는 ANSI 호환 예약 키워드를 정의함(SPARK-26215)
• ANSI 모드가 켜져 있을 때 예약어를 식별자로 사용 금지(SPARK-26976)
• ANSI SQL LIKE ... ESCAPE 구문 지원(SPARK-28083)
• ANSI SQL Boolean-Predicate 구문 지원(SPARK-27924)
• 상호 관련된 하위 쿼리 처리 지원 향상(SPARK-18455)

모니터링 및 디버그 가능성 향상

• 새로운 구조적 스트리밍 UI(SPARK-29543)
• SHS: 실행 중인 스트리밍 앱에 대한 이벤트 로그가 롤오버되도록 허용(SPARK-28594)
• 사용자가 일괄 처리 및 스트리밍 쿼리에서 임의의 메트릭을 정의하고 관찰할 수 있는 API 추가(SPARK-29345)
• 쿼리별 계획 시간 추적을 위한 계측(SPARK-26129)
• SQL 교환 연산자에 기본 순서 섞기 메트릭 넣기(SPARK-26139).
• SQL 문이 callsite 대신 SQL 탭에 표시됨(SPARK-27045)
• SparkUI에 도구 설명 추가(SPARK-29449)
• 기록 서버의 동시 성능 향상(SPARK-29043)
• EXPLAIN FORMATTED 명령(SPARK-27395)
• 잘린 계획 및 생성 코드를 파일로 덤핑 지원(SPARK-26023)
• 쿼리 출력을 설명하는 설명 프레임워크 향상(SPARK-26982)
• SHOW VIEWS 명령 추가(SPARK-31113)
• SQL 파서의 오류 메시지 개선(SPARK-27901)
• 기본적으로 Prometheus 모니터링 지원(SPARK-29429)

PySpark 개선 사항

• 형식 힌트가 있는 재설계된 pandas UDF(SPARK-28264)
• Pandas UDF 파이프라인(SPARK-26412)
• StructType을 Scalar Pandas UDF에 대한 인수 및 반환 형식으로 지원(SPARK-27240)
• Pandas UDF를 통한 데이터 프레임 공동 그룹 지원(SPARK-27463)
• DataFrames의 반복기를 허용하려면 mapInPandas 추가(SPARK-28198)
• 특정 SQL 함수는 열 이름도 사용해야 함(SPARK-26979)
• PySpark SQL 예외를 Python 형식으로 만들기(SPARK-31849)

설명서 및 테스트 적용 범위 향상

• SQL 참조 빌드(SPARK-28588)
• WebUI용 사용자 가이드 빌드(SPARK-28372)
• SQL 구성 설명서용 페이지 빌드(SPARK-30510)
• Spark 구성에 대한 버전 정보 추가(SPARK-30839)
• PostgreSQL의 포트 회귀 테스트(SPARK-27763)
• Thrift 서버 테스트 적용 범위(SPARK-28608)
• UDF의 테스트 적용 범위(python UDF, pandas UDF, scala UDF)(SPARK-27921)

기타 주목할 만한 변경 내용

• 1.2.1에서 2.3.6으로 기본 제공 Hive 실행 업그레이드(SPARK-23710, SPARK-28723, SPARK-31381)
• 기본적으로 Apache Hive 2.3 종속성 사용(SPARK-30034)
• GA Scala 2.12 및 2.11 제거(SPARK-26132)
• 동적 할당에서 실행기 시간 초과에 대한 논리 개선(SPARK-20286)
• 순서 섞기 서비스에서 제공하고 동적 할당에 대해 무시되는 디스크 지속형 RDD 블록(SPARK-27677)
• 차단 목록으로 인한 중단을 방지하기 위해 새 실행기 확보(SPARK-22148)
• Netty의 메모리 풀 할당자 공유 허용(SPARK-24920)
• TaskMemoryManager와 UnsafeExternalSorter$SpillableIterator 사이의 교착 상태 수정(SPARK-27338)
• StructuredStreaming용 AdmissionControl API 도입(SPARK-30669)
• Spark 기록 기본 페이지 성능 개선(SPARK-25973)
• SQL 수신기의 메트릭 집계 속도 향상 및 축소(SPARK-29562)
• 동일한 호스트에서 순서 섞기 블록을 가져올 때 네트워크 방지(SPARK-27651)
• DistributedFileSystem에 대한 파일 목록 개선(SPARK-27801)

Spark core, Spark SQL 및 구조적 스트리밍에 대한 동작 변경 내용

다음 마이그레이션 가이드는 Apache Spark 2.4와 3.0 간의 동작 변경 내용을 나열합니다. 이러한 변경 내용에는 낮은 Databricks Runtime 버전에서 실행 중인 작업에 대한 업데이트가 필요할 수 있습니다.

• 마이그레이션 가이드: Spark Core
• 마이그레이션 가이드: SQL, 데이터 집합 및 DataFrame
• 마이그레이션 가이드: 구조화된 스트리밍
• 마이그레이션 가이드: PySpark(Python on Spark)

다음 동작 변경 내용은 이 마이그레이션 가이드에서 다루지 않습니다.

• Spark 3.0에서는 더 이상 사용되지 않는 클래스 org.apache.spark.sql.streaming.ProcessingTime이 제거되었습니다. 대신 org.apache.spark.sql.streaming.Trigger.ProcessingTime를 사용하세요. 마찬가지로 org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger가 Trigger.Continuous를 위해 제거되고 org.apache.spark.sql.execution.streaming.OneTimeTrigger가 Trigger.Once를 위해 숨겨졌습니다. (SPARK-28199)
• Databricks Runtime 7.0에서 Hive SerDe 테이블을 읽을 때 기본적으로 Spark는 테이블 파티션이 아닌 하위 디렉터리에 있는 파일 읽기를 허용하지 않습니다. 사용하도록 설정하려면 spark.databricks.io.hive.scanNonpartitionedDirectory.enabled 구성을 true로 설정합니다. 이렇게 하면 Spark 네이티브 테이블 판독기 및 파일 판독기에 영향을 주지 않습니다.

MLlib

중요 사항

• 이진 변환기(SPARK-23578), StringIndexer(SPARK-11215), StopWordsRemover(SPARK-29808) 및 PySpark QuantileDiscretizer(SPARK-22796)에 여러 열 지원이 추가됨
• 트리 기반 기능 변환 지원(SPARK-13677)
• 두 개의 새로운 평가자 MultilabelClassificationEvaluator(SPARK-16692) 및 RankingEvaluator(SPARK-28045)가 추가됨
• 샘플 가중치 지원이 DecisionTreeClassifier/Regressor(SPARK-19591), RandomForestClassifier/Regressor(SPARK-9478), GBTClassifier/Regressor(SPARK-9612), RegressionEvaluator(SPARK-24102), BinaryClassificationEvaluator(SPARK-24103), BisectingKMeans(SPARK-30351), KMeans(SPARK-29967) 및 GaussianMixture(SPARK-30102)에 추가됨
• PowerIterationClustering용 R API가 추가됨(SPARK-19827)
• ML 파이프라인 상태를 추적하기 위한 Spark ML 수신기가 추가됨(SPARK-23674)
• Python의 그라데이션 강화 트리에 유효성 검사 집합이 있는 맞춤이 추가됨(SPARK-24333).
• RobustScaler 변환기가 추가되었습니다(SPARK-28399)
• Factorization Machines 분류자 및 회귀기가 추가되었습니다(SPARK-29224)
• Gaussian Naive Bayes(SPARK-16872) 및 Complement Naive Bayes(SPARK-29942)가 추가됨
• Scala와 Python 간의 ML 함수 패리티(SPARK-28958)
• predictRaw는 모든 분류 모델에서 공개됨 predictProbability는 LinearSVCModel(SPARK-30358)을 제외한 모든 분류 모델에서 공개됨

MLlib의 동작 변경 내용

다음 마이그레이션 가이드는 Apache Spark 2.4와 3.0 간의 동작 변경 내용을 나열합니다. 이러한 변경 내용에는 낮은 Databricks Runtime 버전에서 실행 중인 작업에 대한 업데이트가 필요할 수 있습니다.

• 마이그레이션 가이드: MLlib(Machine Learning)

다음 동작 변경 내용은 마이그레이션 가이드에서 다루지 않습니다.

• Spark 3.0에서 Pyspark의 다중 클래스 로지스틱 회귀는 이제(정확하게) BinaryLogisticRegressionSummary 하위 클래스가 아니라 LogisticRegressionSummary를 반환합니다. 어쨌든 이 경우에는 BinaryLogisticRegressionSummary에서 공개한 추가 메서드가 작동하지 않습니다. (SPARK-31681)
•  Spark 3.0에서 pyspark.ml.param.shared.Has* mixin은 더 이상 set*(self, value) setter 메서드를 제공하지 않으며 대신 해당 self.set(self.*, value)을 사용합니다. 자세한 내용은 SPARK-29093을 참조하세요. (SPARK-29093)

SparkR

• SparkR의 상호 운용성에서 화살표 최적화(SPARK-26759)
• 벡터화된 R gapply(), dapply(), createDataFrame, collect()를 통한 성능 향상
• R 셸, IDE에 대한 "즉시 실행"(SPARK-24572)
• Power Iteration Clustering용 R API(SPARK-19827)

SparkR의 동작 변경 내용

다음 마이그레이션 가이드는 Apache Spark 2.4와 3.0 간의 동작 변경 내용을 나열합니다. 이러한 변경 내용에는 낮은 Databricks Runtime 버전에서 실행 중인 작업에 대한 업데이트가 필요할 수 있습니다.

• 마이그레이션 가이드: SparkR(Spark의 R)

사용 중단

• Python 2 지원 중단(SPARK-27884)
• R < 3.4 지원 중단(SPARK-26014)

알려진 문제

• 연도 필드가 누락된 경우 'D' 패턴 문자를 사용하여 연도의 일을 구문 분석하면 잘못된 결과가 반환됩니다. 이는 패턴 문자열을 사용하여 날짜/시간 문자열을 날짜/시간 값으로 구문 분석하는 to_timestamp와 같은 SQL 함수에서 발생할 수 있습니다. (SPARK-31939)
• 키의 값이 -0.0 및 0.0인 경우 하위 쿼리 내의 조인/window/집계에서 잘못된 결과가 발생할 수 있습니다. (SPARK-31958)
• window 쿼리가 모호한 자체 조인 오류와 함께 예기치 않게 실패할 수 있습니다. (SPARK-31956)
• dropDuplicates 연산자를 사용하는 스트리밍 쿼리는 Spark 2.x에서 작성한 검사점에서 다시 시작하지 못할 수 있습니다. (SPARK-31990)

유지 관리 업데이트

Databricks Runtime 7.0 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R 버전 3.6.3(2020-02-29)
• Delta Lake 0.7.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN(2020-04-22 스냅샷)에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)