Apache Spark 및 Apache Hadoop(HDFS) 구성 속성
적용 대상: SQL Server 2019(15.x)
중요
Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.
빅 데이터 클러스터는 서비스 및 리소스 범위에서 Apache Spark 및 Hadoop 구성 요소의 배포 시간 및 배포 후 시간 구성을 지원합니다. 빅 데이터 클러스터는 대부분의 설정에 대해 해당하는 오픈 소스 프로젝트와 동일한 기본 구성 값을 사용합니다. 변경되는 설정은 설명 및 기본값과 함께 아래에 나열됩니다. 게이트웨이 리소스 외에는 서비스 범위에서 구성할 수 있는 설정과 리소스 범위 간에 차이가 없습니다.
연결된 Apache 설명서 사이트에서 가능한 모든 구성과 각 구성의 기본값을 찾을 수 있습니다.
- Apache Spark: https://spark.apache.org/docs/latest/configuration.html
- Apache Hadoop:
- 하이브: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
- Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
- Apache Knox 게이트웨이: https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details
구성을 지원하지 않는 설정도 아래에 명시되어 있습니다.
참고 항목
스토리지 풀에 Spark를 포함하려면 spec.resources.storage-0.spec.settings.spark
에서 bdc.json
구성 파일에 includeSpark
부울 값을 설정합니다. 지침은 빅 데이터 클러스터 Apache Spark 및 Apache Hadoop 구성을 참조하세요.
빅 데이터 클러스터별 기본 Spark 설정
아래 Spark 설정은 BDC 관련 기본값을 가지고 있지만 사용자가 구성할 수 있는 설정입니다. 시스템 관리 설정은 포함되지 않습니다.
설정 이름 | 설명 | Type | 기본값 |
---|---|---|---|
capacity-scheduler.yarn.scheduler.capacity.maximum-applications | 실행 중과 보류 중인 동시에 활성 상태일 수 있는 시스템의 최대 애플리케이션 수입니다. | int | 10000 |
capacity-scheduler.yarn.scheduler.capacity.resource-calculator | 스케줄러의 리소스를 비교하는 데 사용할 ResourceCalculator 구현입니다. | string | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
capacity-scheduler.yarn.scheduler.capacity.root.queues | 큐가 root라고 미리 정의되어 있는 용량 스케줄러입니다. | string | default |
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity | 루트 큐에 대한 절대 리소스 큐 최소 용량으로 백분율(%)의 큐 용량입니다. | int | 100 |
spark-defaults-conf.spark.driver.cores | 클러스터 모드에서만 드라이버 프로세스에 사용할 코어 수입니다. | int | 1 |
spark-defaults-conf.spark.driver.memoryOverhead | 클러스터 모드에서 드라이버당 할당할 오프힙 메모리의 양입니다. | int | 384 |
spark-defaults-conf.spark.executor.instances | 정적 할당을 위한 실행기 수입니다. | int | 1 |
spark-defaults-conf.spark.executor.cores | 각 실행기에서 사용할 코어 수입니다. | int | 1 |
spark-defaults-conf.spark.driver.memory | 드라이버 프로세스에 사용할 메모리 양입니다. | string | 1g |
spark-defaults-conf.spark.executor.memory | 실행기 프로세스당 사용할 메모리의 크기입니다. | string | 1g |
spark-defaults-conf.spark.executor.memoryOverhead | 실행기당 할당할 오프힙 메모리 양입니다. | int | 384 |
yarn-site.yarn.nodemanager.resource.memory-mb | 컨테이너에 할당할 수 있는 실제 메모리 양(MB)입니다. | int | 8192 |
yarn-site.yarn.scheduler.maximum-allocation-mb | 리소스 관리자의 모든 컨테이너 요청에 제공되는 최대 할당량입니다. | int | 8192 |
yarn-site.yarn.nodemanager.resource.cpu-vcores | 컨테이너에 할당할 수 있는 CPU 코어 수입니다. | int | 32 |
yarn-site.yarn.scheduler.maximum-allocation-vcores | 가상 CPU 코어 측면에서 리소스 관리자의 모든 컨테이너 요청에 대한 최대 할당입니다. | int | 8 |
yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count | 보안 모드의 Linux 컨테이너 실행기의 풀 사용자 수입니다. | int | 6 |
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent | 애플리케이션 마스터를 실행하는 데 사용할 수 있는 클러스터의 최대 리소스 비율입니다. | float | 0.1 |
yarn-site.yarn.nodemanager.container-executor.class | 특정 운영 체제에 대한 컨테이너 실행기입니다. | string | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor |
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor | 단일 사용자가 더 많은 리소스를 획득할 수 있도록 구성할 수 있는 큐 용량의 배수입니다. | int | 1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity | 최대 큐 용량(%)(%)을 부동 또는 절대 리소스 큐 최대 용량으로 지정합니다. 이 값을 -1로 설정하면 최대 용량이 100%로 설정됩니다. | int | 100 |
capacity-scheduler.yarn.scheduler.capacity.root.default.state | 큐의 상태는 실행 중 또는 중지됨 중 하나일 수 있습니다. | string | RUNNING |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime | 큐에 전송되는 애플리케이션의 최대 수명(초)입니다. 0보다 작거나 같은 모든 값은 비활성화된 것으로 간주됩니다. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime | 큐에 제출되는 애플리케이션의 기본 수명(초)입니다. 0보다 작거나 같은 모든 값은 비활성화된 것으로 간주됩니다. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay | CapacityScheduler가 랙-로컬 컨테이너를 예약하려고 시도한 후 누락된 일정 예약 기회 수입니다. | int | 40 |
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay | CapacityScheduler로 오프 스위치 컨테이너를 예약하려고 시도한 후 node-locality-delay에 대해 추가로 놓친 예약 기회의 수입니다. | int | -1 |
hadoop-env.HADOOP_HEAPSIZE_MAX | 모든 Hadoop JVM 프로세스의 기본 최대 힙 크기입니다. | int | 2048 |
yarn-env. YARN_RESOURCEMANAGER_HEAPSIZE | Yarn ResourceManager의 힙 크기입니다. | int | 2048 |
yarn-env. YARN_NODEMANAGER_HEAPSIZE | Yarn NodeManager의 힙 크기입니다. | int | 2048 |
mapred-env. HADOOP_JOB_HISTORYSERVER_HEAPSIZE | Hadoop 작업 기록 서버의 힙 크기입니다. | int | 2048 |
hive-env. HADOOP_HEAPSIZE | Hive용 Hadoop의 힙 크기입니다. | int | 2048 |
livy-conf.livy.server.session.timeout-check | Livy 서버 세션 시간 제한을 확인합니다. | bool | true |
livy-conf.livy.server.session.timeout-check.skip-busy | Livy 서버 세션 제한 시간에 대한 확인을 사용하지 않습니다. | bool | true |
livy-conf.livy.server.session.timeout | livy 서버 세션의 제한 시간(ms/s/m | min/h/d/y) | string | 2h |
livy-conf.livy.server.yarn.poll-interval | livy 서버의 yarn에 대한 폴링 간격(ms/s/m | min/h/d/y) | string | 500ms |
livy-conf.livy.rsc.jars | Livy RSC jars. | string | local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar |
livy-conf.livy.repl.jars | Livy repl jar입니다. | string | local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar |
livy-conf.livy.rsc.sparkr.package | Livy RSC SparkR 패키지. | string | hdfs:///system/livy/sparkr.zip |
livy-env.LIVY_SERVER_JAVA_OPTS | Livy Server Java 옵션. | string | -Xmx2g |
spark-defaults-conf.spark.r.backendConnectionTimeout | RBackend에 대한 연결에서 R 프로세스에 의해 설정된 연결 제한 시간(초)입니다. | int | 86400 |
spark-defaults-conf.spark.pyspark.python | Spark에 대한 Python 옵션입니다. | string | /opt/bin/python3 |
spark-defaults-conf.spark.yarn.jars | Yarn jars. | string | local:/opt/spark/jars/* |
spark-history-server-conf.spark.history.fs.cleaner.maxAge | 파일 시스템 기록 클리너에 의해 삭제되기 전 작업 기록 파일의 최대 보존 기간(ms/s/m | min/h/d/y) | string | 7일 |
spark-history-server-conf.spark.history.fs.cleaner.interval | Spark 기록에 대한 클리너의 간격(ms/s/m | min/h/d/y) | string | 12시간 |
hadoop-env. HADOOP_CLASSPATH | 추가 Hadoop 클래스 경로를 설정합니다. | string | |
spark-env. SPARK_DAEMON_MEMORY | Spark 디먼 메모리입니다. | string | 2g |
yarn-site.yarn.log-aggregation.retain-seconds | 로그 집계를 사용하도록 설정하면 이 속성은 로그를 보존할 시간(초)을 결정합니다. | int | 604800 |
yarn-site.yarn.nodemanager.log-aggregation.compression-type | Yarn NodeManager 로그 집계의 압축 유형입니다. | string | gz |
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | NodeManager 로그 집계의 롤 모니터링 간격(초)입니다. | int | 3600 |
yarn-site.yarn.scheduler.minimum-allocation-mb | Resource Manager의 모든 컨테이너 요청(MB)에 대한 최소 할당입니다. | int | 512 |
yarn-site.yarn.scheduler.minimum-allocation-vcores | 가상 CPU 코어 측면에서 Resource Manager의 모든 컨테이너 요청에 대한 최소 할당입니다. | int | 1 |
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms | 노드 관리자가 데드로 간주될 때까지 대기하는 기간입니다. | int | 180000 |
yarn-site.yarn.resourcemanager.zk-timeout-ms | 'ZooKeeper' 세션 시간 제한(밀리초)입니다. | int | 40,000 |
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority | 우선 순위가 구성된 애플리케이션을 제출할 수 있는 사용자의 ACL입니다. 예를 들어 [user={name} group={name} max_priority={priority} default_priority={priority}]입니다. | string | * |
includeSpark | Spark 작업을 스토리지 풀에서 실행할 수 있는지 여부를 구성하는 부울입니다. | bool | true |
enableSparkOnK8s | Spark 헤드에서 K8s용 컨테이너를 추가하는 K8에서 Spark를 사용하도록 설정할지 여부를 구성하는 부울입니다. | bool | false |
sparkVersion | Spark 버전 | string | 2.4 |
spark-env. PYSPARK_ARCHIVES_PATH | spark 작업에 사용되는 pyspark 보관 jar의 경로입니다. | string | local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip |
다음 섹션에서는 지원되지 않는 구성을 나열합니다.
빅 데이터 클러스터별 기본 HDFS 설정
아래 HDFS 설정은 BDC별 기본값을 사용하지만 사용자 구성이 가능한 설정입니다. 시스템 관리 설정은 포함되지 않습니다.
설정 이름 | 설명 | Type | 기본값 |
---|---|---|---|
hdfs-site.dfs.replication | 기본 블록 복제. | int | 2 |
hdfs-site.dfs.namenode.provided.enabled | 이름 노드가 제공된 스토리지를 처리할 수 있도록 합니다. | bool | true |
hdfs.site.dfs.namenode.mount.acls.enabled | 탑재하는 동안 원격 저장소에서 ACL(액세스 제어 목록)을 상속하려면 true로 설정합니다. | bool | false |
hdfs-site.dfs.datanode.provided.enabled | 데이터 노드가 제공된 스토리지를 처리할 수 있도록 합니다. | bool | true |
hdfs-site.dfs.datanode.provided.volume.lazy.load | 제공된 스토리지에 대해 데이터 노드에서 지연 로드를 사용하도록 설정합니다. | bool | true |
hdfs-site.dfs.provided.aliasmap.inmemory.enabled | 제공된 스토리지에 대해 메모리 내 별칭 맵을 사용하도록 설정합니다. | bool | true |
hdfs-site.dfs.provided.aliasmap.class | 제공된 스토리지의 블록 입력 형식을 지정하는 데 사용하는 클래스입니다. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient |
hdfs-site.dfs.namenode.provided.aliasmap.class | namenode에 대해 제공된 스토리지의 블록 입력 형식을 지정하는 데 사용하는 클래스입니다. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient |
hdfs-site.dfs.provided.aliasmap.load.retries | 제공된 별칭 매핑을 로드하기 위한 데이터 노드의 재시도 횟수입니다. | int | 0 |
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size | 별칭 매핑을 지원하는 데이터베이스를 반복할 때의 일괄 처리 크기입니다. | int | 500 |
hdfs-site.dfs.datanode.provided.volume.readthrough | datanode에서 제공된 스토리지에 대해 읽기 처리량을 활성화합니다. | bool | true |
hdfs-site.dfs.provided.cache.capacity.mount | 제공된 스토리지에 캐시 용량 탑재를 사용하도록 설정합니다. | bool | true |
hdfs-site.dfs.provided.overreplication.factor | 제공된 스토리지에 대한 초과 복제 계수입니다. 원격 HDFS 블록당 생성된 BDC의 캐시 블록 수입니다. | float | 1 |
hdfs-site.dfs.provided.cache.capacity.fraction | 제공된 스토리지에 대한 캐시 용량 비율입니다. 제공된 저장소에서 데이터를 캐시하는 데 사용할 수 있는 클러스터의 총 용량 비율입니다. | float | 0.01 |
hdfs-site.dfs.provided.cache.capacity.bytes | 제공된 블록의 캐시 공간으로 사용할 클러스터 용량(바이트)입니다. | int | -1 |
hdfs-site.dfs.ls.limit | ls로 인쇄되는 파일 수를 제한합니다. | int | 500 |
hdfs-env. HDFS_NAMENODE_OPTS | HDFS Namenode 옵션입니다. | string | -Dhadoop.security.logger=INFO,RFAS -Xmx2g |
hdfs-env. HDFS_DATANODE_OPTS | HDFS Datanode 옵션입니다. | string | -Dhadoop.security.logger=ERROR,RFAS -Xmx2g |
hdfs-env.HDFS_ZKFC_OPTS | HDFS ZKFC 옵션. | string | -Xmx1g |
hdfs-env. HDFS_JOURNALNODE_OPTS | HDFS JournalNode 옵션. | string | -Xmx2g |
hdfs-env.HDFS_AUDIT_LOGGER | HDFS 감사 로거 옵션입니다. | string | 정보, RFAAUDIT |
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | 핵심 사이트 Hadoop LDAP 검색 그룹의 계층 수준입니다. | int | 10 |
core-site.fs.permissions.umask-mode | 권한 umask 모드입니다. | string | 077 |
core-site.hadoop.security.kms.client.failover.max.retries | 클라이언트 장애 조치(failover)의 최대 재시도 횟수입니다. | int | 20 |
zoo-cfg.tickTime | 'ZooKeeper' 구성의 틱 시간입니다. | int | 2000 |
zoo-cfg.initLimit | 'ZooKeeper' 구성의 Init 시간입니다. | int | 10 |
zoo-cfg.syncLimit | 'ZooKeeper' 구성에 대한 동기화 시간입니다. | int | 5 |
zoo-cfg.maxClientCnxns | 'ZooKeeper' 구성의 최대 클라이언트 연결 수입니다. | int | 60 |
zoo-cfg.minSessionTimeout | 'ZooKeeper' 구성에 대한 최소 세션 시간 제한입니다. | int | 4000 |
zoo-cfg.maxSessionTimeout | 'ZooKeeper' 구성에 대한 최대 세션 시간 제한입니다. | int | 40,000 |
zoo-cfg.autopurge.snapRetainCount | Autopurge 'ZooKeeper' 구성에 대한 스냅 보존 횟수입니다. | int | 3 |
zoo-cfg.autopurge.purgeInterval | Autopurge 'ZooKeeper' 구성에 대한 제거 간격입니다. | int | 0 |
zookeeper-java-env. JVMFLAGS | 'ZooKeeper'의 Java 환경에 대한 JVM 플래그입니다. | string | -Xmx1G -Xms1G |
zookeeper-log4j-properties.zookeeper.console.threshold | 'ZooKeeper' log4j 콘솔의 임계값입니다. | string | INFO |
zoo-cfg.zookeeper.request.timeout | 'ZooKeeper' 요청 제한 시간(밀리초)을 제어합니다. | int | 40,000 |
kms-site.hadoop.security.kms.encrypted.key.cache.size | hadoop kms의 암호화된 키에 대한 캐시 크기입니다. | int | 500 |
빅 데이터 클러스터 특정 기본 게이트웨이 설정
아래 게이트웨이 설정은 BDC 관련 기본값을 사용하지만 사용자 구성이 가능한 설정입니다. 시스템 관리 설정은 포함되지 않습니다. 게이트웨이 설정은 리소스 범위에서만 구성할 수 있습니다.
설정 이름 | 설명 | Type | 기본값 |
---|---|---|---|
gateway-site.gateway.httpclient.socketTimeout | 게이트웨이의 HTTP 클라이언트에 대한 소켓 시간 제한(ms/s/m)입니다. | string | 90년대 |
gateway-site.sun.security.krb5.debug | Kerberos 보안에 대한 디버그입니다. | bool | true |
knox-env.KNOX_GATEWAY_MEM_OPTS | Knox 게이트웨이 메모리 옵션입니다. | string | -Xmx2g |
지원되지 않는 Spark 구성
다음 spark
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
범주 | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
yarn-site | yarn-site.xml | yarn.log-aggregation-enable | |
yarn.log.server.url | |||
yarn.nodemanager.pmem-check-enabled | |||
yarn.nodemanager.vmem-check-enabled | |||
yarn.nodemanager.aux-services | |||
yarn.resourcemanager.address | |||
yarn.nodemanager.address | |||
yarn.client.failover-no-ha-proxy-provider | |||
yarn.client.failover-proxy-provider | |||
yarn.http.policy | |||
yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user | |||
yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix | |||
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | |||
yarn.acl.enable | |||
yarn.admin.acl | |||
yarn.resourcemanager.hostname | |||
yarn.resourcemanager.principal | |||
yarn.resourcemanager.keytab | |||
yarn.resourcemanager.webapp.spnego-keytab-file | |||
yarn.resourcemanager.webapp.spnego-principal | |||
yarn.nodemanager.principal | |||
yarn.nodemanager.keytab | |||
yarn.nodemanager.webapp.spnego-keytab-file | |||
yarn.nodemanager.webapp.spnego-principal | |||
yarn.resourcemanager.ha.enabled | |||
yarn.resourcemanager.cluster-id | |||
yarn.resourcemanager.zk-address | |||
yarn.resourcemanager.ha.rm ID | |||
yarn.resourcemanager.hostname.* | |||
capacity-scheduler | capacity-scheduler.xml | yarn.scheduler.capacity.root.acl_submit_applications | |
yarn.scheduler.capacity.root.acl_administer_queue | |||
yarn.scheduler.capacity.root.default.acl_application_max_priority | |||
yarn-env | yarn-env.sh | ||
spark-defaults-conf | spark-defaults.conf | spark.yarn.archive | |
spark.yarn.historyServer.address | |||
spark.eventLog.enabled | |||
spark.eventLog.dir | |||
spark.sql.warehouse.dir | |||
spark.sql.hive.metastore.version | |||
spark.sql.hive.metastore.jars | |||
spark.extraListeners | |||
spark.metrics.conf | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.ui.enabled | |||
spark-env | spark-env.sh | SPARK_NO_DAEMONIZE | |
SPARK_DIST_CLASSPATH | |||
spark-history-server-conf | spark-history-server.conf | spark.history.fs.logDirectory | |
spark.ui.proxyBase | |||
spark.history.fs.cleaner.enabled | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.history.kerberos.enabled | |||
spark.history.kerberos.principal | |||
spark.history.kerberos.keytab | |||
spark.ui.filters | |||
spark.acls.enable | |||
spark.history.ui.acls.enable | |||
spark.history.ui.admin.acls | |||
spark.history.ui.admin.acls.groups | |||
livy-conf | livy.conf | livy.keystore | |
livy.keystore.password | |||
livy.spark.master | |||
livy.spark.deploy-mode | |||
livy.rsc.jars | |||
livy.repl.jars | |||
livy.rsc.pyspark.archives | |||
livy.rsc.sparkr.package | |||
livy.repl.enable-hive-context | |||
livy.superusers | |||
livy.server.auth.type | |||
livy.server.launch.kerberos.keytab | |||
livy.server.launch.kerberos.principal | |||
livy.server.auth.kerberos.principal | |||
livy.server.auth.kerberos.keytab | |||
livy.impersonation.enabled | |||
livy.server.access-control.enabled | |||
livy.server.access-control.* | |||
livy-env | livy-env.sh | ||
hive-site | hive-site.xml | javax.jdo.option.ConnectionURL | |
javax.jdo.option.ConnectionDriverName | |||
javax.jdo.option.ConnectionUserName | |||
javax.jdo.option.ConnectionPassword | |||
hive.metastore.uris | |||
hive.metastore.pre.event.listeners | |||
hive.security.authorization.enabled | |||
hive.security.metastore.authenticator.manager | |||
hive.security.metastore.authorization.manager | |||
hive.metastore.use.SSL | |||
hive.metastore.keystore.path | |||
hive.metastore.keystore.password | |||
hive.metastore.truststore.path | |||
hive.metastore.truststore.password | |||
hive.metastore.kerberos.keytab.file | |||
hive.metastore.kerberos.principal | |||
hive.metastore.sasl.enabled | |||
hive.metastore.execute.setugi | |||
hive.cluster.delegation.token.store.class | |||
hive-env | hive-env.sh |
지원되지 않는 HDFS 구성
다음 hdfs
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
범주 | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
core-site | core-site.xml | fs.defaultFS | |
ha.zookeeper.quorum | |||
hadoop.tmp.dir | |||
hadoop.rpc.protection | |||
hadoop.security.auth_to_local | |||
hadoop.security.authentication | |||
hadoop.security.authorization | |||
hadoop.http.authentication.simple.anonymous.allowed | |||
hadoop.http.authentication.type | |||
hadoop.http.authentication.kerberos.principal | |||
hadoop.http.authentication.kerberos.keytab | |||
hadoop.http.filter.initializers | |||
hadoop.security.group.mapping.* | |||
hadoop.security.key.provider.path | |||
mapred-env | mapred-env.sh | ||
hdfs-site | hdfs-site.xml | dfs.namenode.name.dir | |
dfs.datanode.data.dir | |||
dfs.namenode.acls.enabled | |||
dfs.namenode.datanode.registration.ip-hostname-check | |||
dfs.client.retry.policy.enabled | |||
dfs.permissions.enabled | |||
dfs.nameservices | |||
dfs.ha.namenodes.nmnode-0 | |||
dfs.namenode.rpc-address.nmnode-0.* | |||
dfs.namenode.shared.edits.dir | |||
dfs.ha.automatic-failover.enabled | |||
dfs.ha.fencing.methods | |||
dfs.journalnode.edits.dir | |||
dfs.client.failover.proxy.provider.nmnode-0 | |||
dfs.namenode.http-address | |||
dfs.namenode.httpS-address | |||
dfs.http.policy | |||
dfs.encrypt.data.transfer | |||
dfs.block.access.token.enable | |||
dfs.data.transfer.protection | |||
dfs.encrypt.data.transfer.cipher.suites | |||
dfs.https.port | |||
dfs.namenode.keytab.file | |||
dfs.namenode.kerberos.principal | |||
dfs.namenode.kerberos.internal.spnego.principal | |||
dfs.datanode.data.dir.perm | |||
dfs.datanode.address | |||
dfs.datanode.http.address | |||
dfs.datanode.ipc.address | |||
dfs.datanode.https.address | |||
dfs.datanode.keytab.file | |||
dfs.datanode.kerberos.principal | |||
dfs.journalnode.keytab.file | |||
dfs.journalnode.kerberos.principal | |||
dfs.journalnode.kerberos.internal.spnego.principal | |||
dfs.web.authentication.kerberos.keytab | |||
dfs.web.authentication.kerberos.principal | |||
dfs.webhdfs.enabled | |||
dfs.permissions.superusergroup | |||
hdfs-env | hdfs-env.sh | HADOOP_HEAPSIZE_MAX | |
zoo-cfg | zoo.cfg | secureClientPort | |
clientPort | |||
dataDir | |||
dataLogDir | |||
4lw.commands.whitelist | |||
zookeeper-java-env | java.env | ZK_LOG_DIR | |
SERVER_JVMFLAGS | |||
zookeeper-log4j-properties | log4j.properties(zookeeper) | log4j.rootLogger | |
log4j.appender.CONSOLE.* |
참고 항목
이 문서에는 Microsoft에서 이 컨텍스트에서 민감하지 않음으로 간주하는 용어인 허용 목록이라는 용어가 포함되어 있습니다. 이 용어가 이 문서에 나타나는 이유는 현재 소프트웨어에 나타나기 때문입니다. 소프트웨어에서 이 용어가 제거되면 문서에서 제거할 것입니다.
지원되지 않는 gateway
구성
다음 gateway
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
범주 | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
gateway-site | gateway-site.xml | gateway.port | |
gateway.path | |||
gateway.gateway.conf.dir | |||
gateway.hadoop.kerberos.secured | |||
java.security.krb5.conf | |||
java.security.auth.login.config | |||
gateway.websocket.feature.enabled | |||
gateway.scope.cookies.feature.enabled | |||
ssl.exclude.protocols | |||
ssl.include.ciphers |