Kubernetes에 SQL Server 빅 데이터 클러스터를 배포하는 방법

적용 대상: SQL Server 2019(15.x)

SQL Server 빅 데이터 클러스터는 Kubernetes 클러스터에 docker 컨테이너로 배포됩니다. 설정 및 구성 단계에 대한 개요입니다.

• AKS(Azure Kubernetes Service), Red Hat OpenShift 또는 ARO(Azure Red Hat OpenShift)에서 단일 VM, VM 클러스터에 Kubernetes 클러스터를 설정합니다.
• 클라이언트 컴퓨터에 클러스터 구성 도구인 Azure Data CLI(azdata)를 설치합니다.
• Kubernetes 클러스터에서 SQL Server 빅 데이터 클러스터를 배포합니다.

테스트된 구성

SQL Server 빅 데이터 클러스터 배포하기 위해 유효성이 검사된 다양한 Kubernetes 플랫폼의 전체 목록을 확인하려면 테스트된 구성을 참조하세요.

SQL Server 버전

Kubernetes

Kubernetes 클러스터 설정

위의 필수 조건을 충족하는 Kubernetes 클러스터가 이미 있는 경우 바로 배포 단계로 건너뛸 수 있습니다. 이 섹션에서는 Kubernetes 개념에 대한 기본 지식이 있다고 가정합니다. Kubernetes에 대한 자세한 내용은 Kubernetes 설명서를 참조하세요.

Kubernetes를 다음과 같은 방법으로 배포하도록 선택할 수 있습니다.

Kubernetes 구성 확인

kubectl 명령을 실행하여 클러스터 구성을 확인합니다. kubectl이 올바른 클러스터 컨텍스트를 가리키는지 확인합니다.

kubectl config view

Kubernetes 클러스터를 구성한 후에는 새 SQL Server 빅 데이터 클러스터의 배포를 진행할 수 있습니다. 이전 릴리스에서 업그레이드하는 경우에는 SQL Server 빅 데이터 클러스터 업그레이드 방법을 참조하세요.

스토리지를 구성했는지 확인

대부분의 빅 데이터 클러스터 배포에는 영구 스토리지가 있어야 합니다. 이번에는 배포하기 전에 Kubernetes 클러스터에서 영구적 스토리지를 제공하는 방법에 대한 계획이 있는지 확인해야 합니다.

• AKS에서 배포하는 경우에는 스토리지를 설치할 필요가 없습니다. AKS는 동적 프로비저닝이 포함된 기본 제공 스토리지 클래스를 제공합니다. 스토리지 클래스(default 또는 managed-premium)는 배포 구성 파일에서 사용자 지정할 수 있습니다. 기본 제공 프로필은 default 스토리지 클래스를 사용합니다.
• kubeadm를 사용해 배포한 Kubernetes 클러스터에 배포하는 경우 사용 가능하고 사용하도록 구성된 원하는 규모의 클러스터에 대한 스토리지가 충분히 있는지 확인해야 합니다. 스토리지 사용 방식을 사용자 지정하려면 계속하기 전에 이 작업을 수행해야 합니다. Kubernetes에서의 SQL Server 빅 데이터 클러스터를 사용한 데이터 지속성을 참조하세요.

SQL Server 2019 빅 데이터 도구 설치

SQL Server 2019 빅 데이터 클러스터를 배포하기 전에 먼저 빅 데이터 도구를 설치합니다.

• Azure Data CLI(azdata)
• kubectl
• Azure Data Studio
• Azure Data Studio용 데이터 가상화 확장
• AKS에 배포하는 경우 Azure CLI

배포 개요

대부분의 빅 데이터 클러스터 설정은 JSON 배포 구성 파일에 정의되어 있습니다. kubeadm으로 만든 AKS 및 Kubernetes 클러스터에 기본 배포 프로필을 사용해도 되고, 설치 중에 사용할 고유한 배포 구성 파일을 사용자 지정할 수도 있습니다. 보안상의 이유로 인증 설정은 환경 변수를 통해 전달됩니다.

다음 섹션에는 빅 데이터 클러스터 배포를 구성하는 방법에 대한 자세한 내용뿐 아니라 일반적인 사용자 지정 예제가 나와 있습니다. 또한 VS Code와 같은 편집기를 사용하여 언제든 사용자 지정 배포 구성 파일을 편집할 수 있습니다.

기본 구성

빅 데이터 클러스터 배포 옵션은 JSON 구성 파일에 정의되어 있습니다. 클러스터 배포 사용자 지정은 Azure Data CLI(azdata)에서 사용할 수 있는 기본 제공 배포 프로필에서 시작할 수 있습니다.

이 명령을 실행하여 사용할 수 있는 템플릿을 확인합니다.

azdata bdc config list -o table 

SQL Server 2019 CU5를 기준으로 다음 템플릿을 사용할 수 있습니다.

azdata bdc create를 실행하여 빅 데이터 클러스터를 배포할 수 있습니다. 그러면 기본 구성 중 하나를 선택하라는 메시지가 표시되고 배포를 안내합니다.

Azure Data CLI(azdata)를 처음 실행하는 경우에는 --accept-eula=yes를 포함하여 EULA(최종 사용자 사용권 계약)에 동의해야 합니다.

azdata bdc create --accept-eula=yes

이 시나리오에서는 암호 등 기본 구성의 일부가 아닌 모든 설정을 묻는 메시지가 표시됩니다.

사용자 지정 구성

실행하려는 워크로드를 수용하도록 배포를 사용자 지정하는 것도 가능합니다. 배포 후에는 빅 데이터 클러스터 서비스에 대한 크기 조정(복제본(replica) 수) 또는 스토리지 설정을 변경할 수 없으므로 용량 문제를 방지하기 위해 배포 구성을 신중하게 계획해야 합니다. 배포를 사용자 지정하려면 다음 단계를 수행합니다.

1. Kubernetes 환경과 일치하는 표준 배포 프로필 중 하나부터 시작합니다. 다음과 같이 azdata bdc config list 명령을 사용하여 프로필을 나열할 수 있습니다.

   azdata bdc config list
   

2. 배포를 사용자 지정하려면 azdata bdc config init 명령을 사용하여 배포 프로필의 복사본을 만듭니다. 예를 들어 다음 명령은 aks-dev-test이라는 대상 디렉터리에 custom 배포 구성 파일의 복사본을 만듭니다.

   azdata bdc config init --source aks-dev-test --target custom
   

   팁

   --target는 --source 매개 변수에 따라 구성 파일, bdc.json 및 control.json을 포함하는 디렉터리를 지정합니다.

3. 배포 구성 프로필의 설정을 사용자 지정하려면 JSON 파일을 편집하는 데 적합한 VS Code 등의 도구에서 배포 구성 파일을 편집할 수 있습니다. 스크립트된 자동화의 경우 azdata bdc config 명령을 사용하여 사용자 지정 배포 프로필을 편집할 수도 있습니다. 예를 들어 다음 명령은 사용자 지정 배포 프로필을 변경하여 배포된 클러스터의 이름을 기본값(mssql-cluster)에서 test-cluster로 변경합니다.

   azdata bdc config replace --config-file custom/bdc.json --json-values "metadata.name=test-cluster"
   

   팁

   azdata create bdc 명령에 대한 --name 매개 변수를 사용하여 배포 시점에 클러스터 이름을 전달할 수도 있습니다. 명령의 매개 변수는 구성 파일의 값보다 우선합니다.

   JSON 경로를 찾는 데 유용한 도구는 JSONPath Online Evaluator입니다.

   키-값 쌍을 전달하는 것 외에도 인라인 JSON 값을 제공하거나 JSON 패치 파일을 전달할 수 있습니다. 자세한 내용은 빅 데이터 클러스터의 배포 설정 구성 리소스 및 서비스를 참조하세요.

4. 사용자 지정 구성 파일을 azdata bdc create에 전달합니다. 필요한 환경 변수를 설정해야 합니다. 그렇지 않으면 터미널에서 값을 묻는 메시지를 표시합니다.

   azdata bdc create --config-profile custom --accept-eula yes
   

배포 구성 파일의 구조에 대한 자세한 내용은 배포 구성 파일 참조를 참조하세요. 자세한 구성 예제는 빅 데이터 클러스터의 배포 설정 구성을 참조하세요.

환경 변수

다음 환경 변수는 배포 구성 파일에 저장되지 않은 보안 설정에 사용됩니다. 자격 증명을 제외한 Docker 설정은 구성 파일에서 설정할 수 있습니다.

azdata bdc create를 호출하기 전에 이러한 환경 변수를 설정해야 합니다. 변수를 설정하지 않으면 변수를 입력하라는 메시지가 표시됩니다.

다음 예제에는 Linux(bash) 및 Windows(PowerShell)에 대한 환경 변수를 설정하는 방법이 나와 있습니다.

export AZDATA_USERNAME=admin
export AZDATA_PASSWORD=<password>
export ACCEPT_EULA=yes

SET AZDATA_USERNAME=admin
SET AZDATA_PASSWORD=<password>

환경 변수를 설정한 후에는 azdata bdc create를 실행하여 배포를 트리거해야 합니다. 이 예제에서는 위에서 만든 클러스터 구성 프로필을 사용합니다.

azdata bdc create --config-profile custom --accept-eula yes

다음 지침에 유의하세요.

• 특수 문자가 포함되어 있는 경우 암호를 큰따옴표로 래핑해야 합니다. AZDATA_PASSWORD를 원하는 대로 설정할 수 있지만, 암호가 충분히 복잡해야 하며 !, & 또는 ' 문자를 사용하지 않도록 주의해야 합니다. 큰따옴표 구분 기호는 bash 명령에서만 작동합니다.
• AZDATA_USERNAME 로그인은 설치 중에 생성되는 SQL Server 마스터 인스턴스의 시스템 관리자입니다. SQL Server 컨테이너를 만든 후 컨테이너에서 echo $AZDATA_PASSWORD를 실행하여 지정한 AZDATA_PASSWORD 환경 변수를 검색할 수 있습니다. 보안을 위해 암호를 변경하는 것이 좋습니다.

무인 설치

무인 배포의 경우 필요한 모든 환경 변수를 설정하고, 구성 파일을 사용하고, azdata bdc create 매개 변수를 사용하여 --accept-eula yes 명령을 호출해야 합니다. 이전 섹션의 예제에서는 무인 설치 구문을 보여줍니다.

배포 모니터링

클러스터 부트스트랩 중에 클라이언트 명령 창은 배포 상태를 반환합니다. 배포 프로세스 중에는 컨트롤러 Pod를 위해 대기하는 곳에서 일련의 메시지를 볼 수 있습니다.

Waiting for cluster controller to start.

15~30분 내에 컨트롤러 Pod가 실행되고 있다는 알림이 표시됩니다.

Cluster controller endpoint is available at 11.111.111.11:30080.
Cluster control plane is ready.

배포가 완료되면 출력에서 성공 여부를 알 수 있습니다.

Cluster deployed successfully.

엔드포인트 검색

배포 스크립트가 성공적으로 완료되면 다음 단계에 따라 빅 데이터 클러스터의 외부 엔드포인트 주소를 가져올 수 있습니다.

1. 배포 후에는 컨트롤러 엔드포인트의 IP 주소를 배포 표준 출력에서 찾거나 다음 kubectl 명령의 EXTERNAL-IP 출력을 확인하여 찾습니다.

   kubectl get svc controller-svc-external -n <your-big-data-cluster-name>
   

   팁

   배포하는 동안 기본 이름을 변경하지 않은 경우 이전 명령에서 -n mssql-cluster를 사용합니다. 빅 데이터 클러스터의 기본 이름은 mssql-cluster입니다.

2. azdata 로그인을 사용하여 빅 데이터 클러스터에 로그인합니다. --endpoint 매개 변수를 컨트롤러 엔드포인트의 외부 IP 주소로 설정합니다.

   azdata login --endpoint https://<ip-address-of-controller-svc-external>:30080 --username <user-name>
   

   배포 중에 빅 데이터 클러스터 관리자에 대해 구성한 사용자 이름 및 암호(AZDATA_USERNAME 및 AZDATA_PASSWORD)를 지정합니다.

   팁

   Kubernetes 클러스터 관리자이고 클러스터 구성 파일(kube config 파일)에 액세스할 수 있는 경우 대상 Kubernetes 클러스터를 가리키도록 현재 컨텍스트를 구성할 수 있습니다. 이 경우 빅 데이터 클러스터 이름이 namespace인 azdata login -n <namespaceName>로 로그인할 수 있습니다. 로그인 명령 내에서 지정하지 않으면 자격 증명을 입력하라는 메시지가 표시됩니다.

3. azdata bdc endpoint list를 실행하여 각 엔드포인트에 대한 설명과 해당 IP 주소 및 포트 값이 포함된 목록을 가져옵니다.

   azdata bdc endpoint list -o table
   

   다음 목록은 이 명령의 샘플 출력을 보여 줍니다.

   Description                                             Endpoint                                                   Ip              Name               Port    Protocol
   ------------------------------------------------------  ---------------------------------------------------------  --------------  -----------------  ------  ----------
   Gateway to access HDFS files, Spark                     https://11.111.111.111:30443                               11.111.111.111  gateway            30443   https
   Spark Jobs Management and Monitoring Dashboard          https://11.111.111.111:30443/gateway/default/sparkhistory  11.111.111.111  spark-history      30443   https
   Spark Diagnostics and Monitoring Dashboard              https://11.111.111.111:30443/gateway/default/yarn          11.111.111.111  yarn-ui            30443   https
   Application Proxy                                       https://11.111.111.111:30778                               11.111.111.111  app-proxy          30778   https
   Management Proxy                                        https://11.111.111.111:30777                               11.111.111.111  mgmtproxy          30777   https
   Log Search Dashboard                                    https://11.111.111.111:30777/kibana                        11.111.111.111  logsui             30777   https
   Metrics Dashboard                                       https://11.111.111.111:30777/grafana                       11.111.111.111  metricsui          30777   https
   Cluster Management Service                              https://11.111.111.111:30080                               11.111.111.111  controller         30080   https
   SQL Server Master Instance Front-End                    11.111.111.111,31433                                       11.111.111.111  sql-server-master  31433   tcp
   HDFS File System Proxy                                  https://11.111.111.111:30443/gateway/default/webhdfs/v1    11.111.111.111  webhdfs            30443   https
   Proxy for running Spark statements, jobs, applications  https://11.111.111.111:30443/gateway/default/livy/v1       11.111.111.111  livy               30443   https
   

다음 kubectl 명령을 실행하여 클러스터에 대해 배포된 모든 서비스 엔드포인트를 가져올 수도 있습니다.

kubectl get svc -n <your-big-data-cluster-name>

클러스터 상태 확인

배포 후에는 azdata bdc status show 명령을 사용하여 클러스터의 상태를 검사할 수 있습니다.

azdata bdc status show

다음은 이 명령의 샘플 출력을 보여 줍니다.

Bdc: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Services: ready                                                                                                                                                                                                     Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Servicename    State    Healthstatus    Details

 sql            ready    healthy         -
 hdfs           ready    healthy         -
 spark          ready    healthy         -
 control        ready    healthy         -
 gateway        ready    healthy         -
 app            ready    healthy         -


 Sql Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Hdfs Services: ready                                                                                                                                                                                                Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 nmnode-0        ready    healthy         StatefulSet nmnode-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy
 sparkhead       ready    healthy         StatefulSet sparkhead is healthy


 Spark Services: ready                                                                                                                                                                                               Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 sparkhead       ready    healthy         StatefulSet sparkhead is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Control Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy


 Gateway Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 gateway         ready    healthy         StatefulSet gateway is healthy


 App Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 appproxy        ready    healthy         ReplicaSet appproxy is healthy

다음 명령을 사용하여 자세한 상태를 가져올 수도 있습니다.

• azdata bdc control control show는 컨트롤 관리 서비스와 연결된 모든 구성 요소에 대한 상태를 반환합니다.

azdata bdc control status show

샘플 출력:

Control: ready                                                                                                                                                                                                      Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy

• azdata bdc sql status show는 SQL Server 서비스가 있는 모든 리소스에 대한 상태를 반환합니다.

azdata bdc sql status show

샘플 출력:

Sql: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy

Azure Data CLI(azdata) 외에도 Azure Data Studio를 사용하여 엔드포인트 및 상태 정보를 모두 확인할 수 있습니다. Azure Data CLI(azdata) 및 Azure Data Studio를 사용하여 클러스터 상태를 확인하는 방법에 대한 자세한 내용은 빅 데이터 클러스터의 상태 확인 방법을 참조하세요.

클러스터에 연결

빅 데이터 클러스터에 연결하는 방법에 대한 자세한 내용은 Azure Data Studio를 사용하여 SQL Server 빅 데이터 클러스터에 연결을 참조하세요.

다음 단계

SQL Server 빅 데이터 클러스터 배포에 대한 자세한 내용을 알아보려면 다음 리소스를 참조하세요.

• 빅 데이터 클러스터의 배포 설정 구성
• SQL Server 빅 데이터 클러스터의 오프라인 배포 수행
• 워크샵: Microsoft SQL Server 빅 데이터 클러스터 아키텍처
• 빅 데이터 클러스터 FAQ