Configurer PolyBase pour accéder à des données externes dans Stockage Blob Azure

SQL Server 2022

Dans SQL Server 2022 (16.x), configurez vos sources de données externes pour utiliser les nouveaux connecteurs lors de la connexion à Stockage Azure. Le tableau ci-dessous résume la modification :

1. Exécutez sp_configure avec 'hadoop connectivity' défini sur un fournisseur Stockage Blob Azure. Pour trouver la valeur pour les fournisseurs, consultez Configuration de la connectivité PolyBase. Par défaut, la connectivité Hadoop est définie sur 7.

   -- Values map to various external data sources.  
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage  
   sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
   GO
   
   RECONFIGURE
   GO
   

2. Redémarrez SQL Server avec services.msc. Le redémarrage de SQL Server redémarre ces services :

   • Service de déplacement des données SQL Server PolyBase
   • Moteur SQL Server PolyBase

   

1. Redémarrez SQL Server avec services.msc. Le redémarrage de SQL Server redémarre ces services :

   • Service de déplacement des données SQL Server PolyBase
   • Moteur SQL Server PolyBase

   

1. Créez une clé principale sur la base de données. La clé principale est nécessaire pour chiffrer le secret des informations d’identification.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Créez des informations d’identification incluses dans l’étendue de la base de données pour le Stockage Blob Azure. Vous pouvez choisir n’importe quelle IDENTITY puisque celle-ci ne sera pas utilisée.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).  
   -- SECRET: your Azure storage account key.  
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user', Secret = '<azure_storage_account_key>';
   

3. Créez une source de données externe avec CREATE EXTERNAL DATA SOURCE. Notez que quand vous vous connectez au Stockage Azure via le connecteur wasb[s], l’authentification doit être effectuée avec une clé de compte de stockage, et non avec une signature d’accès partagé (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         TYPE = HADOOP,
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Créez un format de fichier externe avec CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Créez une table externe pointant vers les données stockées dans Stockage Azure avec CREATE EXTERNAL TABLE. Dans cet exemple, les données externes contiennent des données de capteur de voiture ; LOCATION ne peut pas être / mais /Demo/, comme dans cet exemple, n’a pas besoin d’exister au préalable.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Créez des statistiques sur une table externe.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)  
   

1. Créez une clé principale sur la base de données. La clé principale est nécessaire pour chiffrer le secret des informations d’identification.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';  
   

2. Créez des informations d’identification incluses dans l’étendue de la base de données pour le Stockage Blob Azure en utilisant une signature d'accès partagé (SAS) ; vous pouvez choisir n’importe quelle IDENTITY puisque celle-ci ne sera pas utilisée.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH
   IDENTITY = 'SHARED ACCESS SIGNATURE',
   -- Remove ? from the beginning of the SAS token
   SECRET = '<azure_shared_access_signature>' ;
   

3. Créez une source de données externe avec CREATE EXTERNAL DATA SOURCE. Notez que quand vous vous connectez au Stockage Azure via le connecteur WASB[s], l’authentification doit être faite avec une signature d’accès partagé (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.  
   -- CREDENTIAL: The database scoped credential created above.  
   CREATE EXTERNAL DATA SOURCE AzureStorage with (  
         LOCATION ='wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',  
         CREDENTIAL = AzureStorageCredential  
   );  
   

4. Créez un format de fichier externe avec CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (  
         FORMAT_TYPE = DELIMITEDTEXT,
         FORMAT_OPTIONS (FIELD_TERMINATOR ='|',
               USE_TYPE_DEFAULT = TRUE))  
   

5. Créez une table externe pointant vers les données stockées dans Stockage Azure avec CREATE EXTERNAL TABLE. Dans cet exemple, les données externes contiennent des données de capteur de voiture ; LOCATION ne peut pas être / mais /Demo/, comme dans cet exemple, n’a pas besoin d’exister au préalable.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).  
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data] (  
         [SensorKey] int NOT NULL,
         [CustomerKey] int NOT NULL,
         [GeographyKey] int NULL,
         [Speed] float NOT NULL,
         [YearMeasured] int NOT NULL  
   )  
   WITH (LOCATION='/Demo/',
         DATA_SOURCE = AzureStorage,  
         FILE_FORMAT = TextFileFormat  
   );  
   

6. Créez des statistiques sur une table externe.

   CREATE STATISTICS StatsForSensors on CarSensor_Data(CustomerKey, Speed)