Distribuire Geospatial Consumption Zone

Distribuire Geospatial Consumption Zone (GCZ) nel servizio Azure Kubernetes (AKS)

Informazioni su come distribuire Geospatial Consumption Zone (GCZ) nel servizio Azure Kubernetes (AKS).

Prerequisiti

• Sottoscrizione di Azure. Se non hai una sottoscrizione di Azure, crea un account gratuito.
• Cluster di Azure Kubernetes (AKS) con integrazione della rete virtuale. Per altre istruzioni, vedere Creare un cluster del servizio Azure Kubernetes (AKS) e Rete Azure Container Networking Interface (CNI).
• Azure Cloud Shell o l’interfaccia della riga di comando di Azure, kubectl e l'interfaccia della riga di comando di Git.

Distribuire il grafico HELM di Geospatial Consumption Zone (GCZ)

1. Clonare il repository GCZ nell'ambiente locale:

   git clone https://community.opengroup.org/osdu/platform/consumption/geospatial.git
   

2. Cambiare directory nella cartella geospatial:

   cd geospatial/devops/azure/charts/geospatial
   

3. Definire le variabili per la distribuzione:

   • Shell Unix
   • Windows PowerShell

   # Define the variables for Azure Data Manager for Energy
   AZURE_DNS_NAME="<instanceName>.energy.azure.com"  # Example: demo.energy.azure.com
   DATA_PARTITION_ID="<dataPartitionId>" # Data partition ID. Example: opendes
   AZURE_TENANT_ID="<tenantId>" # Entra ID tenant ID. Example: aaaabbbb-0000-cccc-1111-dddd2222eeee
   AZURE_CLIENT_ID="<clientId>" # App Registration client ID. Example: 00001111-aaaa-2222-bbbb-3333cccc4444
   AZURE_CLIENT_SECRET="<clientSecret>" # App Registration client secret. Example: Aa1Bb~2Cc3.-Dd4Ee5Ff6Gg7Hh8Ii9_Jj0Kk1Ll2
   SCOPE="<scope>" # Scope of the App Registration. Example: 00001111-aaaa-2222-bbbb-3333cccc4444/.default
   CALLBACK_URL="http://localhost:8080" # Redirect URI of the ADME App Registration (from scope) ie: http://localhost:8080
   PRIVATE_NETWORK="true" # Set to false if you want to expose the service publicly using a LoadBalancer. You can still expose the service using an Ingress Controller or Azure API Management at a later stage.
   
   # Define the variables for AKS
   AKS_NAME="<aksName>" # Name of the AKS cluster. Example: gcz-aks-cluster.
   RESOURCE_GROUP="<resourceGroupName>" # Name of the resource group. Example: gcz-rg.
   NAMESPACE="ignite" # Name of the AKS namespace you want to deploy to. We recommend to leave it default.
   GCZ_IGNITE_SERVICE="ignite-service" # Name of the ignite service. We recommend to leave it default.
   GCZ_IGNITE_NAMESPACE=$NAMESPACE
   CHART=osdu-gcz-service
   CHART_VERSION=1.27.0
   VERSION=0.27.0
   

4. Creare il grafico HELM:

   • Shell Unix
   • Windows PowerShell

   cat > osdu_gcz_custom_values.yaml << EOF
   # This file contains the essential configs for the gcz on azure helm chart
   
   ################################################################################
   # Specify the values for each service.
   #
   global:
       ignite:
           namespace: $NAMESPACE
           name: ignite
           image:
               name: gridgain/community
               tag: 8.8.43
           configuration:
               gcz_ignite_namespace: "$GCZ_IGNITE_NAMESPACE"
               gcz_ignite_service: "$GCZ_IGNITE_SERVICE"
       provider:
           namespace: $NAMESPACE
           entitlementsGroupsURL: "https://$AZURE_DNS_NAME/api/entitlements/v2/groups"
           image:
               repository: community.opengroup.org:5555
               name: osdu/platform/consumption/geospatial/geospatial-provider-master
               tag: latest
           service:
               type: LoadBalancer
           configuration:
               privateNetwork: "$PRIVATE_NETWORK"
       transformer:
           namespace: $NAMESPACE
           image:
               repository: community.opengroup.org:5555
               name: osdu/platform/consumption/geospatial/geospatial-transformer-master
               tag: latest
           service:
               type: LoadBalancer
           configuration:
               privateNetwork: "$PRIVATE_NETWORK"
               datapartitionid: $DATA_PARTITION_ID
               clientId: $AZURE_CLIENT_ID
               tenantId: $AZURE_TENANT_ID
               callbackURL: $CALLBACK_URL
               scope: $SCOPE
               searchQueryURL: "https://$AZURE_DNS_NAME/api/search/v2/query"
               searchCursorURL: "https://$AZURE_DNS_NAME/api/search/v2/query_with_cursor"
               schemaURL: "https://$AZURE_DNS_NAME/api/schema-service/v1/schema"
               entitlementsURL: "https://$AZURE_DNS_NAME/api/entitlements/v2"
               fileRetrievalURL: "https://$AZURE_DNS_NAME/api/dataset/v1/retrievalInstructions"
               crsconvertorURL: "https://$AZURE_DNS_NAME/api/crs/converter/v3/convertTrajectory"
               storageURL: "https://$AZURE_DNS_NAME/api/storage/v2/records"
               clientSecret: $(echo "$AZURE_CLIENT_SECRET" | base64)
               gcz_ignite_namespace: "$GCZ_IGNITE_NAMESPACE"
               gcz_ignite_service: "$GCZ_IGNITE_SERVICE"
   EOF
   

5. Modificare il tipo di servizio in LoadBalancer per i file di configurazione dei servizi provider e transformer.

   • Shell Unix
   • Windows PowerShell

   cat > ../provider/templates/service.yaml << EOF
   apiVersion: v1
   kind: Service
   metadata:
       name: gcz-provider
       namespace: {{ $.Values.global.provider.namespace }}
       annotations:
           service.beta.kubernetes.io/azure-load-balancer-internal: "{{ $.Values.global.provider.configuration.privateNetwork }}"
   spec:
       selector:
           app: provider
       ports:
       - port: 80
         protocol: TCP
         targetPort: 8083
       type: {{ $.Values.global.provider.service.type }}
   EOF
   
   cat > ../transformer/templates/service.yaml << EOF
   apiVersion: v1
   kind: Service
   metadata:
       name: gcz-transformer
       namespace: {{ $.Values.global.transformer.namespace }}
       annotations:
           service.beta.kubernetes.io/azure-load-balancer-internal: "{{ $.Values.global.transformer.configuration.privateNetwork }}"
   spec:
       selector:
           app: transformer
       ports:
       - port: 80
         protocol: TCP
         targetPort: 8080
       type: {{ $.Values.global.transformer.service.type }}
   EOF
   

6. Esaminare il file application.yml di configurazione del trasformatore per assicurarsi che siano inclusi gli schemi corretti.

   nano ../transformer/application.yml
   

7. Esaminare il file koop-config.jsondi configurazione del provider .

   nano ../provider/koop-config.json
   

8. Eseguire l'autenticazione nel cluster del servizio Azure Kubernetes (AKS):

   az aks get-credentials --resource-group $RESOURCE_GROUP --name $AKS_NAME --admin
   

9. Creare uno spazio dei nomi del servizio Azure Kubernetes:

   kubectl create namespace $NAMESPACE
   

10. Distribuire le dipendenze HELM:

    helm dependency build
    

11. Distribuire il grafico HELM GCZ:

    helm upgrade -i $CHART . -n $NAMESPACE -f osdu_gcz_custom_values.yaml --set-file global.provider.configLoaderJs="../../../../gcz-provider/gcz-provider-core/config/configLoader.js"
    

12. Verificare la distribuzione:

    kubectl get pods -n $NAMESPACE
    

    A questo punto, verranno visualizzati i pod per i servizi ignite, provider e transformer.

13. Prendere nota degli indirizzi IP esterni per i servizi provider e transformer.

    kubectl get service -n $NAMESPACE
    

    Questi IP vengono usati per connettersi agli endpoint dell'API GCZ.

Distribuire Geospatial Consumption Zone (GCZ) in una macchina virtuale Windows

Informazioni su come distribuire Geospatial Consumption Zone (GCZ) in Windows. Questa opzione di distribuzione è consigliata per ambienti di sviluppo e test, perché è più semplice da installare configurare e richiede meno manutenzione.

Prerequisiti

• Un’istanza di Azure Data Manager per l'energia. Se non si dispone di un'istanza di Azure Data Manager per l'energia, vedere Creare un'istanza di Azure Data Manager per l'energia.
• Una macchina virtuale Windows. Se non si dispone di una macchina virtuale Windows, vedere Creare una macchina virtuale Windows in Azure. È anche possibile usare il proprio computer locale.
• Java JDK 17 installato nella macchina virtuale Windows. Se Java non è installato, vedere Installare Java in Windows.
• Node 18.19.1 (LTS) installato nella macchina virtuale Windows. Se Node non è installato, vedere Installare Node.js e npm in Windows.
• Python 3.11.4 o versione successiva installata nella macchina virtuale Windows. Se Python non è installato, vedere Installare Python in Windows.
  • Accertarsi di aggiungere pip durante il processo di installazione. Se si dimentica di aggiungere pip, è possibile installarlo manualmente.

Distribuire GCZ in Windows

1. Connettersi alla macchina virtuale Windows.

2. Scaricare i file seguenti dal repository GitLab OSDU:

   1. Provider GCZ
   2. Transformer GCZ
   3. Dipendenze Python

3. Aprire PowerShell come amministratore e passare alla cartella in cui sono stati scaricati i file.

4. Eseguire i comandi seguenti per estrarre i file:

   Expand-Archive -Path .\GCZ_PROVIDER.zip -DestinationPath C:\gcz\
   Expand-Archive -Path .\GCZ_TRANSFORMER.zip -DestinationPath C:\gcz\
   Expand-Archive -Path .\GCZ_PYTHON_DEPENDENCIES.zip -DestinationPath C:\gcz\
   

5. Configurare le variabili di ambiente:

   $ADME_HOSTNAME = "<adme-hostname>" # ADME Hostname, e.g. "https://contoso.energy.azure.com"
   $GCZ_DATA_PARTITION_ID = "<data-partition-id>" # ADME Data Partition ID, e.g. "opendes"
   $GCZ_QUERY_URL = "$ADME_HOSTNAME/api/search/v2/query" # ADME Query Endpoint
   $GCZ_QUERY_CURSOR_URL = "$ADME_HOSTNAME/api/search/v2/query_with_cursor" # ADME Query with Cursor Endpoint
   $GCZ_SCHEMA_URL = "$ADME_HOSTNAME/api/schema-service/v1/schema" # ADME Schema Endpoint
   $GCZ_ENTITLEMENT_SERVICE_URL = "$ADME_HOSTNAME/api/entitlements/v2" # ADME Entitlement Service Endpoint
   $GCZ_FILE_RETRIEVAL_URL = "$ADME_HOSTNAME/api/dataset/v1/retrievalInstructions" # ADME File Retrieval Endpoint
   $GCZ_CONVERT_TRAJECTORY_URL = "$ADME_HOSTNAME/api/crs/converter/v3/convertTrajectory" # ADME Convert Trajectory Endpoint
   $GCZ_STORAGE_URL = "$ADME_HOSTNAME/api/storage/v2/records/" # ADME Storage Endpoint
   

   Per altre variabili di ambiente, vedere la documentazione di GitLab OSDU.

6. Convalidare i file di configurazione per il provider e il transformer GCZ aprendo i file di configurazione in un editor di testo e aggiornando i valori, se necessario.

   • Provider: C:\gcz\gcz-provider\gcz-provider-core\config\koop-config.json
   • Transformer: C:\gcz\gcz-transformer-core\config\application.yml

   Importante

   Se si apportano modifiche agli schemi nei file di configurazione, accertarsi che tali schemi siano rappresentati in entrambi i file di configurazione.

7. (facoltativo) Installare le dipendenze Python (obbligatorio solo per l'interpolazione Well Log).

   pip install -r C:\gcz\gcz-transformer-core\src\main\resources\script\requirements.txt --no-index --find-links python-dependencies
   

8. Avviare il transformer GCZ.

   C:\gcz\transformer\transformer.bat local
   

9. Creare il provider GCZ.

   cd C:\gcz\gcz-provider\gcz-provider-core
   npm install
   npm start
   

Per impostazione predefinita, il provider è in ascolto su http://localhost:8083 e il transformer è in ascolto su http://localhost:8080.