Stratégie de capacité

S’applique à : ✅Azure Data Explorer

Une stratégie de capacité est utilisée pour contrôler les ressources de calcul des opérations de gestion des données sur le cluster.

Objet de stratégie de capacité

La stratégie de capacité est constituée des composants suivants :

• IngestionCapacity
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity

Pour afficher la capacité de votre cluster, utilisez la commande de capacité .show.

Capacité d’ingestion

Formule

La commande .show capacity retourne la capacité d’ingestion du cluster en fonction de la formule suivante :

Minimum(ClusterMaximumConcurrentOperations, Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient))

Capacité de fusion d’étendues

Formule

La commande .show capacity retourne la capacité de fusion des étendues du cluster en fonction de la formule suivante :

Nombre de nœuds dans les opérations simultanées du cluster * par nœud

La valeur effective des opérations simultanées par nœud est automatiquement ajustée par le système dans la plage [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode, tant que le taux de réussite des opérations de fusion est de 90 % ou supérieur.

Capacité de reconstruction d’étendues lors de vidages

Formule

La commande de capacité .show retourne la capacité de reconstruction des extensions du cluster en fonction de la formule suivante :

Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode

Capacité d’exportation

Formule

La commande .show capacity retourne la capacité d’exportation du cluster en fonction de la formule suivante :

Minimum(ClusterMaximumConcurrentOperations, Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient))

Capacité de partitionnement d’étendues

La valeur effective des opérations simultanées est automatiquement ajustée par le système dans la plage [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations tant que le taux de réussite des opérations de partitionnement est de 90 % ou supérieur.

Stratégie de capacité des vues matérialisées

La stratégie peut être utilisée pour modifier les paramètres d’accès concurrentiel pour les vues matérialisées. La modification de la stratégie de capacité de vues matérialisées peut être utile lorsqu’il existe plus d’une vue matérialisée définie sur un cluster.

Par défaut, une seule matérialisation s’exécute simultanément (voir comment fonctionnent les vues matérialisées). Le système ajuste la concurrence actuelle dans la plage [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], en fonction du nombre de vues matérialisées dans le cluster et du processeur du cluster. Vous pouvez augmenter/diminuer la concurrence en modifiant cette stratégie. Par exemple, si le cluster a dix vues matérialisées, la définition de la ClusterMinimumConcurrentOperations valeur cinq garantit qu’au moins cinq d’entre eux peuvent se matérialiser simultanément. Vous pouvez afficher la valeur effective de la concurrence actuelle à l’aide de la commande de capacité .show

Capacité de résultats de requête stockée

Formule

La commande .show capacity retourne la capacité de création des résultats de requête stockée du cluster en fonction de la formule suivante :

Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient)

Capacité de post-traitement d’ingestion de streaming

Formule

La commande de capacité .show retourne la capacité de post-traitement d’ingestion de streaming du cluster en fonction de la formule suivante :

Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode

Vider la capacité de nettoyage des artefacts de stockage

Formule

La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage de vidage du cluster en fonction de la formule suivante :

MaximumConcurrentOperationsPerCluster

Capacité de nettoyage périodique des artefacts de stockage

Formule

La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage périodiques du cluster en fonction de la formule suivante :

MaximumConcurrentOperationsPerCluster

Valeurs par défaut

La stratégie de capacité par défaut a la représentation JSON suivante :

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Commandes de gestion

• Utilisez .show cluster policy capacity pour montrer la stratégie de capacité actuelle du cluster.
• Utilisez .alter-merge cluster policy capacity pour modifer la stratégie de capacité du cluster.

Limitation des commandes de gestion

Kusto limite le nombre de demandes simultanées pour les commandes initiées par l’utilisateur suivantes :

• Ingestions
  • Cette catégorie comprend les commandes qui ingèrent à partir du stockage, ingèrent à partir d’une requête et ingèrent inline.
  • La limite est définie par la capacité d’ingestion.
• Vidages
  • La limite globale est actuellement fixée à un par cluster.
  • La capacité de reconstruction lors de vidages est utilisée en interne pour déterminer le nombre d’opérations de reconstruction simultanées pendant les commandes de vidage. Les commandes de vidage ne seront pas bloquées ni limitées à cause de ce processus, mais elles s’exécuteront plus rapidement ou plus lentement en fonction de la capacité de reconstruction lors de vidages.
• Exportations
  • La limite est définie dans la capacité d’exportation.

Lorsque le cluster détecte qu’une opération a dépassé la limite de demandes simultanées :

• L’état de la commande, tel que présenté par les commandes d’informations système, est Throttled.
• Le message d’erreur inclut le type de commande, l’origine de la limitation et la capacité qui a été dépassée. Par exemple :
  • Par exemple : The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• Le code de réponse HTTP est 429. Le sous-code est TooManyRequests.
• Le type d’exception est ControlCommandThrottledException.

Contenu connexe

• .show capacity