Özet kurallarını kullanarak Log Analytics çalışma alanında veri toplama (Önizleme)

Özet kuralı, günlük verilerini düzenli bir tempoda toplamanıza ve toplanan sonuçları Günlük Analizleri çalışma alanınızdaki özel bir günlük tablosuna göndermenize olanak tanır. Verilerinizi aşağıdakiler için iyileştirmek için özet kurallarını kullanın:

• Özellikle büyük veri kümeleri ve zaman aralıkları üzerinde, güvenlik ve olay analizi, aydan aya veya yıllık iş raporları vb. için gereken analiz ve raporlar. Büyük bir veri kümesindeki karmaşık sorgular genellikle zaman aşımına uğradı. Temizlenmiş ve toplanmış özetlenmiş verileri analiz etmek ve raporlamak daha kolay ve daha verimlidir.

• Ayrıntılı günlüklerde maliyet tasarrufu, ucuz bir Temel günlük tablosunda ihtiyacınız olduğu kadar az süreyle veya bu süre boyunca saklanabilir ve analiz ve raporlar için özetlenmiş verileri Bir Analytics tablosuna gönderebilirsiniz.

• Özetlenmiş paylaşılabilir verilerdeki gizlilik ayrıntılarını kaldırarak veya gizleyerek ve ham veri içeren tablolara erişimi sınırlayarak güvenlik ve veri gizliliği .

Bu makalede özet kurallarının nasıl çalıştığı ve özet kurallarının nasıl tanımlanıp görüntülanacağı açıklanır ve özet kurallarının kullanımına ve avantajlarına ilişkin bazı örnekler sağlanır.

Özet kuralların bazı avantajlarına genel bakış sağlayan bir video aşağıdadır:

Özet kuralları nasıl çalışır?

Özet kuralları toplu işlemeyi doğrudan Log Analytics çalışma alanınızda gerçekleştirir. Özet kuralı, KQL sorgusunu temel alarak bölme boyutuna göre tanımlanan veri öbeklerini toplar ve özetlenen sonuçları Log Analytics çalışma alanınızda bir Analytics günlük planıyla özel bir tabloya yeniden alır.

Tabloda Analytics veya Temel veri planı olup olmadığına bakılmaksızın, herhangi bir tablodaki verileri toplayabilirsiniz. Azure İzleyici, tanımladığınız sorguyu temel alarak hedef tablo şemasını oluşturur. Hedef tablo zaten varsa, Azure İzleyici sorgu sonuçlarını desteklemek için gereken tüm sütunları ekler. Tüm hedef tablolarda özet kuralı bilgilerini içeren bir dizi standart alan da vardır:

• _RuleName: Toplu günlük girdisini oluşturan özet kuralı.
• _RuleLastModifiedTime: Kuralın en son ne zaman değiştirildiği.
• _BinSize: Toplama aralığı.
• _BinStartTime: Toplama başlangıç zamanı.

Birden çok tablodaki verileri toplamak ve toplanan verileri ayrı hedef tablolara veya aynı tabloya göndermek için en fazla 30 etkin kural yapılandırabilirsiniz.

Veri dışarı aktarma kuralı tanımlayarak özetlenmiş verileri özel bir günlük tablosundan depolama hesabına veya Event Hubs'a aktararak daha fazla tümleştirme yapabilirsiniz.

Örnek: ContainerLogsV2 verilerini özetleme

Kapsayıcıları izliyorsanız, tabloya ContainerLogsV2 büyük miktarda ayrıntılı günlük alırsınız.

Bu sorguyu özet kuralınızda kullanarak 60 dakika içinde tüm benzersiz günlük girdilerini toplayabilir ve analiz için yararlı olan verileri tutabilir ve ihtiyacınız olmayan verileri bırakabilirsiniz:

ContainerLogV2 | summarize Count = count() by  Computer, ContainerName, PodName, PodNamespace, LogSource, LogLevel, Message = tostring(LogMessage.Message)

Tabloda ham veriler aşağıdadır ContainerLogsV2 :

Özet kuralının hedef tabloya gönderdiği toplanan veriler şunlardır:

Hedef tablo, bir saat içinde yüzlerce benzer girişi günlüğe kaydetmek yerine, KQL sorgusunda tanımlandığı gibi her benzersiz girişin sayısını gösterir. Ham verilerin ucuza saklanması için tabloda Temel veri planını ContainerLogsV2 ayarlayın ve analiz gereksinimleriniz için hedef tablodaki özetlenmiş verileri kullanın.

Gerekli izinler

Uygulama ile ilgili hususlar

• Çalışma alanında etkin kural sayısı üst sınırı 30'dur.
• Özet kuralları şu anda yalnızca genel bulutta kullanılabilir.
• Özet kuralı gelen verileri işler ve geçmiş zaman aralığında yapılandırılamaz.
• Bölme yürütme yeniden denemeleri tükendiğinde, bölme atlanır ve yeniden yürütülemez.
• Lighthouse kullanarak başka bir kiracıdaki Log Analytics çalışma alanını sorgulama desteklenmez.

Fiyatlandırma modeli

Özet kuralları için ek maliyet yoktur. Sorguyu çalıştırdığınız kaynak tablonun tablo planına göre yalnızca sorgu için ödeme ve sonuçların hedef tabloya alımı için ödeme yapılır:

Örneğin, depo gözü başına 100 kayıt döndüren saatlik kuralın maliyet hesaplaması şöyledir:

Daha fazla bilgi için bkz . Azure İzleyici fiyatlandırması.

Özet kuralı oluşturma veya güncelleştirme

Sorgunuzun özet kuralında kullanabileceğiniz işleçler, sorgudaki kaynak tablonun planına bağlıdır.

• Analiz: Aşağıdakiler dışında tüm KQL işleçlerini ve işlevlerini destekler:
  • ve ifadelerini kullanan , , ve ifadelerini ve resource() hizmetler arası sorguları kullanan ARG() ADX() kaynaklar arası sorgular. app()workspaces()
  • Paket açma, daraltma ve özet gibi veri şemasını yeniden şekillendiren eklentiler.
• Temel: Tek bir tablodaki tüm KQL işleçlerini destekler. Arama işlecini kullanarak en fazla beş Analytics tablosuna katılabilirsiniz.
• İşlevler: Kullanıcı tanımlı işlevler desteklenmez. Microsoft tarafından sağlanan sistem işlevleri desteklenir.

Özet kuralları, sonuç sayısı veya hacmi önemli ölçüde azaldığında maliyet ve sorgu deneyimleri açısından en faydalıdır. Örneğin, kaynaktan %0,01 veya daha az sonuç hacmi hedefleniyor. Kural oluşturmadan önce Log Analytics'te sorguyu deneyin ve sorgunun sorgu API'si sınırlarına ulaşmadığını veya buna yakın olmadığını doğrulayın. Sorgunun beklenen sonuçları ve şemayı üretip oluşturmadığını denetleyin. Sorgu sorgu sınırlarına yakınsa, bölme başına daha az veri işlemek için daha küçük bir 'bölme boyutu' kullanmayı göz önünde bulundurun. Sorguyu daha az kayıt veya daha yüksek birime sahip alanlar döndürecek şekilde de değiştirebilirsiniz.

Bir sorguyu güncelleştirdiğinizde ve özet sonuçlarında daha az alan olduğunda, Azure İzleyici sütunları hedef tablodan otomatik olarak kaldırmaz ve tablonuzdaki sütunları el ile silmeniz gerekir.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

{
  "properties": {
      "ruleType": "User",
      "description": "My test rule",
      "ruleDefinition": {
          "query": "StorageBlobLogs | summarize count() by AccountName",
          "binSize": 30,
          "destinationTable": "MySummaryLogs_CL"
      }
  }
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The workspace name where summary rule is deployed."
      }
    },
    "summaryRuleName": {
      "type": "String",
      "metadata": {
        "description": "The summary rule name."
      }
    },
    "description": {
      "type": "String",
      "metadata": {
        "description": "A description of the rule."
      }
    },
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "The Location of the workspace summary rule is deployed."
      }
    },
    "ruleType": {
      "defaultValue": "User",
      "allowedValues": [
        "User"
      ],
      "type": "String",
      "metadata": {
        "description": "The summary rule type (User,System). Should be 'User' for and rule with query that you define."
      }
    },
    "query": {
      "type": "String",
      "metadata": {
      "description": "The query used in summary rules."
      }
    },
    "binSize": {
      "defaultValue": 60,
      "allowedValues": [
        20,
        30,
        60,
        120,
        180,
        360,
        720,
        1440
      ],
      "type": "Int",
      "metadata": {
        "description": "The execution interval in minutes, and the lookback time range."
      }
    },
    "destinationTable": {
      "type": "String",
      "metadata": {
        "description": "The name of the custom log table that the summary results are sent to. Name must end with '_CL'."
      }
    }
    // ----- optional -----
    // "binDelay": {
    //   "type": "Int",
    //   "metadata": {
    //     "description": "Optional - The minimum wait time in minutes before bin execution. For example, value of '10' cause bin (01:00-02:00) to be executed after 02:10."
    //   }
    // },
    // "timeSelector": {
    //   "defaultValue": "TimeGenerated",
    //   "allowedValues": [
    //     "TimeGenerated"
    //   ],
    //   "type": "String",  
    //   "metadata": {
    //     "description": "Optional - The time field to be used by the summary rule. Must be 'TimeGenerated'."
    //   }
    // },
    // "binStartTime": {
    //   "type": "String",
    //   "metadata": {
    //     "description": "Optional - The Time of initial bin. Can start at current time minus binSize, or future, and in whole hours. For example: '2024-01-01T08:00'."
    //   }
    // }
  },
  "variables": {},
  "resources": [
    {
      "type": "Microsoft.OperationalInsights/workspaces/summaryLogs",
      "apiVersion": "2023-01-01-preview",
      //"name": "[format('{0}/{1}', parameters('workspaceName'), parameters('summaryRuleName'))]",
      "name": "[concat(parameters('workspaceName'), '/', parameters('summaryRuleName'))]",
      "properties": {
        "ruleType": "[parameters('ruleType')]",
        "description": "[parameters('description')]",
        "ruleDefinition": {
          "query": "[parameters('query')]",
          "binSize": "[parameters('binSize')]",
          "destinationTable": "[parameters('destinationTable')]"
          // ----- optional -----
          //"binDelay": "[parameters('binDelay')]",
          //"timeSelector": "[parameters('timeSelector')]",
          //"binStartTime": "[parameters('binStartTime')]"
        }
      }
    }
  ]
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "value": "myworkspace"
    },
    "summaryRuleName": {
      "value": "myrulename"
    },
    "description": {
      "value": "My rule description."
    },
    "location": {
      "value": "eastus" //Log Analytics workspace region
    },
    "ruleType": {
      "value": "User"
    },
    "query": {
      "value": "StorageBlobLogs | summarize Count = count(), DurationMs98 = percentile(DurationMs, 90) by StatusCode, CallerIpAddress, OperationName"
    },
    "binSize": {
      "value": 20
    },
    "destinationTable": {
      "value": "MySummaryLogs_CL"
    }
  }
}

Bu tabloda özet kuralı parametreleri açıklanmaktadır:

Toplama zamanlamasını yapılandırma

Varsayılan olarak, özet kuralı sonraki tam saatten kısa bir süre sonra ilk toplamayı oluşturur.

Azure İzleyici'nin kısa gecikme süresi, verilerin izlenen sistemde oluşturulmasıyla Azure İzleyici'de analiz için kullanılabilir duruma gelmesi arasındaki süreyi veya veri alımı gecikme süresini hesaplar. Varsayılan olarak bu gecikme, her bir bölmeyi toplamadan önce 'bölme boyutu' değerinin %10'una kadar üç ila yarım dakika arasındadır. Çoğu durumda bu gecikme, Azure İzleyici'nin her bir bölme dönemi içinde günlüğe kaydedilen tüm verileri toplamasını sağlar.

Örneğin:

• 14:44'te bölme boyutu 30 dakika olan bir özet kuralı oluşturursunuz.

  Kural, 14:30 ile 15:00 arasında günlüğe kaydedilen veriler için ilk toplamayı 15:00'in (örneğin, 15:04) kısa bir süre sonra oluşturur.

• 14:44'te 720 dakika (12 saat) bölme boyutuna sahip bir özet kuralı oluşturursunuz.

  Kural, 13:00 ile 15:00 arasında günlüğe kaydedilen veriler için ilk toplamayı 13:00'in ardından 16:12 - 72 dakika (720 bölme boyutunun %10'unu) oluşturur.

binStartTime İlk toplamanın zamanlamasını ve Azure İzleyici'nin her toplamadan önce eklediği gecikmeyi değiştirmek için ve binDelay parametrelerini kullanın.

Sonraki bölümlerde varsayılan toplama zamanlaması ve daha gelişmiş toplama zamanlaması seçenekleri örnekleri sağlanır.

Varsayılan toplama zamanlamasını kullanma

Bu örnekte özet kuralı 2023-06-07 tarihinde saat 14:44'te oluşturulur ve Azure İzleyici varsayılan olarak dört dakikalık bir gecikme ekler.

İsteğe bağlı toplama zamanlama parametrelerini ayarlama

Bu örnekte özet kuralı 2023-06-07 tarihinde saat 14:44'te oluşturulur ve kural şu gelişmiş yapılandırma ayarlarını içerir:

• binStartTime: 2023-06-08 07:00
• binDelay: 8 dakika

Özet kurallarını görüntüleme

Belirli bir özet kuralının yapılandırmasını görüntülemek için bu GET API çağrısını kullanın:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName1}?api-version=2023-01-01-preview
Authorization: {credential}

Log Analytics çalışma alanınızdaki tüm özet kurallarının yapılandırmasını görüntülemek üzere yapılandırmayı görüntülemek için bu GET API çağrısını kullanın:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs?api-version=2023-01-01-preview
Authorization: {credential}

Özet kuralını durdurma ve yeniden başlatma

Bir kuralı belirli bir süre için durdurabilirsiniz. Örneğin, verilerin bir tabloya alındığını doğrulamak ve özetlenen tablo ile raporları etkilemek istemiyorsanız. Kuralı yeniden başlattığınızda, Azure İzleyici verileri sonraki tam saat boyunca veya tanımlı binStartTime (isteğe bağlı) parametresine göre işlemeye başlar.

Bir kuralı durdurmak için şu POST API çağrısını kullanın:

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/stop?api-version=2023-01-01-preview
Authorization: {credential}

Kuralı yeniden başlatmak için şu POST API çağrısını kullanın:

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/start?api-version=2023-01-01-preview
Authorization: {credential}

Özet kuralını silme

Log Analytics çalışma alanınızda en fazla 30 etkin özet kuralınız olabilir. Yeni bir kural oluşturmak istiyorsanız ancak zaten 30 etkin kuralınız varsa, etkin özet kuralını durdurmanız veya silmeniz gerekir.

Bir kuralı silmek için şu DELETE API çağrısını kullanın:

DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

Özet kurallarını izleme

Özet kurallarını izlemek için Log Analytics çalışma alanınızın tanılama ayarlarında Özet Günlükleri kategorisini etkinleştirin. Azure İzleyici, özet kural çalıştırması Başlat, Başarılı ve Başarısız bilgileri de dahil olmak üzere özet kural yürütme ayrıntılarını çalışma alanınızdaki LASummaryLogs tablosuna gönderir.

Aşağıda gösterildiği gibi, depo gözü hatalarıyla ilgili bildirim almak için veya bölme yürütmesi zaman aşımına yaklaştığında günlük uyarısı kuralları ayarlamanızı öneririz. Hatanın nedenine bağlı olarak, her yürütmede daha az veri işlemek için bölme boyutunu küçültebilir veya sorguyu daha az kayıt veya daha yüksek birime sahip alanlar döndürecek şekilde değiştirebilirsiniz.

Bu sorgu başarısız çalıştırmaları döndürür:

LASummaryLogs | where Status == "Failed"

Bu sorgu, değerin QueryDurationMs 0,9 x 600,000 milisaniyeden büyük olduğu depo gözü çalıştırmalarını döndürür:

LASummaryLogs | where QueryDurationMs > 0.9 * 600000

Veri eksiksizliğini doğrulama

Özet kuralları ölçek için tasarlanmıştır ve örneğin sorgu sınırlarıyla ilgili geçici hizmet veya sorgu hatalarının üstesinden gelmek için bir yeniden deneme mekanizması içerir. Yeniden deneme mekanizması, sekiz saat içinde başarısız bir bölmeyi toplamaya 10 deneme yapar ve tüketildiyse bir bölmeyi atlar. Kural olarak ayarlanır isActive: false ve ardışık sekiz bölme yeniden denemesinin ardından beklemeye alır. İzleyici özet kurallarını etkinleştirirseniz, Azure İzleyici çalışma alanınızdaki tabloda bir olay günlüğe LASummaryLogs kaydeder.

Başarısız bir bin çalıştırmasını yeniden çalıştıramazsınız, ancak başarısız çalıştırmaları görüntülemek için aşağıdaki sorguyu kullanabilirsiniz:

let startTime = datetime("2024-02-16");
let endtTime = datetime("2024-03-03");
let ruleName = "myRuleName";
let stepSize = 20m; // The stepSize value is equal to the bin size defined in the rule
LASummaryLogs
| where RuleName == ruleName
| where Status == 'Succeeded'
| make-series dcount(BinStartTime) default=0 on BinStartTime from startTime to endtTime step stepSize
| render timechart

Bu sorgu sonuçları zaman çizelgesi olarak işler:

Kural düzeltme seçenekleri ve proaktif uyarılar için Özet kurallarını izleme bölümüne bakın.

Müşteri tarafından yönetilen anahtarları kullanarak özet kural sorgularını şifreleme

KQL sorgusu, açıklamalarda veya sorgu söz diziminde hassas bilgiler içerebilir. Özet kural sorgularını şifrelemek için bir depolama hesabını Log Analytics çalışma alanınıza bağlayın ve müşteri tarafından yönetilen anahtarları kullanın.

Şifrelenmiş sorgularla çalışırken dikkat edilmesi gerekenler:

• Sorgularınızı şifrelemek için bir depolama hesabı bağlamak, mevcut kuralları kesintiye uğratmaz.
• Varsayılan olarak, Azure İzleyici özet kural sorgularını Log Analytics depolama alanında depolar. Bir depolama hesabını Log Analytics çalışma alanınıza bağlamadan önce mevcut özet kurallarınız varsa, özet kurallarınızı güncelleştirerek sorguların mevcut sorguları depolama hesabına kaydetmesini sağlayın.
• Depolama hesabına kaydettiğiniz sorgular tabloda bulunur CustomerConfigurationStoreTable . Bu sorgular hizmet yapıtları olarak kabul edilir ve biçimleri değişebilir.
• Özet kural sorguları, Log Analytics'te kaydedilen sorgular ve günlük uyarıları için aynı depolama hesabını kullanabilirsiniz.

Özet kuralları sorunlarını giderme

Bu bölümde özet kurallarıyla ilgili sorunları gidermeye yönelik ipuçları sağlanır.

Özet kuralı hedef tablosu yanlışlıkla silindi

Özet kuralı etkinken hedef tabloyu silerseniz, kural askıya alınır ve Azure İzleyici kuralın LASummaryLogs askıya alındığını belirten bir iletiyle tabloya bir olay gönderir.

Hedef tabloda özet sonuçlarına ihtiyacınız yoksa kuralı ve tabloyu silin. Özet sonuçlarını kurtarmanız gerekiyorsa, tabloyu yeniden oluşturmak için Özet kuralları oluşturma veya güncelleştirme bölümündeki adımları izleyin. Hedef tablo, tablodaki bekletme ilkesine bağlı olarak, silme işleminden önce alınan veriler de dahil olmak üzere geri yüklenir.

Hedef tabloda özet sonuçlarına ihtiyacınız yoksa kuralı ve tabloyu silin. Özet sonuçlarına ihtiyacınız varsa, hedef tabloyu yeniden oluşturmak ve tablodaki bekletme ilkesine bağlı olarak silme işleminden önce alınan veriler de dahil olmak üzere tüm verileri geri yüklemek için Özet kuralları oluşturma veya güncelleştirme bölümündeki adımları izleyin.

Sorgu, hedef tabloda yeni sütunlar oluşturan işleçleri kullanır

Hedef tablo şeması, bir özet kuralı oluşturduğunuzda veya güncelleştirdiğinizde tanımlanır. Özet kuralındaki sorgu, gelen verileri temel alan çıkış şeması genişletmesine izin veren işleçler içeriyorsa (örneğin, sorgu işlevini kullanıyorsa arg_max(expression, *) ) özet kuralını oluşturduktan veya güncelleştirdikten sonra Azure İzleyici hedef tabloya yeni sütunlar eklemez ve bu sütunları gerektiren çıkış verileri bırakılır. Yeni alanları hedef tabloya eklemek için özet kuralını güncelleştirin veya tablonuza el ile bir sütun ekleyin.

Kaldırılan sütunlardaki veriler, tablonun bekletme ayarlarına göre çalışma alanında kalır

Sorgudaki bir alanı kaldırdığınızda, sütunlar ve veriler tabloda veya çalışma alanında tanımlanan bekletme süresine göre hedefte kalır. Hedef tabloda kaldırılmanıza gerek yoksa, tablo şemasındaki sütunları silin. Daha sonra aynı ada sahip sütunlar eklerseniz, saklama süresi yeniden göründüğünden daha eski olmayan tüm veriler görüntülenir.

İlgili içerik

• Azure İzleyici Günlükleri veri planları hakkında daha fazla bilgi edinin.
• Log Analytics'te KQL modunu kullanma öğreticisini inceleyin.
• KQL için tam başvuru belgelerine erişin.