Samouczek: przekształcanie dzienników tekstowych podczas pozyskiwania w dziennikach usługi Azure Monitor

Przekształcenia czasu pozyskiwania umożliwiają filtrowanie lub modyfikowanie danych przychodzących przed ich zapisaniem w obszarze roboczym usługi Log Analytics. W tym artykule wyjaśniono, jak napisać zapytanie KQL, które przekształca dane dziennika tekstu i dodaje przekształcenie do reguły zbierania danych.

Procedura opisana w tym miejscu zakłada, że pozyskano już niektóre dane z pliku tekstowego, zgodnie z opisem w temacie Zbieranie dzienników tekstowych za pomocą agenta usługi Azure Monitor. W tym samouczku wykonasz następujące elementy:

1. Napisz zapytanie KQL w celu przekształcenia pozyskanych danych.
2. Zmodyfikuj schemat tabeli docelowej.
3. Dodaj przekształcenie do reguły zbierania danych.
4. Sprawdź, czy przekształcenie działa poprawnie.

Wymagania wstępne

Aby wykonać tę procedurę, potrzebne są następujące elementy:

• Obszar roboczy usługi Log Analytics, w którym masz co najmniej prawa współautora.
• Reguła zbierania danych, punkt końcowy zbierania danych i tabela niestandardowa, zgodnie z opisem w temacie Zbieranie dzienników tekstowych za pomocą agenta usługi Azure Monitor.
• Maszyna wirtualna, zestaw skalowania maszyn wirtualnych lub serwer lokalny z obsługą usługi Arc, który zapisuje dzienniki w pliku tekstowym. Wymagania dotyczące pliku tekstowego:
  • Zapisz na dysku lokalnym maszyny, na której działa agent usługi Azure Monitor.
  • Delineate with an end of line (Delineate with an end of line).
  • Użyj kodowania ASCII lub UTF-8. Inne formaty, takie jak UTF-16, nie są obsługiwane.
  • Nie zezwalaj na rejestrowanie cykliczne, rotację dziennika, w której plik jest zastępowany nowymi wpisami lub zmiana nazwy pliku, w którym plik jest przenoszony i otwierany jest nowy plik o tej samej nazwie.

Pisanie zapytania KQL w celu przekształcenia pozyskanych danych

1. Wyświetl dane w docelowej tabeli niestandardowej w usłudze Log Analytics:

   1. W witrynie Azure Portal wybierz pozycję Obszary robocze usługi Log Analytics dzienniki> obszaru roboczego >usługi Log Analytics.
   2. Uruchom podstawowe zapytanie w tabeli dzienników niestandardowych, aby wyświetlić dane tabeli.

2. Użyj okna zapytania, aby napisać i przetestować zapytanie, które przekształca nieprzetworzone dane w tabeli.

   Aby uzyskać informacje o operatorach KQL obsługujących przekształcenia, zobacz Struktura transformacji w usłudze Azure Monitor.

   Uwaga

   Jedynymi kolumnami dostępnymi do zastosowania przekształceń są TimeGenerated i RawData. Inne kolumny są dodawane do tabeli automatycznie po przekształceniu i nie są dostępne w czasie przekształcania. Nie można użyć kolumny _ResourceId w transformacji.

   Przykład

   W przykładzie użyto podstawowych operatorów KQL do analizowania danych w RawData kolumnie na trzy nowe kolumny o nazwie Time Ingested, RecordNumberi RandomContent:

   • Operator extend dodaje nowe kolumny.
   • Operator project formatuje dane wyjściowe, aby odpowiadały kolumnom schematu tabeli docelowej:

   MyTable_CL
   | extend d=todynamic(RawData)  
   | project TimeGenerated,TimeIngested=tostring(d.Time), 
   RecordNumber=tostring(d.RecordNumber), 
   RandomContent=tostring(d.RandomContent), 
   RawData 
   

   Uwaga

   Wykonywanie zapytań dotyczących danych tabeli w ten sposób nie powoduje faktycznego zmodyfikowania danych w tabeli. Usługa Azure Monitor stosuje przekształcenie w potoku pozyskiwania danych po dodaniu zapytania przekształcenia do reguły zbierania danych.

3. Sformatuj zapytanie w jeden wiersz i zastąp nazwę tabeli w pierwszym wierszu zapytania wyrazem source.

   Na przykład:

   source | extend d=todynamic(RawData) | project TimeGenerated,TimeIngested=tostring(d.Time),RecordNumber=tostring(d.RecordNumber), RandomContent=tostring(d.RandomContent), RawData 
   

4. Skopiuj sformatowane zapytanie, aby można było wkleić je do konfiguracji reguły zbierania danych.

Modyfikowanie tabeli niestandardowej w celu uwzględnienia nowych kolumn

Dodaj lub usuń kolumny w tabeli niestandardowej na podstawie zapytania przekształcenia.

Przykładowe zapytanie przekształcenia powyżej dodaje trzy nowe kolumny typu string:

• TimeIngested
• RecordNumber
• RandomContent

Aby obsługiwać tę transformację, dodaj te trzy nowe kolumny do tabeli niestandardowej.

Stosowanie przekształcenia do reguły zbierania danych

1. W menu Monitor wybierz pozycję Reguły> zbierania danych reguł zbierania danych.

2. Wybierz pozycję Źródła> danych źródła danych.

3. Wklej sformatowane zapytanie przekształcenia w polu Przekształć na karcie Źródło danych na ekranie Dodawanie źródła danych.

4. Wybierz pozycję Zapisz.

   

Sprawdź, czy przekształcenie działa

Wyświetl dane w docelowej tabeli niestandardowej i sprawdź, czy dane są pozyskiwane poprawnie do zmodyfikowanej tabeli:

1. W witrynie Azure Portal wybierz pozycję Obszary robocze usługi Log Analytics dzienniki> obszaru roboczego >usługi Log Analytics.
2. Uruchom podstawowe zapytanie w tabeli dzienników niestandardowych, aby wyświetlić dane tabeli.

Następne kroki

Dowiedz się więcej na następujące tematy:

• Przekształcenia zbierania danych.
• Reguły zbierania danych.
• Punkty końcowe zbierania danych.