Korzystanie z monitorowania zagrożeń i bezpieczeństwa w narzędziu Azure AI Foundry (wersja zapoznawcza)
Jeśli używasz wdrożenia modelu usługi Azure OpenAI z filtrem zawartości, możesz sprawdzić wyniki działania filtrowania. Możesz użyć tych informacji, aby jeszcze bardziej dostosować konfigurację filtru, aby obsłużyć określone potrzeby biznesowe i zasady odpowiedzialnej sztucznej inteligencji.
Usługa Azure AI Foundry udostępnia pulpit nawigacyjny monitorowania zagrożeń i bezpieczeństwa dla każdego z wdrożeń korzystających z konfiguracji filtru zawartości.
Monitorowanie zagrożeń i bezpieczeństwa dostępu
Aby uzyskać dostęp do monitorowania zagrożeń i bezpieczeństwa, potrzebujesz zasobu usługi Azure OpenAI w jednym z obsługiwanych regionów świadczenia usługi Azure: Wschodnie stany USA, Szwajcaria Północna, Francja Środkowa, Szwecja Środkowa, Kanada Wschodnia. Potrzebujesz również wdrożenia modelu korzystającego z konfiguracji filtru zawartości.
Przejdź do usługi Azure AI Foundry i zaloguj się przy użyciu poświadczeń skojarzonych z zasobem usługi Azure OpenAI. Wybierz projekt. Następnie wybierz kartę Modele i punkty końcowe po lewej stronie, a następnie z listy wybierz wdrożenie modelu. Na stronie wdrożenia wybierz kartę Metryki u góry. Następnie wybierz pozycję Otwórz w usłudze Azure Monitor , aby wyświetlić pełny raport w witrynie Azure Portal.
Konfigurowanie metryk
Opis raportu
Dane filtrowania zawartości są wyświetlane w następujący sposób:
- Łączna liczba zablokowanych żądań i szybkość blokowania: ten widok przedstawia globalny widok ilości i szybkości zawartości filtrowanej w czasie. Pomaga to zrozumieć trendy szkodliwych żądań od użytkowników i zobaczyć nieoczekiwane działania.
- Zablokowane żądania według kategorii: ten widok pokazuje ilość zawartości zablokowanej dla każdej kategorii. Jest to statystyka all-up szkodliwych żądań w wybranym zakresie czasu. Obecnie popiera kategorie szkód nienawiści, seksualne, samookaleczenia i przemocy.
- Szybkość blokowania w czasie według kategorii: ten widok pokazuje częstotliwość blokowania dla każdej kategorii w czasie. Obecnie popiera kategorie szkód nienawiści, seksualne, samookaleczenia i przemocy.
- Rozkład ważności według kategorii: ten widok przedstawia poziomy ważności wykryte dla każdej kategorii szkód w całym wybranym zakresie czasu. Nie jest to ograniczone do zablokowanej zawartości, ale obejmuje całą zawartość oflagowaną przez filtry zawartości.
- Rozkład szybkości ważności w czasie według kategorii: ten widok przedstawia współczynniki wykrytych poziomów ważności w czasie dla każdej kategorii szkód. Wybierz karty, aby przełączać się między obsługiwanymi kategoriami.
Zalecane akcje
Dostosuj konfigurację filtru zawartości, aby lepiej dopasować się do potrzeb biznesowych i zasad odpowiedzialnej sztucznej inteligencji.
Potencjalnie obraźliwe wykrywanie użytkowników
Okienko Potencjalnie obraźliwe wykrywanie użytkowników wykorzystuje raportowanie nadużyć na poziomie użytkownika w celu wyświetlania informacji o użytkownikach, których zachowanie spowodowało zablokowanie zawartości. Celem jest pomoc w zapewnieniu wglądu w źródła szkodliwej zawartości, dzięki czemu można podjąć dynamiczne działania, aby upewnić się, że model jest używany w odpowiedzialny sposób.
Aby użyć wykrywania potencjalnie obraźliwych użytkowników, potrzebne są następujące elementy:
- Konfiguracja filtru zawartości zastosowana do wdrożenia.
- Musisz wysyłać informacje o identyfikatorze użytkownika w żądaniach ukończenia czatu (zobacz parametr użytkownika interfejsu API uzupełniania, na przykład).
Uwaga
Użyj ciągów identyfikatora GUID, aby zidentyfikować poszczególnych użytkowników. Nie należy uwzględniać poufnych informacji osobistych w polu "użytkownik".
- Baza danych usługi Azure Data Explorer skonfigurowana do przechowywania wyników analizy użytkowników (instrukcje poniżej).
Konfigurowanie bazy danych usługi Azure Data Explorer
Aby chronić prywatność danych informacji o użytkowniku i zarządzać uprawnieniami do danych, obsługujemy opcję wprowadzenia własnego magazynu przez naszych klientów w celu uzyskania szczegółowych potencjalnie obraźliwych szczegółowych informacji o wykrywaniu użytkowników (w tym identyfikatora GUID użytkownika i statystyk dotyczących szkodliwych żądań według kategorii) przechowywanych w sposób zgodny i z pełną kontrolą. Wykonaj następujące kroki, aby je włączyć:
- W usłudze Azure AI Foundry przejdź do wdrożenia modelu, za pomocą którego chcesz skonfigurować analizę nadużyć użytkowników, a następnie wybierz pozycję Dodaj magazyn danych.
- Wypełnij wymagane informacje i wybierz pozycję Zapisz. Zalecamy utworzenie nowej bazy danych w celu przechowywania wyników analizy.
- Po nawiązaniu połączenia z magazynem danych wykonaj następujące kroki, aby udzielić uprawnień do zapisywania wyników analizy w połączonej bazie danych:
- Przejdź do strony zasobu usługi Azure OpenAI w witrynie Azure Portal i wybierz kartę Tożsamość .
- Włącz dla tożsamości przypisanej przez system i skopiuj wygenerowany identyfikator.
- Przejdź do zasobu usługi Azure Data Explorer w witrynie Azure Portal, wybierz bazy danych, a następnie wybierz określoną bazę danych utworzoną do przechowywania wyników analizy użytkowników.
- Wybierz uprawnienia i dodaj rolę administratora do bazy danych.
- Wklej tożsamość usługi Azure OpenAI wygenerowaną we wcześniejszym kroku i wybierz przeszukaną tożsamość. Teraz tożsamość zasobu usługi Azure OpenAI jest autoryzowana do odczytu/zapisu na koncie magazynu.
- Udziel dostępu do połączonej bazy danych usługi Azure Data Explorer użytkownikom, którzy muszą wyświetlić wyniki analizy:
- Przejdź do połączonego zasobu usługi Azure Data Explorer, wybierz pozycję Kontrola dostępu i dodaj rolę czytelnika klastra usługi Azure Data Explorer dla użytkowników, którzy muszą uzyskać dostęp do wyników.
- Wybierz bazy danych i wybierz konkretną bazę danych połączoną z wynikami analizy nadużyć na poziomie użytkownika. Wybierz uprawnienia i dodaj rolę czytelnika bazy danych dla użytkowników, którzy muszą uzyskać dostęp do wyników.
Opis raportu
Potencjalnie obraźliwe wykrywanie użytkowników opiera się na informacjach o użytkowniku wysyłanych przez klientów za pomocą wywołań interfejsu API usługi Azure OpenAI wraz z zawartością żądania. Poniżej przedstawiono następujące szczegółowe informacje:
- Łączna liczba potencjalnie obraźliwych użytkowników: ten widok pokazuje liczbę wykrytych potencjalnie obraźliwych użytkowników w czasie. Są to użytkownicy, dla których wykryto wzorzec nadużyć i którzy mogą powodować wysokie ryzyko.
- Lista potencjalnie obraźliwych użytkowników: ten widok jest szczegółową listą wykrytych potencjalnie obraźliwych użytkowników. Udostępnia on następujące informacje dla każdego użytkownika:
- UserGUID: jest on wysyłany przez klienta za pośrednictwem pola "użytkownik" w interfejsach API usługi Azure OpenAI.
- Wynik nadużyć: jest to liczba wygenerowana przez model analizujący żądania i zachowanie każdego użytkownika. Wynik jest znormalizowany do 0-1. Wyższy wynik wskazuje wyższe ryzyko nadużyć.
- Trend wyników nadużyć: zmiana wyniku nadużyć w wybranym zakresie czasu.
- Data oceny: data przeanalizowania wyników.
- Łączny współczynnik żądań nadużyć/liczba
- Współczynnik nadużyć/liczba według kategorii
Zalecane akcje
Połącz te dane ze wzbogaconymi sygnałami, aby sprawdzić, czy wykryti użytkownicy są naprawdę obraźliwi, czy nie. Jeśli tak, wykonaj odpowiednie działania, takie jak ograniczanie przepustowości lub zawieszanie użytkownika w celu zapewnienia odpowiedzialnego korzystania z aplikacji.
Następne kroki
Następnie utwórz lub edytuj konfigurację filtru zawartości w usłudze Azure AI Foundry.