Windows-Übersicht Studio Effects (Vorschau)

Windows-Studio Effects verwendet KI auf ausgewählten Windows-Geräten mit kompatiblen neuronalen Verarbeitungseinheiten (Neural Processing Units, NPUs), um Spezialeffekte auf die Gerätekamera (unterstützt derzeit die nach vorne gerichtete Kamera) oder das integrierte Mikrofon anzuwenden. KI-Effekte, die von der NPU unterstützt werden, umfassen:

• Verschwommener Hintergrund
• Blickkontakt
• Automatisches Framing
• Sprachfokus
• Porträtlicht
• Kreative Filter
• Blickkontakt Teleprompter

WindowsStudio Effects-Liste der KI-Verbesserungen.

Voraussetzungen

• Windows 11, Version 22H2 (Build 22623.885+) oder höher.
• Das Gerät muss über einen unterstützten NPU verfügen, und der Hardwarehersteller muss sich durch Installieren des Treibers für Windows-Studioeffekte auf dem System entschieden haben.

Wie funktioniert Windows-Studio Effects mit Ihrer Gerätehardware?

Windows-Studio Effects nutzt KI-Modelle, die von Microsoft erstellt und für Geräte mit einer neuronalen Verarbeitungseinheit (NPU) kompiliert/optimiert wurden, um hochwertige, akkufreundliche KI-Effekte bereitzustellen, die die Belastung für die Geräte-CPU und GPU verringern und eine vertrauenswürdige Microsoft-KI-Erfahrung bereitstellen, die auf das gesamte Windows-Ökosystem für alle kompatiblen Geräte skaliert wird.

Windows-Studio Effects standardisiert Steuerungsschnittstellen für die Gerätekamera und das Mikrofon (Kernel-Streaming-Eigenschaften und APIs). Mit dieser Steuerungsschnittstelle kann jede Anwendung Folgendes tun:

• Ermitteln, ob Effekte unterstützt werden
• Aktivieren oder Deaktivieren von Effekten nach Bedarf
• Zugreifen auf alle verfügbaren Metadaten

Effekte werden auf der Hardwareebene für die Kamera (oder das Mikrofon) angewendet. Sobald ein Effekt in den Windows-Studio Effects aktiviert ist, ist er standardmäßig für jede App aktiviert, die die Kamera verwendet, auch wenn die App nicht über den Effekt informiert ist.

Erfahren Sie mehr über die Funktionsweise in Architektur von Windows-Studio Effects.

Steuerung der Windows-Studio Effects in den Einstellungen

Windows-Studio Effects kann über die Taskleiste (wie in der Abbildung oben angezeigt) geöffnet werden, kann aber auch über das Menü „Einstellungen“ gesteuert werden.

• Öffnen Sie Einstellungen>Bluetooth & Geräte>Kameras, wählen Sie dann aus der Liste Verbundene Kameras aus, und öffnen Sie die Einstellungen für diese Kamera.
• Es wird eine Vorschau Ihres nach vorne gerichteten Kamerabildschirms und der darin aufgeführten Kameraeffekte angezeigt.

Die App für die Kameraeinstellungen ist ein neues Feature in Windows 11, mit dem Kunden alle Kameras auf ihrem System anzeigen und bevorzugte „standardmäßige“ Werte aus einer Reihe von Steuerelementen pro Kamera, pro Benutzer und pro Computer auswählen können.

Die App für die Kameraeinstellungen kann grundlegende Steuerelemente wie Helligkeit und Kontrast, aber auch Windows-Studioeffekte wie Weichzeichner für Hintergrund und Blickkontakt anpassen.

Die App für die Kameraeinstellungen unterstützt auch die Erweiterbarkeit über Begleit-Apps, die von Kameraherstellern bereitgestellt werden. Mit diesen Begleit-Apps können Gerätehersteller eine eigene benutzerdefinierte Benutzeroberfläche zum Anpassen der Kameraeinstellungen anbieten und/oder Steuerelemente für zusätzliche benutzerdefinierte Kameraeffekte bereitstellen (z. B. ein Ein-/Aus-Schalter für einen vom Kamerahersteller bereitgestellten „Funny Hat“-Effekt).

Unterstützte Windows-Studio Effects für die integrierte Frontkamera:

• Hintergrundeffekte: Zwei unterstützte Modelle...
  • Standardunschärfe – ein einfacher Gaußscher Weichzeichnereffekt.
  • Porträtunschärfe – ein subtiler Weichzeichnereffekt im Bokeh-Stil. Je nach Gerätefunktion kann es subtil oder ein tiefenbasierter Weichzeichner sein.
• Blickkontakt: Zwei unterstützte Modelle...
  • Standard – dezente Korrektur für einen Gerätebenutzer, der von der Kamera auf den Bildschirm schaut. *Passt nicht die linke oder rechte Bewegung der Augen an.
  • Teleprompter – aggressivere Korrektur für einen Kunden, der seine Augen rund um den Bildschirm durchsucht, während er Teleprompter-Inhalte liest.
• Automatisches Framing: Erkennt eine Person im Kamerafeld der Ansicht und Zuschnitte/Zooms, um sie gerahmt zu halten.
• Porträtlicht: Verbessern Sie die Qualität der Beleuchtung auf der Person im Video in einer schlecht beleuchteten Umgebung, und entfernen Sie die übermäßige Bildschirmlichtspiegelung.
• Kreative Filter: Videofilter, um etwas Spaß und Flare hinzuzufügen.

Unterstützte Windows-Studio Effects für das integrierte Mikrofon:

• Sprachfokus: Ein Mikrofoneffekt zum Filtern von Hintergrundgeräuschen, um sicherzustellen, dass Ihre Stimme während Videoanrufen deutlich zu hören ist.

Windows-Architektur Studio Effects

Wenn eine Kamera für die Verwendung von Windows-Studio Effects aktiviert ist, wird das Windows-Studio Effects-Paket an das Ende der Kamera verkettet. Dies geschieht transparent, sodass die „echte“ Kamera durch eine „zusammengesetzte“ Kamera ersetzt wird, die aus den Features der Kamera und den Windows Studio-KI-Effekten besteht. Der Endbenutzer sieht weiterhin nur die „echte“ Kamera, aber Windows-Studio Effects sind jetzt im Namen dieser Kamera verfügbar.

Die „Real“-Kamera enthält Kernal Streaming (KS) -Eigenschaften wie Helligkeit, Kontrast und andere von Microsoft implementierte Eigenschaften sowie alle Vom Gerätehersteller (OEM)-Treiber implementierten Kundeneigenschaften.

Da Windows-Studio Effects immer das letzte Element in der Kette ist, kann für Anwendungen sichergestellt werden, dass, wenn Windows-Studio Effects für eine Kamera aktiviert ist, die von der Kamera implementierten Eigenschaften von „Weichzeichner für Hintergrund“, „Blickkontakt“ und „Automatisches Framing KS“ von Windows-Studio Effects bereitgestellt werden.

Wenn für die Kamera nicht die Verwendung von Windows-Studio Effects festgelegt wurde, werden für alle Apps, die auf die Kamera zugreifen, nur die KS-Eigenschaften „Echt“ (Helligkeit, Kontrast usw.) angezeigt.

Wenn für die Kamera die Verwendung von Windows-Studio Effects festgelegt wurde, können alle Apps, die auf die Kamera zugreifen, die KS-Eigenschaften der „echten“ Kamera sehen, zusätzlich zu den KS-Eigenschaften von Windows-Studio Effects, die KI-Effekte darstellen, z. B. Weichzeichner für Hintergrund, Blickkontakt usw.

Im Falle einer zweiten Implementierung der gleichen KS-Eigenschaft niedriger in der Kette (z. B. implementiert ein DMFT vom OEM auch den Weichzeichnereffekt für den Hintergrund), wird diese Implementierung weiterhin NICHT AKTIVIERT sein, da der Standardwert für die Weichzeichner-KS-Eigenschaft DEAKTIVIERT ist. Wenn ein Weichzeichner für die Kamera aktiviert ist, verarbeitet Windows Studio diese Anforderung intern und leitet sie nicht in der Kette an andere Komponenten weiter (DMFTs, AVStream-Treiber usw.).

Mit diesem Ansatz können Gerätehersteller (OEMs, z. B. Dell oder Lenovo und IHVs, wie Intel, AMD oder NVIDIA) ihre eigenen Kameraverarbeitungsfeatures innerhalb ihrer DMFTs oder direkt in der Kamera implementieren, bevor Windows Studio die standardmäßigen Windows-KI-Erfahrungen hinzufügt.

App-Integration in Windows Studio Effects

Wann immer eine Anwendung Windows-APIs zum Starten des Kamerastreams verwendet, legt Windows den aktuellen Wert der Kernel-Streaming (KS)-Eigenschaft so fest, dass sie dem Standardwert entspricht, der in den Kameraeinstellungen von Windows-Studio Effects angegeben ist, bevor die Steuerung an die Anwendung übergeben wird. Durch den Abgleich des in den Kameraeinstellungen angegebenen Standardwerts beginnt die Kamera immer in einem bekannten Zustand.

Bei der Integration in Windows-Studio Effects kann eine Anwendung Folgendes tun:

• Stets den Systemstandard übernehmen – Der Benutzer bestimmt die grundlegenden Einstellungen (d. h. Helligkeit) in den Kameraeinstellungen, indem dieser Wert ohne In-App-Steuerelemente angewendet wird.
• Beim Systemstandard beginnen, der Benutzer nimmt die Anpassung jedoch in Echtzeit vor – Der Benutzer kann die Kameraeinstellungen anpassen, während die App verwendet wird, also ein Schieberegler „Helligkeit“ innerhalb der App ohne Änderung des Systemstandards. Der Benutzer kann die In-App-Kameraeinstellung speichern, um eine neue Standardeinstellung einzurichten.

Wenn die Anwendung bereits einen Wert in eine KS-Eigenschaft geschrieben hat, die auch einen Standardwert von der Seite mit den Einstellungen vor dem Starten des Streams festgelegt hat, überspringt Windows das Anwenden des Standardwerts des Benutzers beim Starten des Streams. Wenn beispielsweise die Standardhelligkeit des Benutzers auf 60 festgelegt ist, die App jedoch den aktuellen Helligkeitswert vor dem Starten des Streams auf 65 festlegt, beginnt die Kamera mit der Helligkeit bei 65 anstelle von 60.

Unabhängig davon, welche Funktionen Ihre App bietet, ist es immer ratsam, eine In-App-Schaltfläche/einen Hyperlink bereitzustellen, um die App mit den Kameraeinstellungen zu starten. Auf die Kameraeinstellungen kann über diesen Link zugegriffen werden:ms-settings

Die Kameraeinstellungen für eine bestimmte Kamera können mit diesem Linkformat gestartet werden:ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Ein vollständiges Codebeispiel für eine App, die mit Windows Studio Effects über Kamera-APIs interagiert, finden Sie im GitHub-Repository zur Windows-Kamera.

Beispielcodeausschnitt zum Aufrufen der Kameraeinstellungen für eine bestimmte Kamera

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Dieser ist unter Windows 11, Version 22H2 und höher verfügbar. Bei älteren Versionen von Windows 11 führt das Aufrufen dieses ms-settings-Links den Benutzer zur Stammseite mit den Kameraeinstellungen.

Anwenden zusätzlicher Kameraeinstellungen

Nachdem der Kamerastream auf einen bekannten Zustand festgelegt wurde, kann eine Anwendung eine Abfrage durchführen und eine weitere Konfiguration anwenden und neue KS-Eigenschaftswerte nach Bedarf auf die Kamera schreiben. Wenn ein Kunde eine App verwendet, die bestimmte Kamerasteuerelemente (z. B. Helligkeit oder Weichzeichner für den Hintergrund) nicht kennt, gelten die Einstellungen für diese Steuerelemente, die der Benutzer in den Kameraeinstellungen angegeben hat, weiterhin für die App. Wenn ein Kunde jedoch eine App verwendet, die diese Steuerelemente kennt, kann die App den aktuellen Wert dieser Steuerelemente während der Verwendung der Kamera ändern.

Anwendungen dürfen den Standardwert von Steuerelementen nicht ändern. Diese Vorsichtsmaßnahme stellt sicher, dass eine App das Verhalten anderer Apps, die die Kamera verwenden, nicht ändert. Standardwerte können nur von der Kameraeinstellungen-App geändert werden.

In Windows 11, Version 22H2, können Kunden, die über ein Gerät verfügen, das Windows Studio Effects unterstützt, die Effekte direkt über die Kameraeinstellungen-Seite sowie andere allgemeine Einstellungen für ihre Kamerahardware aktivieren/deaktivieren.

Leitfaden für Windows-Hardwarehersteller

Originalgerätehersteller (OEMs), die Hardware mit den neuesten Windows 11-Features entwerfen, können sich für die Verwendung von Windows-Studio Effects entscheiden.

Problembehandlung

Ihre Windows-App verfügt möglicherweise über vorhandene In-App-Funktionen, die sich mit den AI-Effekten überlappen, die von Windows-Studio Effects auf Ihre Kamera angewendet werden (z. B. Weichzeichner für Hintergrund). Wenn die Kameraeinstellungen-App den Zustand der von der Kamera bereitgestellten Effekte nicht verwaltet, kann die In-App-Funktionalität nicht synchronisiert werden, was zu Problemen mit der Benutzerfreundlichkeit führt.

Vermeiden von überlappenden Effekten

Erwägen Sie eine App, die ein Feature Weichzeichner für Hintergrund bietet, das auf einem System ausgeführt wird, auf dem die Kamera auch die von Windows-Studio Effects und der Kameraeinstellungen-App angewendete KS-Eigenschaft „Weichzeichner für Hintergrund“ unterstützt.

Wenn der Kunde in der Kameraeinstellungen-App von Windows den Weichzeichner für Hintergrund aktiviert hat, wird der vom Kamera bereitgestellte Effekt angewendet, wenn die Kamera gestartet wird. Anschließend würde das In-App-Weichzeichner-Steuerelement entweder als DEAKTIVIERT angezeigt, obwohl ein Weichzeichnereffekt eindeutig aktiviert ist, oder als AKTIVIERT mit einem doppelten Weichzeichner (der Weichzeichner der Kamera sowie der Weichzeichnereffekt Ihrer App), wodurch Ressourcen verschwendet werden.

Bei Ausführung auf einem unterstützten Gerät empfehlen wir, Windows-Studio Effects direkt zu nutzen, um High Fidelity-Effekte mit geringeren Systemressourcen und weniger Auswirkungen auf die Akkulaufzeit zu erzielen. Auf diese Weise werden Benutzer, wenn diese m it Ihren In-App-Steuerelementen interagieren, direkt mit den Funktionen von Windows-Studio Effects der Kamera selbst synchronisiert. Im Abschnitt App-Integration mit Windows-Studio Effects weiter oben finden Sie Schritte zum Einrichten dieser Synchronisierung und zur Vermeidung dieses Überlappungsproblems.

Wenn Ihre App auf einem Gerät ausgeführt wird, das Windows-Studio Effects unterstützt, aber Sie es bevorzugen, Effekte von einem anderen Drittanbieterdienst (oder gar keine) anzuwenden, sollten Sie die in Konflikt stehenden Windows-Studio Effects deaktivieren.

So schalten Sie Windows Studio Effects aus:

1. Überprüfen Sie, ob es sich überlappende KS-Eigenschaften gibt.
2. Wenn überlappende Eigenschaften vorhanden sind, legen Sie sie beim Starten der Kamera auf AUS fest.

Wenn Sie z. B. sicherstellen möchten, dass die Weichzeichnerfunktion auf Kameraebene deaktiviert ist, überprüfen Sie, ob die Kamera KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION anbietet. Falls ja, stellen Sie sicher, dass dieser Wert auf KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF festgelegt ist.

Das Engagement von Microsoft für verantwortungsvolle KI-Praktiken

Um sicherzustellen, dass Windows Studio Effects vertrauenswürdig, sicher und verantwortungsbewusst erstellt wird, verwendet es Modelle, die umfassend ausgewertet, angeleitet und durch Fairnesstests während der gesamten Entwicklung geschult wurden.

Zusätzlich umfasst der Datensatz, der von den kreativen Filtern verwendet wird, 3.000 handgezeichnete Porträts von Benutzern unterschiedlichen Alters, Geschlechts und ethnischer Herkunft. Jedes Porträt wurde gemäß einem Stilhandbuch erstellt, das auf einer Studie zu den Vorlieben der Benutzer basiert. Für Teleprompter und kreative Filter wurde großer Wert auf die Produktfunktionalität für Menschen mit besonderen Augenmerkmalen gelegt.

Zusätzliche Ressourcen

• Verwalten von Kameras mit Kameraeinstellungen in Windows 11: Unterstützung von Windows-Studio Effects
• Die Vorteile von Geräten mit KI-Erfahrungen