¿Qué es Azure AI Content Safety?
Seguridad del contenido de Azure AI es un servicio de IA que detecta contenido perjudicial generado por usuario y generado por inteligencia artificial en aplicaciones y servicios. Seguridad del contenido de Azure AI incluye varias API de texto e imagen que permiten detectar todo aquel material que sea perjudicial. Content Safety Studio es interactivo y le permite ver, explorar y probar código de ejemplo para detectar contenido perjudicial en diferentes modalidades.
El software de filtrado de contenido pueden ayudar a que cualquier aplicación cumpla las regulaciones o mantenga el entorno previsto para los usuarios.
Esta documentación contiene los siguientes tipos de artículos:
- Los conceptos proporcionan explicaciones detalladas sobre la funcionalidad y las características del servicio.
- Los inicios rápidos son instrucciones de inicio que le guiarán a la hora de hacer solicitudes al servicio.
- Las guías de procedimientos contienen instrucciones para usar el servicio de una manera más específica o personalizada.
Dónde se usa
Los siguientes son algunos escenarios en los que un desarrollador o un equipo de desarrolladores de software usaría un servicio de moderación de contenido:
- El usuario solicita que se envíe a un servicio de IA generativa.
- Contenido generado por modelos de IA generativa.
- Mercados en línea que moderan catálogos de productos y otro contenido generado por el usuario.
- Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.
- Plataformas de mensajería de las redes sociales que moderan las imágenes y el texto que agregan los usuarios.
- Empresas multimedia que implementan la moderación de centralizada de su contenido.
- Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.
Importante
Seguridad del contenido de Azure AI no se puede usar para detectar imágenes ilegales de explotación infantil.
Características del producto
Este servicio pone a su disposición varios tipos diferentes de análisis. En la tabla siguiente se describen las API que están disponibles en la actualidad.
| Característica | Funcionalidad | Guía de conceptos | Introducción |
|---|---|---|---|
| Escudos de avisos | Examina el texto del riesgo de un ataque de entrada de usuario en un modelo de lenguaje grande. | Conceptos de Escudos de avisos | Guía de inicio rápido |
| Detección de la base (versión preliminar) | Detecta si las respuestas de texto de los modelos de lenguaje grande (LLM) se basan en los materiales de origen proporcionados por los usuarios. | Conceptos de detección de la base de datos | Guía de inicio rápido |
| Detección de texto de material protegido | Examina el texto generado por IA para obtener contenido de texto conocido (por ejemplo, letras de canciones, artículos, recetas, contenido web seleccionado). | Conceptos de materiales protegidos | Guía de inicio rápido |
| API de categorías personalizadas (estándar) (versión preliminar) | Permite crear y entrenar sus propias categorías de contenido personalizadas y examinar texto para buscar coincidencias. | Conceptos de categorías personalizadas | Guía de inicio rápido |
| API de categorías personalizadas (rápidas) (versión preliminar) | Esta le permite definir rápidamente patrones de contenido dañinos emergentes y examinar texto e imágenes para buscar coincidencias. | Conceptos de categorías personalizadas | Guía paso a paso |
| API de análisis de texto | Examina si en el texto hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple. | Categorías de daños | Guía de inicio rápido |
| API de análisis de imagen | Examina si en las imágenes hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple. | Categorías de daños | Guía de inicio rápido |
Content Safety Studio
Azure AI Content Safety Studio es una herramienta en línea diseñada para controlar todo aquel contenido que sea potencialmente ofensivo, arriesgado o no deseable mediante vanguardistas modelos de ML de moderación de contenido. Proporciona plantillas y flujos de trabajo personalizados, lo que permite a los usuarios elegir y crear su propio sistema de moderación de contenido. Los usuarios pueden cargar su propio contenido, o bien probarlo con el contenido de ejemplo que se proporciona.
Content Safety Studio no solo contiene modelos de inteligencia artificial integrados, sino que también incluye listas de bloqueados integradas de Microsoft para marcar palabras soeces y mantenerse al día de las nuevas tendencias de contenido. También puede cargar sus propias listas de bloqueados para mejorar la cobertura del contenido perjudicial específico de su caso de uso.
Studio también permite configurar un flujo de trabajo de moderación, donde se puede supervisar y mejorar continuamente el rendimiento de la moderación de contenido. Puede ayudarle a cumplir los requisitos de contenido de todo tipo de sectores, como juegos, multimedia, educación, comercio electrónico, etc. Las empresas pueden conectar fácilmente sus servicios a Studio, lo que permite que su contenido se modere en tiempo real, tanto el que generan los usuarios como el que genera la inteligencia artificial.
Todas estas funcionalidades las controlan Studio y su backend; los clientes no necesitan preocuparse por el desarrollo de modelos. Puede incorporar los datos para una validación rápida y supervisar los KPI en consecuencia, como métricas técnicas (latencia, precisión, recuperación) o métricas empresariales (tasa de bloques, volumen de bloques, proporciones de categoría, proporciones de idioma, etc.). Con configuraciones y operaciones sencillas, los clientes pueden probar diferentes soluciones rápidamente y encontrar la mejor opción, en lugar de dedicar tiempo a experimentar con modelos personalizados o realizar la moderación de forma manual.
Características de Content Safety Studio
En Content Safety Studio, están disponibles las siguientes características de seguridad del contenido de Azure AI:
Contenido de texto moderado: con la herramienta de moderación de texto, se pueden ejecutar fácilmente pruebas en el contenido de texto. Independientemente de que desee probar una sola oración o todo un conjunto de datos completo, nuestra herramienta ofrece una interfaz fácil de usar que le permite evaluar los resultados de las pruebas directamente en el portal. Puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido y la administración de listas de bloqueos, lo que garantiza que el contenido siempre se modera en función de las especificaciones exactas. Además, con la capacidad de exportar el código, puede implementar la herramienta directamente en la aplicación, lo que simplifica el flujo de trabajo y ahorra tiempo.
Contenido de imágenes moderado: con la herramienta de moderación de imágenes, puede ejecutar fácilmente pruebas en imágenes para asegurarse de que cumplen los estándares de contenido. Nuestra interfaz fácil de usar le permite evaluar los resultados de la prueba directamente en el portal y, además, puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido. Una vez que haya personalizado la configuración, puede exportar fácilmente el código para implementar la herramienta en la aplicación.
Supervisión de la actividad en línea: la eficaz página de supervisión le permite realizar fácilmente un seguimiento del uso y las tendencias de la API de moderación en distintas modalidades. Con esta característica, puede acceder a información de respuesta detallada, incluidas la distribución de categorías y gravedad, la latencia, el error y la detección de listas de bloqueados. Esta información le proporciona una visión general completa del rendimiento de la moderación de contenido, lo que le permite optimizar el flujo de trabajo y asegurarse de que el contenido siempre se modera en función de sus especificaciones exactas. Con nuestra interfaz fácil de usar, puede desplazarse de forma rápida y sencilla por la página de supervisión para acceder a la información que necesita para tomar decisiones informadas sobre su estrategia de moderación de contenido. Tiene las herramientas necesarias para mantenerse al día del rendimiento de la moderación de contenido y lograr sus objetivos, en lo relativo al contenido.
Seguridad
Uso de Microsoft Entra ID o identidad administrada para administrar el acceso
Para mejorar la seguridad, puede usar Microsoft Entra ID o Identidad administrada (MI) para administrar el acceso a los recursos.
- La identidad administrada se habilita automáticamente al crear un recurso de Content Safety.
- Microsoft Entra ID se admite en escenarios de API y SDK. Consulte la guía general de servicios de inteligencia artificial de Autenticación con Microsoft Entra ID. Para conceder acceso a otros usuarios de su organización, asígneles los roles de Lector y Usuario de Cognitive Services. Para más información sobre cómo conceder acceso de usuario a los recursos de Azure desde Azure Portal, consulte la Guía de control de acceso basado en roles.
Cifrado de datos en reposo
Obtenga información sobre la forma en que seguridad del contenido de Azure AI controla el cifrado y descifrado de los datos. Las claves administradas por el cliente (CMK), que también se conocen como Bring Your Own Key (BYOK), ofrecen más flexibilidad para crear, girar, deshabilitar y revocar controles de acceso. También permite auditar las claves de cifrado que se usan para proteger los datos.
Precios
Actualmente, seguridad del contenido de Azure AI tiene un plan de tarifa F0 y S0. Consulte la página de precios para más información.
Límites de servicio
Requisitos de entrada
Vea la siguiente lista para obtener los requisitos de entrada de cada característica.
- API de análisis de texto:
- Longitud máxima predeterminada: 10 000 caracteres (los textos más largos se dividen según sea necesario).
- API de análisis de imagen:
- Tamaño máximo de archivo de imagen: 4 MB
- Dimensiones entre 50 x 50 y 7200 x 7200 píxeles.
- Las imágenes pueden estar en formato JPEG, PNG, GIF, BMP, TIFF o WEBP.
- Analizar la API multimodal:
- Longitud máxima predeterminada del texto: 1000 caracteres.
- Tamaño máximo de archivo de imagen: 4 MB
- Dimensiones entre 50 x 50 y 7200 x 7200 píxeles.
- Las imágenes pueden estar en formato JPEG, PNG, GIF, BMP, TIFF o WEBP.
- API de escudos de avisos:
- Longitud máxima del mensaje: 10 000 caracteres.
- Hasta cinco documentos con un total de 10 000 caracteres.
- API de detección de la base (versión preliminar):
- Longitud máxima para orígenes de base: 55 000 caracteres (por llamada API).
- Longitud máxima de texto y consulta: 7500 caracteres.
- API de detección de material protegido:
- Longitud máxima predeterminada: 1000 caracteres.
- Longitud mínima predeterminada: 110 caracteres (para examinar finalizaciones de LLM, no solicitudes de usuario).
- API de categorías personalizadas (estándar):
- Longitud máxima de entrada de inferencia: mil caracteres.
Compatibilidad con idiomas
Los modelos de Seguridad del contenido de Azure AI para el material protegido, la detección de la falta de fundamento y las categorías personalizadas (estándar) funcionan solo en inglés.
Otros modelos de seguridad de contenido de Azure AI se han entrenado y probado específicamente en los siguientes idiomas: chino, inglés, francés, alemán, español, italiano, japonés, portugués. Sin embargo, estas características pueden funcionar en muchos otros idiomas, pero la calidad puede variar. En todos los casos, debe realizar sus propias pruebas para asegurarse de que funciona para la aplicación.
Para obtener más información, consulte Compatibilidad de idioma.
Disponibilidad regional
Para usar las API de Seguridad del contenido, debe crear el recurso seguridad del contenido de Azure AI en una región admitida. Actualmente, las características de seguridad del contenido están disponibles en las siguientes regiones de Azure:
| Region | API de moderación (texto e imagen) | API de moderación (multimodal) | Escudos de avisos | Detección de materiales protegidos para texto | Detección de materiales protegidos para código | Detección de la base (versión preliminar) | Categorías personalizadas (rápidas) (versión preliminar) | Categorías personalizadas (estándar) (versión preliminar) | Listas de bloqueados |
|---|---|---|---|---|---|---|---|---|---|
| Este de EE. UU. | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Este de EE. UU. 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Centro de EE. UU. | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Centro-Norte de EE. UU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro-sur de EE. UU. | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Oeste de EE. UU. | ✅ | ✅ | ✅ | ✅ | |||||
| Oeste de EE. UU. 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Oeste de EE. UU. 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Este de Canadá | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro de Canadá | ✅ | ✅ | ✅ | ✅ | |||||
| Sur de Brasil | ✅ | ✅ | ✅ | ✅ | |||||
| Norte de Suiza | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Centro-oeste de Alemania | ✅ | ✅ | ✅ | ✅ | |||||
| Centro de Polonia | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro de Suecia | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Este de Noruega | ✅ | ✅ | ✅ | ✅ | |||||
| Sur de Reino Unido | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro de Francia | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Oeste de Europa | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Norte de Italia | ✅ | ✅ | ✅ | ||||||
| Norte de la India | ✅ | ✅ | ✅ | ||||||
| Sur de la India | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Centro de la India | ✅ | ✅ | ✅ | ||||||
| Sudeste de Asia | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Japón Oriental | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Japón Occidental | ✅ | ✅ | ✅ | ✅ | |||||
| Centro de Corea del Sur | ✅ | ||||||||
| Este de Australia | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Norte de Emiratos Árabes Unidos | ✅ | ||||||||
| Norte de Sudáfrica | ✅ | ✅ | ✅ | ✅ | |||||
| USGov: Arizona | ✅ | ✅ | |||||||
| USGov Virginia | ✅ | ✅ |
No dude en ponerse en contacto con nosotros si su empresa necesita que otras regiones estén disponibles.
Tasas de consulta
Las características de seguridad de contenido tienen límites de frecuencia de consulta en solicitudes por segundo (RPS) o solicitudes por 10 segundos (RP10S). Vea la tabla siguiente para obtener los límites de frecuencia de cada característica.
| Plan de tarifa | API de moderación (texto e imagen) |
Escudos de avisos | Material protegido de caras |
Base detección (versión preliminar) |
Categorías personalizadas (rápido) (versión preliminar) |
Categorías personalizadas (estándar) (versión preliminar) |
|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | 10 RP10S | 5 RPS | 10 RP10S |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Si necesita una tarifa más rápida, póngase en contacto con nosotros para solicitarla.
Ponerse en contacto con nosotros
Si no sabe cómo proceder, envíenos un correo electrónico o use el widget de comentarios en la parte inferior de cualquier página de Microsoft Learn.
Pasos siguientes
Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.