다음을 통해 공유


Azure AI 콘텐츠 안전의 유해 범주

이 가이드에서는 Azure AI 콘텐츠 보안에서 콘텐츠를 신고하는 데 사용하는 모든 유해성 범주와 등급을 설명합니다. 텍스트와 이미지 콘텐츠 모두 동일한 플래그 집합을 사용합니다.

유해 범주

콘텐츠 안전에서는 불쾌한 콘텐츠를 네 가지 범주로 구분합니다.

범주 설명 API 용어
증오와 공정성 증오와 공정성 피해는 이러한 그룹의 특정 차별화 특성에 따라 개인 또는 ID 그룹을 참조하여 차별적인 언어를 공격하거나 사용하는 모든 콘텐츠를 나타냅니다.

여기에는 다음이 포함되지만 이에 제한되지 않습니다.
  • 인종, 민족, 국적
  • 성 정체성 그룹 및 표현
  • 성적 취향
  • 종교
  • 개인 외모 및 신체 크기
  • 장애 상태
  • 괴롭힘 및 왕따
Hate
성적 성적 범주는 해부학적 기관 및 생식기, 낭만적인 관계 및 성행위, 에로틱하거나 애정 어린 용어로 묘사된 행위(자신의 의지에 반하는 폭행 또는 강제 성폭력 행위로 묘사되는 행위 포함)와 관련된 언어를 설명합니다. 

 여기에는 다음 문서가 포함됩니다(이에 국한되지 않음).
  • 저속한 콘텐츠
  • 매춘
  • 노출 및 포르노
  • 남용
  • 아동 착취, 아동 학대, 아동 그루밍
Sexual
폭력 폭력은 누군가 또는 무언가를 다치게 하거나, 다치게 하거나, 손상시키거나, 죽이려는 신체적 행동과 관련된 언어를 설명합니다. 는 무기, 총 및 관련 엔터티를 설명합니다.

여기에는 다음이 포함되지만 이에 국한되지는 않습니다.
  • 무기
  • 괴롭힘과 협박
  • 테러리스트와 폭력적인 극단주의
  • 스토킹
Violence
자해 자해란 의도적으로 자신의 신체를 다치게 하거나 손상시키거나 자살하려는 의도를 지닌 신체적 행동과 관련된 언어를 말합니다.

여기에는 다음이 포함되지만 이에 국한되지는 않습니다.
  • 섭식 장애
  • 괴롭힘과 협박
SelfHarm

분류에는 다중 레이블이 지정될 수 있습니다. 예를 들어 텍스트 샘플이 텍스트 조정 모델을 거치면 성적인 콘텐츠와 폭력으로 분류될 수 있습니다.

심각도 수준

서비스가 적용되는 모든 피해 범주에는 심각도 수준 등급도 함께 제공됩니다. 심각도 수준은 플래그가 지정된 콘텐츠 표시로 인한 결과의 심각도를 나타냅니다.

텍스트: 현재 버전의 텍스트 모델은 전체 0-7 심각도 척도를 지원합니다. 분류자는 이 배율의 모든 심각도 중에서 검색합니다. 사용자가 지정하는 경우 0, 2, 4, 6이라는 단축 척도로 심각도를 반환할 수 있습니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

이미지: 현재 버전의 이미지 모델은 전체 0-7 심각도 척도의 단축 버전을 지원합니다. 분류자는 심각도 0, 2, 4 및 6만 반환합니다.

  • 0
  • 2
  • 4
  • 6

텍스트가 있는 이미지: 현재 버전의 다중 모달 모델은 전체 0-7 심각도 척도를 지원합니다. 분류자는 이 배율의 모든 심각도 중에서 검색합니다. 사용자가 지정하는 경우 0, 2, 4, 6이라는 단축 척도로 심각도를 반환할 수 있습니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

텍스트 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

이미지 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

다중 모달(텍스트가 있는 이미지) 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

다음 단계

애플리케이션에서 Azure AI 콘텐츠 보안 사용을 시작하려면 빠른 시작을 따르세요.