다음을 통해 공유

가상 분석 및 가상

  • 아티클

반사실적 가상에서는 작업 입력을 변경한 경우 모델이 예측하는 내용에 대한 질문을 해결합니다. 이를 통해 입력(기능) 변경에 반응하는 방식의 관점에서 기계 학습 모델을 이해하고 디버깅할 수 있습니다.

표준 해석력 기술은 기계 학습 모델을 근사화하거나 예측 중요도에 따라 기능 순위를 매깁니다. 반면 반사실적 분석은 모델을 "심문"하여 모델 결정을 뒤집을 특정 데이터 요소의 변경 내용을 결정합니다.

이러한 분석은 상관된 기능의 영향을 분리하는 데 도움이 됩니다. 또한 분류 모델에 대한 모델 결정 플립과 회귀 모델에 대한 결정 변경을 확인하는 데 얼마나 많은 기능 변경이 필요한지에 대해 더 잘 이해할 수 있습니다.

책임 있는 AI 대시보드의 반사실적 분석 및 가상 구성 요소는 다음 두 가지 기능으로 구성됩니다.

  • 모델의 예측을 변경하도록 특정 지점에 대한 최소한의 변경으로 예제 세트를 생성합니다(반대 모델 예측을 사용하여 가장 가까운 데이터 요소 표시).
  • 사용자가 기능 변경 내용에 모델이 어떻게 반응하는지 이해할 수 있도록 자체적인 가상 교란을 생성할 수 있도록 합니다.

책임 있는 AI 대시보드의 반사실적 분석 구성 요소의 가장 큰 차별화 요소 중 하나는 다양할 기능과 유효하고 논리적인 반사실적 예제에 대해 허용되는 범위를 식별할 수 있다는 사실입니다.

이 구성 요소의 기능은 DiCE 패키지에서 제공됩니다.

다음을 수행해야 하는 경우 반사실적 가상을 사용합니다.

  • 성별 및 민족과 같은 민감한 특성을 교란한 다음, 모델 예측이 변경되는지 여부를 관찰하여 공정성 및 신뢰성 기준을 의사 결정 평가자로 검토합니다.
  • 특정 입력 인스턴스를 자세히 디버그합니다.
  • 사용자에게 솔루션을 제공하고 모델에서 바람직한 결과를 얻기 위해 수행할 수 있는 작업을 결정합니다.

반대되는 예제는 어떻게 생성되나요?

DiCE는 반대 의견을 생성하기 위해 몇 가지 모델 중립적 기술을 구현합니다. 이러한 메서드는 불투명 상자 분류자 또는 회귀자에 적용됩니다. 근접성(및 필요에 따라 희소성, 다양성 및 타당성)에 따라 손실 함수를 최적화하면서 입력 지점에 대한 근거리 지점 샘플링을 기반으로 합니다. 현재 지원되는 메서드는 다음과 같습니다.

  • 임의 검색: 이 방법은 쿼리 지점 근처의 지점을 임의로 샘플링하고 예측된 레이블이 원하는 클래스인 해당 지점으로 반대 사실을 반환합니다.
  • 유전 검색: 이 방법은 쿼리 지점에 대한 근접성을 최적화하고, 최대한 적은 수의 기능을 변경하고, 생성된 반대 사실 간의 다양성을 최적화하는 결합된 목표를 감안할 때 유전 알고리즘을 사용하여 지점을 샘플링합니다.
  • KD 트리 검색: 이 알고리즘은 학습 데이터 세트에서 반사실을 반환합니다. 거리 함수를 기반으로 학습 데이터 요소 위에 KD 트리를 생성한 다음, 원하는 예측 레이블을 생성하는 특정 쿼리 지점에 가장 가까운 지점을 반환합니다.

다음 단계