XAI method 1

date

Jul 9, 2023

slug

xai-method

author

status

Public

※ Outline : 5가지

<Salinecy map-based>

Saliency map 기반 방법은 Grad-CAM결과와 같이 하나의 이미지 샘플이 모델의 입력으로 들어가게 되면 예측 결과에 대한 설명을 히트맵과 같이 이미지 내에서 중요하게 작용할 부분을 하이라이트해서 보여줌으로써 설명을 제공하는 방법이다.

1) Salinecy map-based : Simple Gradient method

sliency map 방법들 중 가장 간단한 방법은 입력에 대한 모델의 Gradient로 설명을 제공하는 것이다.

[Simonyan, et al., Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps, ICLR 2014]

예를 들어, 위의 수식에 있는 라는 이미지가 라는 함수의 입력으로 들어가서 출력이 계산되었을 때, 그 출력값이 입력 이미지의 각 픽셀에 대한 gradient를 구하여, 그 구한 값을 각 픽셀의 중요도로 해석한다.

이 방법이 타당한 이유는 gradient라는 것이 각 픽셀의 값이 조금 바뀌었을 때, 함수의 출력값이 얼마나 빨리 변하는지를 구하는 값이기 때문에 Gradient가 크다면 해당 픽셀이 출력값에 영향을 많이 미치는 것이므로 중요하다고 해석 할 수 있기 때문이다.

그리고 딥러닝 모델의 경우 back-propagation 통해 쉽게 계산할 수 있기 때문에 간단히 구현할 수 있는 이점이 존재한다.

1-2) Examples of Simple Gradient method

gradient 방법을 이용해서 주어진 입력 이미지에 예측 결과에 대한 Saliency map을 위의 그림처럼 볼 수 있다.

예시 6가지 이미지들에 대해 주어진 모델은 모두 정확히 정답 클래스를 올바르게 예측하였고, 그에 대한 설명(Saliency map)을 보면 정답 class에 해당하는 객체들을 잘 하이라이트하고 있는 것을 볼 수 있다.

요트, 강아지, 열대과일 등 객체를 올바른 예측에 대한 설명으로 그 객체들을 하이라이트하고 있다. 즉, object를 잘 집어내고 있다.

1-2) Strength and Weakness points of Simple Gradient method

(장점) 간단한 gradient에 기반한 설명 방법은 계산하기가 아주 쉬운 장점을 가지고 있고, 또 어느 정도 정확한 설명을 만들어 낼 수 있음을 앞 예시에서 보았다.

그러나 이 방법을 단점도 존재하는데, 이렇게 gradient로 구한 설명들이 매우 Noisy 할 수 있다는 것이다. 예시인 왼쪽 아래 그림을 보면 이미지의 시퀀스인 어떤 비디오 프레임에 대해 라는 분류기에 대한 출력을 그림을 통해 보여 주고 있다.

즉, 각 프레임에 대한 예측 결과는 “바벨”로 일정하고, 그 예측값만 비교적 부드럽게 변하는 것에 반해서, 입력 이미지들에 대한 gradient를 구하면 아래 있는 그림(map)처럼 굉장히 Noisy 해지는 것을 알 수가 있다.

즉, 똑같은 예측 결과를 가진 조금씩 변하는 이미지들이 있는데, 각 이미지에 대한 설명(map)은 많이 다르게 나타남을 알 수 있다.

또한 오른쪽 예시처럼 어떤 이미지 에 아주 작은 노이즈 엡실론을 섞어 주었을 때, 사람 눈으로 보기에는 거의 차이점이 없는 이미지를 가지고 모델의 예측도 동일하게 되지만 그 입력 gradient는 가운데 있는 그래프 plot처럼 매우 Noisy 하게 변화하는 것을 볼 수가 있다.

2) Salinecy map-based : SmoothGrad method

[Smilkov, et al., Smoothgrad: removing noise by adding noise, ICML workshop, 2017]

간단한 gradient 방법의 단점을 극복하기 위해 제시된 것이 smoothGrad라는 방법이다.

라는 이미지가 주어졌을 때, 작은 독립적인 가우시안노이즈 엡실론(잡음으로 추가되는 값이 가우시안 함수 형태를 따름)을 섞어준 뒤, 입력 gradient를 구하는 과정을 여러 번 수행해서 그 gradient의 평균으로 설명(map등으로 나타냄)을 제시하는 방법이다.

이 SmoothGrad 방법은 앞에서 보신 예(Gradient결과 예시)에서 본 Noisy한 Gradient들은 많이 제거될 수가 있고, 평균으로 남는 Gradient들이 더 깨끗한 설명을 제공할 수 있게 된다.

노이즈를 섞어서 Gradient를 계산하는 횟수는 대략 50회 정도 진행이 되고, noise의 표준편차도 위의 휴리스틱한 룰로 인해서 정해주게 된다.

2-1) Examples of SmoothGrad Method

Simple Gradient를 보완한 방법인 smoothGrad를 적용해본 결과이다.

그림의 세 번째 열로 나타나 있는 smoothGrad의 설명이 보다 간단한(simple) Gradient 방법(두 번째 열 결과)보다 훨씬 깨끗한 설명을 보여주고 있는 것을 확인할 수 있다.

특히, 왼쪽 두 번째 상어 이미지처럼 배경이 균일한 경우에 더 깨끗하게 smoothGrad가 잘 설명한다. (즉, 배경이 균일한 경우 중요한 픽셀들을 더 잘 잡아내고 있는 것을 알 수 있다.)

2-2) Strength and Weakness points of SmoothGrad method

(장점) smoothGrad는 평균 내는 과정을 통해 명확한 설명을 생성해 낼 수 있는 장점이 있고, 또 간단한 Gradient 방법과 같이 대부분의 saliency-map 기반 방법들에도 동일하게 쉽게 적용이 가능한 장점이 있다.

(단점) 반면에, Noise를 섞어 주고 얻는 Gradient를 평균 내는 것이기 때문에 Noise를 섞어주는 횟수만큼 어떤 딥러닝 모델의 forward-backward propagation을 해야하므로 매우 계산 복잡도가 높은 단점을 가지고 있는 것을 알 수 있다.

3) Salinecy map-based : Class Activation Map (CAM)

saliency map기반의 설명가능 방법 중에 하나인 class activation map (CAP) 방법

[Zhou, Bolei, et al., Learning deep features for discriminative localization, CVPR 2016]

CAM(class activation map)은 Global Average Pooling이라는 특정한 layer를 만들고 그것을 활용하여 설명을 제공하는 방법이다.

그림에서처럼 Convolutional Neural Network 기반에 분류기가 있다고 하고 최종 레이어에서 n개의 activation map이 나오고(여기서 각 activation map들은 색깔로 구분함) 이때 GAP 레이어는 각 activation map의 모든 Activation들을 평균을 내는 연산을 뜻한다.

그렇게 되면 한 Activation마다 하나의 숫자를 얻게 되고, 그것이 여기 오른쪽에 각 색깔의 동그라미로 표시되었다. 그렇게 계산된 Activation map별 평균 Activation에 최종 softmax output layer(확률.. 가져옴)를 붙여서 각 클래스마다 평균 낸 Activation들을 선형적으로 결합해서 클래스별 확률을 계산하는 아웃풋 분류기를 만들어서 학습을 하게 된다.

그렇게 학습하게 되면 그림에서 보는 것처럼 각 class에 대한, 예를 들어서 Australian terrier 클래스에 대한 activation을 결합하여 스코어를 계산하는 선형계수들 부터 (weight)까지 얻게 된다.

여기까지 하고 난 뒤에 CAM이 얻는 설명은 그 아래에 나타나 있는 그림과 같다.

즉, 예를 들어서 어떤 이미지가 CNN 입력으로 들어오게 되면 그 이미지에 해당하는 activation들이 최종 레이어의 activation map으로 나타나게 된다. 이 각 activation map들은 아래쪽의 파란색 배경이미지에 표시되어 있다. 그렇게 얻은 activation map들이 있으면 위에서 구한 예측한 클래스에 대한 Global Average Pooling별로 학습이 된 ~ 을 활용해서 이 activaiton map을 결합하게 된다.

그렇게 최종 결합한 activaiton map이 오른쪽에 표현되어 있고 이것을 원래 이미지에 겹쳐서 시각화를 해보면 정답 클래스인 Australian terrier를 이미지 내에서 잘 하이라이트 하고 있는 것을 알 수 있다.

이렇게 activaiton을 결합하여 설명을 만드는 방법은 직관적으로도 말이 된다. 즉, 어떤 activation map에 activation이 크게 된다는 것은 그 map이 주어진 입력과 관련이 많다는 뜻이고, 그것을 결합하는 w가 크다는 것도 최종 분류의 큰 영향을 주는 activation이라는 뜻이 므로, 그것을 결합하면 입력에 대한 예측을 잘 설명하는 방식이 되는 것이다.

최종적인 결과를 어떻게 시각화하는지 보여주고 있다. CNN의 최종 layer 해상도는 보통 원래 이미지 해상도에 비해 떨어지게 되므로 upsamping을 통해서 최종 시각화를 한다.

CAM의 Global Average Pooling을 거쳐서 최종 분류 점수를 계산하는 식이 위에 쓰여있다.

이 식의 A는 activation map이고 안쪽에 있는 은 Global Average Pooling 하는 것을 표현하고 있다. 각 픽셀 ij에 대해서 모든 activation들을 더한 다음에 그 activation크기(Z)로 나누면 global average pooling을 하는 것이다.

그러고 나서 , 는 클래스 c에 대한 W들이 각 activation k마다 있어서 이렇게 global average pooling 한 activation을 다시 결합해서 최종점수 Y를 계산 하는 것이다.

는 class c에 대한 아웃풋 스코어이다.

이렇게 써 놓고 보면 우리는 두 개의 시그마의 위치를 바꿀 수 있는 것을 알 수 있다. 위치를 바꿔서 표현을 하게 되면 왼쪽 아래 있는 있는 L 표시되어 있는 것이 그 activation map의 ij 번째 픽셀마다 먼저 W를 이용해서 결합을 할 수가 있고 그렇게 결합된 값이 바로 앞서 시각화해서 보여 드린 CAM이 되는 것이다. 여기 가 클래스 C에 대한 CAM에 결과값을 보여주고 있는 것이다.

그리고 이렇게 계산된 activation map의 CAM 값들의 평균을 내면 바로 특정클래스에 대한 분류 점수가 되는 것을 또 다시 볼 수가 있다.

다음은 CAM으로 구한 설명들에 대한 예시를 한번 살펴보도록 하겠다.

그림에서 클래스마다 세 장의 서로 다른 입력 사진들을 보여 주고 있고, 사진 아래에 제대로 된 클래스 예측에 대한 CAM 설명을 나타내고 있다. 그림에 나타난 거처럼 클래스가 같더라도 매우 다른 입력들이 주어졌을 때도 분류기는 제대로 정답을 예측하고, 그 예측에 대한 설명도 그림 내에서 정답이 해당하는 객체들을 잘 찾아내어 하이라이트하고 있는 것을 알 수가 있다.

이렇게 구한 CAM 설명을 이용하면 단순한 이미지 분류 외에도 다른 더 복잡한 응용 분야인 Object Detection 이나 Semantic segmentation에도 적용할 수 있다.

그림에서 보는 것처럼 주어진 이미지에 분류 결과를 얻은 뒤, 그에 대한 CAM 설명을 얻으면 오른쪽에 보이는 것처럼 이미지 내에 객체에 대한 하이라이트를 얻을 수 있다. 결과를 통해, 적절한 객체를 제대로 보고 해당 분류 결과를 내었다는 것을 알 수가 있다. 추가로 이렇게 얻은 하이라이트된 그 값들을 적절한 thersholding을 해주게 되면 왼쪽 이미지에서 보는 것처럼 이미지 내에 객체에 대한 바운딩 박스를 얻을 수 있다.

실제로 이렇게 CAM을 이용해서 이미지마다 단순한 classification 레이블만 주어져 있을 때도 해당 데이터를 활용해 분류기를 학습한 뒤, 이 CAM 정보를 통해 바운딩 박스를 쳐주는 object detection, 또는 픽셀마다 레이블 해주는 Semantic segmentation의 활용할 수 있다. 이러한 것들을 통틀어서 weakly Supervised Learning이라고 한다. 관련 연구들도 매우 활발하게 진행되고 있다.

3-1) Strength and Weakness points of CAM method

장점은 앞서 예들에서 본 것처럼 모델이 중요하게 보고 있는 이미지 내에 object들을 정확하게 깔끔하게 잡아낸다.

단점은 이 방법은 model-specific한 설명이다. CAM은 항상 global average pooling이 마지막에 달려있는 모델에만 적용이 가능하고 그렇지 않은 모델에는 적용할 수 없다.

하지만, 실제로 많은 경우에는 global average pooling 레이어가 없는 모델들이 대부분이고, 그런 경우에는 CAM을 이용해서 설명할 수가 없게 된다.

또한 CAM 설명은 마지막 컨볼루션 레이어의 activation map에서만 얻을 수 있으므로 그 Visualization 해상도가 많이 떨어지는 단점이 있다. 추가로, 앞 그림의 예시에서 Visualization이 대략적으로만 객체를 집어내고 있지, 정확하게 객체의 바운더리까지 찾아내는 대에는 한계가 있다.

이렇게 살펴본 CAM의 단점들을 극복하기 위해서 나온 방법이 바로 Grad-CAM이라는 방법이다.

4) Salinecy map-based : Grad-CAM

[Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradientbased localization." ICCV 2017]

CAM 방법론 이후 1년 뒤에 등장

2017년도 ICCV에서 소개됨

이름에서도 알 수 있듯이 Grad-CAM은 gradient 정보를 활용해서 확장한 설명 방법이다. global average pooling이 없는 모델에도 다 적용 가능하게 한 방법이다.

CAM의 수식을 보면 클래스 c에 대한 ij번째 activation 픽셀에 대한 중요도는 여러 activation map들의 ij번째 픽셀값을 w를 이용해서 결합한 것이었는데, 이때 w는 global average pooling layer 위에 붙어 있는 최종 아웃풋 layer에서 학습한 w들이 사용되었다.

grad-CAM에서는 이러한 global average pooling 없는 모델에도 이런 activation을 결합하는 방식을 보완하였다. 학습한 w를 사용하는 CAM과 달리 위의 수식에 나와있는거 처럼, 해당 activation map에서 구한 gradient들의 global average pooling 된 값을 w로 사용하고 있다. 즉, 어떤 w가 특정 모델 구조를 가지고 학습된 w를 사용하는 것이 아니라, 어느 activation map에서도 그 activation map의 gradient를 구한 다음에 그것의 global average pooling값으로 w를 적용한다는 뜻이다.

그렇게 구한 grad-CAM의 w로 activation을 결합하고 그 결과값들이 양수일 때에만 최종적으로 취함으로서 grad-CAM의 설명을 얻는다.

활용하고자 하는 레이어의 activation map까지 back propagation을 해서 gradient를 구한 뒤, 그 gradient를 pooling해서 그 해당 activaiton map을 결합하는 w로 사용하고 최종적으로 설명을 구한다. 이렇게 구한 Grad-CAM의 설명 결과를이 그림들에서 보여 주고 있다.

첫번째 예제 사진은 강아지와 고양이가 같이 있는 이미지에 대한 설명 결과를 보여주고 있는데, 강아지에 해당하는 출력에 대한 설명(오른쪽에 있는 그림)과, 그리고 고양이에 해당하는 출력에 대한 설명(가운데에 있는 그림)이 확실히 잘 구분되고, 각각 해당 오브젝트를 잘 시각화하고 있는 것을 알 수 있다.

또한, 이런 Grad-CAM 이용하면 학습된 모델이 과연 제대로 예측을 하고 있는지 또는 이 모델의 예측에 편향성에 존재하지 않는지도 알아낼 수 있다.

두번째 예제에서 입력 사진을 간호사라고 분류를 했을 때, 만약 그 모델의 예측 출력에 대한 grad-CAM을 구해 봤을 때 가운데 이미지처럼 여성 또는 얼굴이 중요하다고 나오게 되면이 모델은 성별에 대하여 편향되어있는 모델을 가능성이 크다.

반면 오른쪽 이미지처럼 Grad-CAM 설명 결과가 청진기와 같은 의료 도구에 focus 되어 있으면 이 모델은 비교적 편향되지 않은 상태에서 올바르게 분류를 하고 있는 것을 알 수 있다.

4-1) Strength and Weakness points of Grad-CAM method

장점은 CAM과 달리 model-agnostic하다. 즉, 그림에서 보시는 것처럼 모델이 어떤 출력 구조를 가지고 있더라도 상관없이 사용할 수 있다. 그 모델이 분류를 하는 모델이든 또는 이미지캡셔닝을 하는 모델이든, 모델의 출력으로부터 백본이 되는 CNN 모델의 activation layer까지 back propagation통해 gradient를 구할 수만 있다면, 다 사용할 수 있는 방법인 것이다.

단점은, activaiton을 결합하는 이 w로 평균 gradient를 사용하게 되는데, 이것이 그렇게 정확하지 않을 때가 있다는 것이다. 즉, gradient가 크다는 것은 해당 activation에 대한 출력값의 민감도가 크다는 말이지만, 그것이 반드시 그 activaiton이 최종 결과를 계산하는데 있어서 중요도를 정확히 반영하지 않는다는 것이다.

여기까지 white-box 설명방법에 기반한 saliency map방식의 설명방법에 대한 설명이었다.

<Perturbation-based>

다음으로는 모델의 정확한 구조나 계수를 모르는 상태에서 그 모델에 대한 입출력에 대한 정보만 가지고 있는 경우에 설명하는 방법에 대해 소개하겠다. 이런 방법들은 주로 perturbation 기반 방법이라고도 불린다. 그 이유는 입력 데이터를 조금씩 바꾸면서 그에 대한 출력을 보고 그 변화에 기반에서 설명을 하는 방식이 때문이다.

1) Perturbation based : LIME

[Ribeiro et al., "Why Should I Trust You?" Explaining the Predictions of Any Classifier, KDD, 2016]

첫 번째로 설명할 방법은 local Interpretable model-agnostic Explanations(LIME)이라는 방법이다.

이 방법은 어떤 분류기가 딥러닝 모델처럼 매우 복잡한 비선형적 특징을 가지고 있더라도, 주어진 데이터 포인트들의 대해서는 아주 local하게는 다 선형적인 모델로 근사화가 가능하다는 것에서 출발한 개념이다.

그래서 이 방법은 주어진 데이터를 조금씩 perturbation하면서 그 perturb된 입력데이터를 모델의 여러번 통과시킴으로써 나오는 출력을 보고, 이렇게 나온 입출력 pair(이미지, 출력 확률값)들을 간단한 선형 모델로 근사함으로써 설명을 얻어내는 방법이다.

그림예시처럼 아주 복잡한 Decision boundary를 가지고 있는 모델이더라도 해당포인트(빨간색 십자가로 표시되어 있는 해당포인트) 근처에서는 다 선형모델로 근사할 수 있고, 그 선형모델을 이용해서 설명을 하겠다 라는 방법이다.

예를 들어서 주어진 개구리이미지에서 일단 이 개구리 이미지를 슈퍼픽셀(지각적으로(perceptually) 의미있는 픽셀들을 모아서 그룹화)로 세그멘테이션을 해주고 오른쪽과 같은 Interpretable components들을 얻는다.

그리고 나서 이러한 슈퍼픽셀들을 교란(perturbation)한다.

그렇게 해서 가운데 보이는 그림처럼 다양한 교란된 그림들을 얻게 된다. 어떤 슈퍼픽셀들은 존재하고 어떤 슈퍼픽셀들은 그냥 없는 상태로 랜덤하게 만드는 것이다.

이렇게 perturb된 그림들 각각에 대한 모델을 통과했을 때 얻게되는 그 출력 확률을 얻을 수 있게 되고, 개구리에 대한 스코어가 어떻게 바뀌는지 보여주고 있다.

맨 위에 있는 perturbation 같은 경우는 여전히 교란된 이미지를 개구리라고 예측할 확률이 상당히 높게 나오고, 위에서 두 번째 있는 이미지 같은 경우에는 개구리라고 예측할 확률이 거의 없게 나오는 것이다.

perturb된 이미지와 출력 확률값의 pair를 이용해서 각 슈퍼 픽셀들을 잘 결합하는 선형계수들을 학습할 수 있고 그 계수들을 이용해서 슈퍼픽셀들을 다시 결합했을 때, 나오는 이미지가 오른쪽에 있는 최종 설명이 된다.

즉, 주어진 이미지 내에서 이 이미지를 개구리라고 예측을 할 때, 이 방법을 통해서 얻은 설명은 개구리 머리에 해당하는 부분이다. 즉 분류의 중요한 역할을 하는 슈퍼 픽셀들을 잘 찾아내는 것을 알 수가 있다.

이렇게 동작하는 LIME 방법을 활용하면 그림에서 보는 것과 같은 재미있는 결과를 얻을 수가 있다.

여기 왼쪽에 있는 오리지널 이미지에 대해서 “eletric guitar" 라고 예측하는 경우에 대한 설명이 두 번째 그림이고, 그 다음에 “Acoustic guitar”라고 예측하는 경우에 대한 설명이고, 세 번째가 “Labrador”라는 강아지종류라고 예측하는 경우에는 그 설명이 맨 오른쪽에 나타나있다.

각각에 예측에 대해서 LIME 설명 방법이 다르지만, 정확한 그런 설명들을 만들어 내고 있음을 알 수가 있다.

1-1) Strength and Weakness points of LIME method

ex) A model the predicts sepia-toned images to be retro

이렇게 구하는 LIME 방법은 Black-Box설명 방법이라는 가장 큰 장점이 있다. 딥러닝 모델뿐 아니라 어떤 주어진 입력과 그에 대한 출력만 얻을 수 있으면 그것들을 활용해서 어떤 모델에 대해서도 다 적용할 수 있는 설명방법인 것이다.

반면 단점은 주어진 모델을 여러번 evaluation 해야 되는 문제이다. 즉, 딥러닝 같은 경우에는 forward-propagation 많이 해야되고, 그로 인해서 계산복잡도가 매우 높은 방법이라고 할 수 있다. 이는 모델 구조를 알지 못하는 블랙박스 방법이 어쩔 수 없이 가지게 되는 한계이기도 하다.

또한, 실제 모델이 여전히 local 하게도 비선형적인 특징을 가지고 있고, 그것이 선형함수로 잘 근사한 안되는 경우에 설명이 잘 안 되는 단점이 있고, 그리고 아래 그림과 같이 객체분류가 아니라 이미지 전체의 특성에 관한 분류를 하는 경우에도 LIME 방법은 잘 동작하지 않는 단점이 있다.

2) Perturbation based : RISE

[Petsiuk et al, RISE : Randomized Input Sampling for Explanation of Black-box Models, BMVC, 2018]

Black-Box방법으로는 RISE라는 방법이 있다. 이 방법도 앞에 소개한 LIME과 비슷하게 여러 번 입력을 perturb해서 설명을 구하는 방법이다.

이때 이미지를 perturb하는 방법은 가운데 보이는 것처럼 랜덤한 마스크를 만들어서 그 마스크를 씌운 입력이 모델을 통과했을 때 해당 클래스에 대한 예측 확률이 얼마나 떨어지는지를 보고 설명을 하는 방식이다.

즉, 여러 개의 랜덤 마스킹이 되어 있는 입력에 대한 출력 스코어를 구하고 그 스코어(확률)들을 이용해서 이 마스크들을 가중치를 두어서 평균하였을때 나오는 것이 오른쪽에 있는 설명 Map인 것이다.

그림에서처럼 해당 객체들을 아주 잘 찾아내어 하이라이트 하는 것을 알 수 있다.

즉, 올바른 분류 예측을 하는데 있어서 중요한 그런 이미지에 부분들을 잘 찾아내는 것이다. (d)LIME이랑 비교해서도 LIME이 슈퍼픽셀를 이용하는 것 때문에 오는 한계가 없고, 두번째 그림처럼 매우 깨끗한 설명을 확인할 수 있다.

2-1) 장단점 of RISE

black-box 설명임에도 불구하고 잘 구할 수 있다는 장점이 있고, 또 어떤 경우에는 white-box 방법인 grad-CAM 보다도 더 좋은 설명을 만드는 것을 알 수가 있다.

그러나 이 방법의 단점도 높은 계산복잡도를 필요로 하는 것이고, 앞서 말씀드린 LIME 보다도 훨씬 더 많은 수만큼 랜덤 마스크를 만들어야 되는 그런 단점이 있다. 그리고 이 랜덤마스크를 몇 번 만들 것이냐에 따라서 해당 설명이 달라지는 그런 랜덤한 노이즈도 존재하는 것이 단점이다.

<Influence function-based>

마지막으로 지금까지 본 것들과는 약간 다른 influence function의 기반한 설명 방법을 소개하겠다. 지금까지는 주어진 테스트 이미지가 있으면 모델이 이미지를 분류하고 그 분류 결과에 대한 설명을 해당 테스트 이미지에서 하이라이트 하는 방식의 방법들이었다.

그런데 이 방법에서는, 주어진 모델이 어떤 학습데이터로부터 학습한 것이므로 그 데이터셋에 있는 트레이닝 이미지들의 함수라고 볼 수 있고, 따라서 각 테스트 이미지를 분류하는데 가장 큰 영향을 미친 트레이닝 이미지가 해당분류에 대한 설명이라고 제공을 하는 것이다.

<Quantitative Metrics>

이러한 XAI방법들을 어떻게 비교하고 평가하는지 고안된 설명방법들에 문제점들은 없는지 살펴보겠다.

앞서 언급한 여러 가지 방식으로 고안된 XAI의 방법들이 있는데, 과연 어느 방법이 좋은 설명 방법인지 이런 것들을 평가, 이해할 필요가 있다. 그래서 그런 것들을 평가하는 방법들을 소개하겠다.