[paepr review]Deep One-Class Classification

Abstract

Introduction

1. supervised anomaly detection
1. train set : normal / abnormal

2. semi-supervised anomaly detection
1. train set : unlabeled normal data (다량) |or| normal/abnomal (소량)

3. Unsupervised anomaly detection
1. trainset : unlabeled data

4. Deep SVDD (Support Vector Data Description)는 feature extractor 가 anomaly detection task에 맞춰 학습되는 End - to - End Training이 가능
 

Related Work

1. Kernel-based One-Class Classification
1. OC-SVM : input space의 데이터를 kernel function을 통해 feature space로 투영하고, 그 안에서 정상데이터를 최대한 원점에서 멀어지도록하는 하이퍼플래인을 찾고, 해당 경계를 기반으로 이상치 탐지



 
2. SVDD : input space의 데이터를 kernel function을 통해 feature space로 투영하고, 그 안에서 정상 데이터를 둘려싸는 가장 작은 구 (하이퍼스피어)를 찾고, 해당 경계면을 기반으로 이상치를 탐지



feature space에서 대부분의 정상 데이터( 크사이 i )를 둘러싸는 중심이 c인 가장 작은 구 경계(R제곱)을 찾는 목적 함수
 



 

2. Deep Approaches to Anomaly Detection : 이상치탐지 목적함수를 갖는 딥러닝 방법론으로, 아래와 같은 구조가 사용됨
1. AE : 입력을 압축 후 복원하는 신경망 압축 과정에서 복원에 필요한 정보를 포함하도록 학습
2. VAE : 잠재 코드 값이 평균과 분산으로 표현 (가우시안 확률 분포에 기반한 확률값)
3. AnoGAN : DCGAN 과정과 비슷하나, 정상 데이터만을 학습시키고, 데이터를 입력했을 때, 해당 모델의 출력이 입력 이미지와 다른 정도를 Anomaly Score로 도출, 적절한 Anomaly Score를 threchold로 취하여 이상치 데이터 탐지
 

Deep SVDD

1. The Deep SVDD Objective



대부분의 정상 데이터를 최소 부피를 가진 구 안으로 mapping 하는 R과 W를 학습
parameters = R : 반지름, W: weights
Hyperparameters = c : center, v : 이상치 비율
1. term 1 : 구의 부피를 최소화
2. term 2 : 구 외부의 데이터 point에 대해 penalty 부여
3. term 3 : weight decay regularizer
대부분의 데이터가 normal이라고 가정하는 one-class deep SVDD에서는 아래와 같이 구의 중심과 데이터 point 사이의 거리를 최소화하는 W만을 최적화 하도록 학습

2. Optimization of Deep SVDD
위의 objective function을 최적화하여 정상 데이터의 공통적인 요소를 추출하고, 각 데이터 point를 구의 중심 C에 가깝게 mapping하도록 학습, W와 R을 교대로 최적화
1. optimiztion of W : R을 고정하고 k epoch 동안 backpropagation을 통해 w를 업데이트
2. Optimization of R : latest update W를 기반으로 line search를 통해 R을 업데이트
 

3. Properties of Deep SVDD
1. Proposition 1
W, R, C가 모두 0이 되도록 학습되면, 어떤 input도 0으로 출력되는 문제가 생김
때문에 C를 representations of initial forward pass의 평균으로 고정
 
representations of initial forward pass의 평균을 구하는 과정
1. C는 정상데이터의 대표 feature를 포함하고 있어야 함
2. pre-trained 된 CAE의 encoder를 Deep SVDD의 initial weight로 사용
3. 학습되지 않은 초기 모델에 모든 데이터를 입력하여 feature를 출력한 후 feature들의 평균을 구하여 C로 사용
 
2. Proposition 2
bias term을 constant로 수렴하는 상황을 방지하기 위해 bias term을 사용하지 않음
 

Experiments

1. Competing methods
1. Shallow baselines : OC-SVM/ SVDD (kernel based) , KDE, IF (95% 이상 분산 보존)
2. Deep baselines : DCAE, AnoGAN

2. One-class classification on MNIST and CIFAR-10
1. Setup
1. MNIST
1. Train set : 6,000개의 normal 이미지
2. Test set : 10,000개의 normal / abnormal 이미지
2. CIFAR-10
1. Train set : 5,000개의 normal 이미지
2. Test set : 10,000개의 normal / abnormal 이미지
2. Network architectures : LeNet 사용
3. Results



MNIST와 CIFAR-10에서 one-class SVDD 가 전반적으로 좋은 성능을 도출

3. Adversarial attacks on GTSRB stop signs (독일 교통 신호 인식 벤치마크 데이터)
1. Setup
1. Trainset : 780개의 정지 신호 클래스
2. Testset : 270개의 정규 예제와 20개의 적대적 예제
2. Network architectures : LeNet 사용
3. Results



AnoGAN은 데이터셋이 너무 작아 수렴하지 못했고, ONE CLASS DEEP SVDD 가 가장 좋은 성능을 도출한다고 주장
 
 
proceedings.mlr.press
http://proceedings.mlr.press/v80/ruff18a/ruff18a.pdf