[paper reivew] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

date

Nov 18, 2022

slug

Informer

author

status

Public

Introdiction

본 논문은 transformer 기반의 long sequence time series forecasting(LSTF라고 정의) 문제에 대한 개선 방안을 제시함.

위 그림을 보면 예측해야하는 sequence가 증가할수록 MSE loss가 급격히 증가하며 초당 inference할 수 있는 예측값의 개수로 급격히 줄어든다는 것을 확인 가능

transformer는 long-range alignment ability 에 대해서는 비교적 우수한 성능을 보이지만 efficient operations on long sequence inputs and outputs 측면에서 효율적이지 못함

transformer의 self attention 연산은 quadratic 의 복잡도 가지며 개의 layer를 가지는 transformer 특성상 총 복잡도는 를 가지게 됨

또한 inference시 step-by-step decoding을 수행하여 속도가 저하됨

본 논문은 이러한 문제들을 개선하기 위한 방법으로

self-attention distilling operation 제안, feature 추출에 필요한 stacking layer의 공간 복잡도 로 감소

기존 transformer의 attention mechanism을 다음과 같이 다시 표현가능

query와 key의 내적을 근사하는 함수 사용

특정 query 에 대한 softmax 확률은 모든 j개의 key에 attention score를 합한 것과 같다고 볼 수 있음 따라서 이러한 확률을 따르는 의 평균이라고 다시 표현 가능

이것은 quadratic한 내적 연산 복잡도와 메모리 사용

본 논문은 performance에 유의미한 영향 끼치지 않는 확률값들 제외하는 selective 전략 사용

특정 query가 다른 key들과 상호작용이 활발하지 않다면 uniform한 형태의 확률 분포 가질 것

따라서 의 분포가 uniform 분포 와 유사하면 상대저으로 불필요한 query로 생각할 수 있음

상수항 제거한 후 번째 query에 대한 sparsity 측정 방법으로 다음을 제시

해당 값이 높을 수록 유의미한 query를 의미

다음과 같은 방법 통해 유의미한 query만을 선택하여 attention 계산하는 것이 PropSparse self attention

probsparse attention 후 convolution과 max-pooling 통해 distilling

이를 통해 다음 layer의 input이 이전 layer input demension의 절반의 길이를 가지도록 distilling

이는 메모리 사용량을 로 감소시킴

univariate long sequence에 대한 실험결과

대체적으로 informer가 꽤 높은 성능을 보여줌

다변량에 대해서도 informer가 좋은 성능보여주지만 단변량에서만큼 유의미한 차이는 아님