[논문] Are Transformers Effective for Time Series Forecasting? (2022) - 1

 

 

Abstract

장기 시계열 예측(Long-term Time Series Forecasting)에서 트랜스포머 기반의 솔루션이 급증하고 있다.

트랜스포머는 긴 시퀀스 내 요소 간의 의미적인 상관관계를 추출하는 데 가장 성공적인 솔루션

 

그러나 시계열 모델링에서는 순서가 있는 연속된 점들의 시간적관계(temporal relations)을 추출하는 것이 핵심이다.

 

트랜스포머가 positional encoding과 임베딩된 서브시리즈를 토큰으로 사용하는 것이

어떤 순서 정보를 보존하는 것에 용이하나, self-attention의 특성상 시간 정보 손실은 불가피하다.

 

그래서 LSTF-Linear라는 단층 선형 모델을 제안한다.

9개의 데이터 셋에 대해 실험한 결과, 이는 복잡한 트랜스포머 기반 LTSF 모델보다 좋은 성능을 가진다.

이상탐지와 같은 다른 시계열 분석작업에서도 트랜스포머 기반의 솔루션의 타당성을 다시 검토할 필요가 있다.

 

 

 

 

1. Introduction

 

트랜스포머는 가장 성공적인 시퀀스 모델링 아키텍쳐다.

자연어 처리, 음성인식, 컴퓨터 비전 등에서 엄청난 성능을 보여주며,

최근에는 시계열 분석에서도 트랜스포머 기반 솔루션이 급격히 증가하고 있다.

 

트랜스포머의 실행능력은 멀티헤드 셀프 어텐션 메커니즘에서 나오며,

이것은 긴 문장 내의 요소들 간의 의미적인 상관관계를 효과적으로 추출할 수 있다.

 

그러나, 셀프 어텐션은 입력의 순서가 출력에 영향을 미치지 않으며permutation-invariant,

순서 정보를 잘 반영하지 못한다anti-order.

 

이런 문제는 의미가 중요한 분야에서는 크게 문제가 되지 않는다.

=> 순서가 바뀌어도 문장을 해석하는데에는 큰 문제가 없으니까.

 

 

시계열 데이터는 텍스트처럼 명확한 의미적 구조를 가지지 않으며,

연속된 데이터 포인트 간의 시간적 변화가 주 관심사다.

즉, "순서"가 매우 중요한 역할을 한다.

 

그렇다면, 트랜스포머는 과연 장기 시계열 예측 (LSTF)에 효과적인가?

 

 

 

트랜스포머 기반의 장기 시계열 예측(LSTF) 솔루션들은 전통적인 방법들보다 예측 정확도가 더 높다.

기존 연구들에서의 비교대상은 LSTF문제에서 오차 누적문제가 심각하게 발생하는

자기회귀(autoregressive)나 반복적 다단계 예측(iterated multi-step)을 사용했다.

이 연구에서는 직접 다단계 예측(direct mutil-step, DMS)전략을 사용해 증명하고자 한다.

 

LSTF-Linear은 단일 계층 선형 모델을 사용해

과거의 시계열 데이터를 회귀 분석한 후, 이를 기반으로 직접 미래의 시계열을 예측한다.

9개의 벤치마크 데이터셋에서 실험을 수행하였으며, 놀랍게도 트랜스포머 기반의 모델을 모든 경우에서 능가했다.

 

기존 트랜스포머의 주장들과는 달리,

대부분의 트랜스포머 기반 모델들은 긴 시퀀스에서 시간적 관계를 효과적으로 추출하지 못한다는 사실을 발견했다.

look-back window* size를 늘린다고 해서 예측 오류가 줄어드는것이 아니었다. 오히려 늘어나기도 한다.

*look-back window : 예측 모델이 과거 데이터를 참고할 때 몇 개의 데이터 포인트를 사용할지 결정하는 창(window)

 

마지막으로, 트랜스포머 기반의 시계열예측(TSF)모델에 대한 다양한 요소별 제거 실험을 수행해

이들 모델의 설계 요소가 성능에 미치는 영향을 분석했다.

 

 

 

[출처 및 참고]

https://arxiv.org/abs/2205.13504