機械学習を使って時系列予測できないか、たびたび考えるが、（使い道によるが）現状では線形回帰を使った方が精度が良さそう。
結局、Transformerご自慢の(self-)attentionという仕組みと、世の中に溢れる一般的な時系列データが持つ「トレンド」「周期性」「ドリフト」「レジームスイッチ」といった気まぐれ感ある特徴との相性が悪い、というのが今回のZeng et al. (2022)で明らかになったポイントなのかな？と個人的には感じています。それはやはり、Transformerが良くも悪くも「個々のサンプル（単語やフレーズ）がその重要性を変化させながら常に前後しばらく離れたところまで関係性を保ち続ける」自然言語テキストを扱うために作られたモデルであるが故の問題なのかもしれません。
個人的には、機械学習は”分類”は得意な印象を持っているが、直近のデータへの反応が良いため、外れ値が含まれると将来予測の精度が下がる印象がある。
機械学習による未来予測は改良が続けられると思うが、（用途によるが）線形回帰でも説明としては十分なケースも多く、”様々なコスト”を考えると、当面は線形回帰でも事足りるのかもしれない。
以上
