時系列予測にAutoMLを使用する(1/2)

１．時系列予測にAutoMLを使用する(1/2)まとめ

・時系列予測は重要だがモデルの作成に専門知識が必要で現実世界では利用に制限がある
・AutoMLはMLモデルの作成プロセスを自動化することでMLをより広く利用可能にする
・現実世界のコンペに参加し手動設計モデルに対して競争力のあるパフォーマンスを実現

２．AutoMLと時系列予測

以下、ai.googleblog.comより「Using AutoML for Time Series Forecasting」の意訳です。元記事の投稿は2020年12月4日、Chen LiangさんとYifeng Luさんによる投稿です。

アイキャッチ画像のイギリスのTiptree、ロンドンの北東50マイルに位置しているそうです。クレジットはPhoto by Christopher Rusev on Unsplash

時系列予測は、機械学習(ML:Machine Learning)の重要な研究分野であり、特に小売、サプライチェーン、エネルギー、金融などの業界では正確な予測が重要です。

たとえば、消費財の分野では、需要予測の精度を10〜20%向上させると、在庫を5%削減し、収益を2〜3%増やすことができます。

現在のMLベースの時系列予測ソリューションは通常、専門家によって構築されており、モデルの構築、特徴量のエンジニアリング、ハイパーパラメータの調整など、かなりの手作業が必要です。ただし、そのような専門知識は備えている人材は多くない可能性があり、時系列予測の課題にMLを適用する利点が制限される可能性があります。

これに対処するために、自動機械学習(AutoML:Automated Machine Learning)は、MLモデルの作成プロセスを自動化することで、MLをより広く利用できるようにするアプローチです。最近、MLの研究と実務問題にMLを適用する作業の両方を加速しています。

例えば、ニューラルアーキテクチャの検索に関する最初の作業により、NasNet、AmoebaNet、EfficientNetなどのコンピュータビジョンや、Evolved Transformerなどの自然言語処理におけるブレークスルーが可能になりました。最近では、AutoMLは表形式のデータにも適用されています。

本日、時系列予測のための規模拡大可能で直接適用できるAutoMLソリューションを紹介します。これは、次の3つの主要な基準を満たしています。

・完全な自動化
このソリューションは入力としてデータを取り込み、人間の介入なしに、利用可能なTensorFlowモデルを生成します。

・汎用
このソリューションは、ほとんどの時系列予測タスクで機能し、各タスクに最適なモデル構成を自動的に検索します。

・高品質
製造されたモデルは、特定のタスク用に手動で作成されたモデルと比較して、競争力のある品質を備えています。

M5予測コンペティションに参加して、本アプローチの成功を実証しました。このAutoMLソリューションは中程度の計算コストで、手動設計したモデルに対して競争力のあるパフォーマンスを実現しました。

AutoMLによるソリューション
これらの課題に取り組むために、時系列予測専用の探索スペースを備えたエンドツーエンドのTensorFlowパイプラインを設計しました。これは、エンコーダー-デコーダーアーキテクチャに基づいており、エンコーダーが時系列の履歴情報を一連のベクトルに変換し、デコーダーがこれらのベクトルに基づいて将来の予測を生成します。

TransformerやWaveNetなどの最先端のシーケンスモデルと時系列予測のベストプラクティスに触発された探索スペースには、Attention(注意), dilated convolution(拡張畳み込み), gating(ゲーティング), skip connections(スキップ接続), different feature transformations(特徴表現変換)などのコンポーネントが含まれていました。結果として得られるAutoMLソリューションは、これらのコンポーネントとコアハイパーパラメータの最適な組み合わせを探索したものです。

時系列の将来を予測する際の不確実性と戦うために、アーキテクチャー探索で発見された上位モデルのアンサンブルを使用して最終的な予測を行います。上位モデルの多様性により、予測は不確実性に対してより堅牢になり、履歴データを過剰適合させる傾向が少なくなりました。

一部のデータが欠落している時系列データを処理させるために、トレーニング可能なベクトルで欠落を埋め、モデルに欠落しているタイムステップへの適応を学習させました。間欠性に対処するために、将来の各タイムステップについて、値だけでなく、欠落タイムステップの値がゼロ以外である確率も予測し、2つの予測を組み合わせます。

最後に、自動探索は様々なデータセット用にアーキテクチャとハイパーパラメータの選択を自動調整できることがわかりました。これにより、AutoMLソリューションは汎用的になり、モデリング作業が自動化されます。