はじめに
こんにちは！初めまして、イノベーションセンターテクノロジー部門、Smart World 向けAI開発PJの藤原です。 我々は日々Smart World の実現に向け、主に製造業向けのデータ分析、AIの研究開発を行なっております。
弊チームでは学会/論文投稿など積極的な学術活動も行なっており、IJCAI、KDD、CVPRなどのワークショップ採択されたり、最近ではAISTATSの本会議にも採択されニュースリリースを出しました。
そうした学術活動の一環として、先日弊チームは技術調査 & 研究成果発表 & 企業紹介展示を目的に2022年度人工知能学会全国大会 (JSAI2022) へ参加しました(毎年弊チームではJSAIに数名が登壇しています！)。今年は藤原、木村、市川の３名(+インダストリアルセッションにて企業紹介1名)がそれぞれ発表を行ないました。今回はそれぞれの発表について、因果探索編、異常検知編、データ拡張編の三本立てでご紹介したいと思います！
JSAI2022について
著名なAI関連国内学会の1つで、今回は京都で対面、リモートのハイブリッド開催でした。1つ特徴として、発表内容について募集要項が以下のようになっています。
論文の要件：論文該当分野に示される人工知能およびその関連分野の学術論文，事例報告
このように新規手法だけでなく事例報告も推奨されている点があり、企業としては特に参考になるような実施例も数多く聴講できました。NTT Com 以外にも数多くの企業が参加しており、企業ブースなども大盛り上がりでした。
今回の発表内容
では今回JSAI2022で発表したJust-In-Timeモデルを利用した非定常非線形データに対する因果探索について、内容をざっくりと説明したいと思います！
背景
ビジネスにおけるXAIの重要性
さて前述のように我々は日々製造業向けにAIソリューションの提供や技術開発を行なっているのですが、その典型的な実施例の1つが以下のようなものになります(詳しくは、AIプラント運転支援ソリューションを参照)。企業様から工場のセンサーデータなどを受け取り、以下のようにAIでプラント操作量の推奨値を提示するものになります。ですが、一般的にAIはその判断根拠などがブラックボックスになりがちで、ビジネスではそこが課題となります。 一般的に、AIに対してそういった解釈性、説明性を持たせる試みをXAI (explainable AI) と言います。
因果探索とは
また、特に弊チームが注力している分野に因果があります。因果の考え方では、相関や予測に対する寄与度を見るだけでなくデータから変数間の因果関係を求めたり、求まった因果を利用して、他の変数を固定した上である変数を動かしたときに(≒介入)どれだけの効果が生まれるか(≒因果効果)などを知ることができます。例えばプラントデータなら因果関係に基づき、生産量やCO2排出量に対してのある操作量の最適化であったり、AI判断根拠のより強力な解釈と、変数選択に基づく精度改善などを行うことができます。今回の発表はタイトルにあるように、データのみからこのような因果関係を求める、因果探索に関する新規手法の提案になります。
実時系列データ解析の困難
注力分野のもう1つに、時系列データ解析があります。先述のプラントの例などで得られるデータというのは基本的に(連続)時系列データが多いです。時系列データとは、時間的な順序が意味を持つデータになります。現実の時系列データ解析ではしばしば一般的な手法で前提とされる理想的な仮定などが崩れていて、安定した解析やAIモデルの作成が困難になります。 例えば、時々刻々システムの状態が変化している非定常性や、変数間の因果関係が簡単に記述できない非線形なものである場合があります。具体的に応用における1つ有名な困難の例を挙げると、Concept Driftといって、学習時のデータ分布と予測時のデータ分布が異なってしまうことによる精度低下の問題などが知られています。
研究の目的
以上から、本研究の目的は以下のようになります。
背景
ビジネスなどの応用上でXAIが重要になっている。さらには踏み込んで、因果探索が重要。
課題
一方で、応用上で現れる実時系列データでは、因果探索、時系列解析における理想的な条件が崩れている。
目的
実時系列データで頻出の非定常性、非線形性、分布シフトなどに対して頑健な(≒強い/安定な)因果探索手法を開発する。
提案手法
このような非常に複雑な現実の時系列データに対して、因果関係をデータのみから読み取ることを考えます。 キーとなるアイデアは、Just-In-Timeモデル [Stenman 96-99][山本 13]と呼ばれる既存のフレームワークの応用です。
Just-In-Timeモデル
Just-In-Timeモデルでは、出力を知りたい新しい入力データが来る度に、その近傍データを検索します。 検索した結果得られた近傍データセットを用いてAIモデルを学習し、入力データをそこに入力して、出力を逐次で得ます。これは、全てのデータを使い一度だけ学習したAIモデルを使い回して入力を入れて出力を得る通常のモデルとは異なるアプローチです。
近傍探索を行うことで近い状態のデータが集まることを期待でき、先ほど述べたような分布シフトの問題などに対応できると期待できます。 また、非線形の関数も入力の近傍を取ることで線形関数という単純&解釈が容易なモデルで近似できます(参考：テイラーの定理)。
要するに、複雑な現象も局所的に切り出せば単純な現象でモデル化できるはず、といった感じです。
JIT-LiNGAM
因果探索には非線形の手法もいくつか知られていますが、計算量や解釈性の観点で依然問題があります。また、実時系列データの解析で起こる前述の問題(非定常性、非線形性、分布シフトなど)に対して安定性があるかは保証されません。
そこで、上述のJust-In-Timeモデルを因果探索に応用して、比較的単純な線形の因果探索手法を使った局所的に線形、大域的に非線形な因果探索手法を考えます。線形の因果探索手法の代表として、LiNGAM [Shimizu 06][Shimizu 11]を利用します。Just-In-Timeモデルの局所線形近似を使うことで、Additive Noise Model (ANM) [Hoyer 08]と呼ばれる、ノイズが加法的な広い非線形のクラスに対して、LiNGAMのアルゴリズムで解くことができるようになることを定式化により示せます(論文参照)。アルゴリズムの概要は以下の通りです。
実験
では実際にこの手法で人工データに対して実験した例を見てみましょう。今回はまず初期段階として簡単な非時系列/非線形モデルで実験します(図1)。比較対象としては因果探索アルゴリズムはLiNGAMで、観測された全てのサンプルを使うもの(Cumulative ALL)、観測されたサンプルからK個ランダムに使うもの(K-Random)が用意されています。
提案手法は距離指標や近傍選択の方法によって4パターン試しました。距離指標はユークリッド距離とマハラノビス距離のもので2種。
近傍選択方法は、入力データに対して近い順にK個のデータを抽出する方法(KNN)、入力データを中心に半径以内にあるデータからランダムにK個抽出する方法(ERN)の2種。2種×2種で4パターンになります。図2においてSHDという因果グラフに対する距離指標を用いて確認したところ、提案手法群の優位性を確認できます。
考察
近傍の取り方によって一定の傾向が見られたので、こちらについて考察していきます。距離指標は観測が増えるごとにKNNだと増加傾向、ERNだと減少傾向になっています(低いほど精度が高い)。 JIT本来の期待では、観測データが増えるほど似通った状態を見つけやすくなったり、より詳細な局所モデルを作れるようになるため精度向上が期待されます。ですが、KNNでは実際にはそうなっていません。KNNで精度が悪化している原因として、データ密度の増加による近傍半径の縮小が原因と考察します。 まず図3を見るとERNでは半径を設定した影響で、近傍で取ってきたデータの標準偏差がほぼ一定値なのが分かります。一方で、KNNは標準偏差(≒半径)が観測増加と共に縮小している様子が確認できます。
次にこれがどのように因果探索精度に悪影響を及ぼすか考察します。図3の紫色の線が、0.05で、データ生成の際に加えたラプラスノイズのスケールを目安として表示したものになっています。KNNは半径が縮小し、最終的にはこの0.05を下回るほどにまでなっていますが、これが影響していると考えます。因果を識別するためには、変数の内在的な揺らぎが因果関係
によって拡大され、これによって発生した揺らぎ
を捉えることが必要になります。しかし、これを近傍探索によってノイズのスケールよりも小さい範囲でカットしてしまうと、観測ノイズによる揺らぎ
と因果関係による揺らぎ
を識別することが困難になり、因果探索アルゴリズムの精度が減少すると考えられます。今回はこのような考察を行いましたが、この点については引き続き数理的な観点を含めた検討が必要です。
まとめ
今回の発表ではJust-In-Timeモデルの近傍探索と線形の因果探索手法LiNGAMを組み合わせることで、非定常性、非線形性、分布シフトといった、現実のデータがしばしば抱える困難に対して安定性のある因果探索手法、JIT-LiNGAMを提案しました。また提案手法について、基礎的な実験を行い、従来のLiNGAMに対しての優位性を示すと共に、有効な近傍探索方法への示唆を得ました。
今後の発展としては、時系列モデルへの拡張、他の非線形因果探索モデルとの比較実験、近傍探索方法が精度に与える影響についてより数理的な考察などを行っていく予定です。
おわりに
以上が発表内容になります！今回は数式を抑え目に、あくまで何が課題で、何ができるのかと、その実現アルゴリズムの最低限の部分を重視してお伝えしました。JIT-LiNGAMの詳細や定式化については、今回の論文や、参考文献をご覧になって下さい。
宣伝
Node-AI/データ分析コンサルティング
私の所属するイノベーションセンターテクノロジー部門Smart World向けAI開発PJでは、日々AI/データ分析に関するアルゴリズムなどの研究開発をしています。これらの技術は同じくイノベーションセンターテクノロジー部門のNode-AI PJによって内製開発されているノンコーディングAIモデル開発ツール、Node-AI (本ブログでの解説記事はこちら) に搭載されたり、同じくデータ分析コンサルティングPJと共同で、データ分析案件にてお客様に提供されています。
特に、Node-AIにはまだ今回の発表のアルゴリズムは乗っていませんが、基本的な時系列因果分析機能が搭載されており、今回の例のようにデータ間の因果関係を求めグラフ上に可視化できます。またこれは時系列因果モデルなので、時間遅れを考慮した変数間の因果関係を知ることができ、「センサーAの値が5分遅れでセンサーBに効いている」といった解析が可能です！
弊チームでは、企業様と共同での今回のような因果分析を含め主に時系列データ解析/予測/異常検知/最適化を対象としたPoC、各種究機関との共同研究案件、Node-AIのご契約を募集中ですので、ご興味があればこちらまでご連絡ください！(メール：ai-deep-ic[at]ntt.com)
採用
弊チームではリサーチャー、MLエンジニアを募集中です。今回のようにメンバーの学会発表も推奨され、前述のようなチーム連携により開発アルゴリズムが即座にビジネスサイドで検証、社会実装される素晴らしい環境です。ぜひご応募下さい。採用情報についてはこちらからよろしくお願いします。(新卒入社をお考えの場合は新卒採用情報をご覧下さい)
参考文献
[今回の論文] 藤原 大悟, 小山 和輝, 切通 恵介, 大川内 智海, 泉谷 知範, 浅原 啓輔, 清水 昌平: Just-In-Timeモデルを利用した非定常非線形時系列データに対する因果探, 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3E4GS205-3E4GS205, (2022), 論文リンク(フリー)
[Stenman 96-99] Stenman, A., Gustafsson, F., Ljung, L.: Just in time models for dynamical systems, Proceedings of 35th IEEE Conference on Decision and Control, Vol. 1, pp. 1115--1120 (1996) など
[山本 13] 山本茂：Just-In-Time 予測制御: 蓄積データに基 づく予測制御, 計測と制御, Vol. 52, No. 10, pp. 878–884 (2013)
[Shimizu 06] Shimizu, S., Hoyer, P. O., Hyv¨arinen, A., Kerminen, A., and Jordan, M.: A linear non-Gaussian acyclic model for causal discovery., Journal of Machine Learning Research, Vol. 7, No. 10 (2006)
[Shimizu 11] Shimizu, S., Inazumi, T., Sogawa, Y., Hyv¨arinen, A., Kawahara, Y., Washio, T., Hoyer, P. O., and Bollen, K.: DirectLiNGAM: A direct method for learning a linear non-Gaussian structural equation model, The Journal of Machine Learning Research,、 Vol. 12, pp. 1225–1248 (2011)
[Hoyer 08] Hoyer, P., Janzing, D., Mooij, J. M., Peters, J., and Sch¨olkopf, B.: Nonlinear causal discovery with additive noise models, Advances in neural information processing systems, Vol. 21, pp. 689–696 (2008)
