AIが出した原因調査の結果を、ログで検証する手順

広告の商品データが通らなくなった原因をAIに調べさせたところ、もっともらしい答えが返ってきました。実際のログと突き合わせると、違っていました。

外れたこと自体より、外れ方に学ぶところがあります。AIが返したのは「この症状で一般によく見つかる原因」でした。実際にこのシステムで何が起きたかを見たわけではありません。

この記事では、そのときの調査の流れと、いま採っている確認の手順を書きます。

前提

通販サイトの商品データを、検索サービスの広告に送っています。送ったデータは相手側で審査され、承認されたものだけが広告に出ます。

承認されていない商品は、いくら予算をかけても表に出ません。放っておける状態ではありませんでした。

起きたこと

広告に出せない商品が543件まで増えていました。週に127件ずつ増えています。承認されているのは6643件なので、全体の1割弱が止まっている計算です。

数が増え続けているという点が、いかにも原因のありそうな形をしていました。

調査をAIに任せました。返ってきた推定は2つです。

データを定期的に送る処理が止まっているのではないか。サイトの価格と送っている価格が食い違っているのではないか。

どちらも、症状の説明としては筋が通っています。数が増え続けているのだから送信が止まっている、という説明は自然です。

確かめたら、両方とも外れていた

送信の記録を確認しました。呼び出しは1件残らず成功しています。2時間かけて全件を送り終えていました。処理は止まっていません。

価格の食い違いも数えました。571件から65件まで減っています。増加している543件とは、動きの向きが逆です。

つまり、2つの推定はどちらも外れていました。どちらの確認も、数分で終わっています。

さらに調べると、通らなくなった商品は7月16日に一斉に解消していました。こちらが何かをした覚えはありません。相手側の判定基準が変わった可能性が残ります。

原因は、いまも特定できていません。ただ、外れた推定を2つ落とせたことで、無駄な作業には入らずに済みました。

なぜ外れたのか

これは能力の問題ではなく、渡した材料の問題です。ログを渡していないのだから、ログに基づいた答えは返ってきません。

人に聞いても同じで、状況を見せずに症状だけ伝えれば、返ってくるのは一般論です。「よくある原因」を答えるのは、むしろ正しい振る舞いです。

やっかいなのは、その一般論がもっともらしいことです。筋が通っているので、そのまま作業に入りたくなります。

実際、送信処理の設定を見直す作業を始めかけました。もし始めていたら、動いている処理を触って、別の不具合を作っていた可能性があります。

いま採っている手順

返ってきた答えは推定のまま置き、すぐ作業に入りません。推定ごとに「何を見れば確かめられるか」を書かせて、その材料を先に取ります。

このときで言えば、送信処理が止まっているという推定なら送信の記録を見れば分かります。価格の食い違いなら、両方の数字を並べれば分かります。

確かめる手段が思いつかない推定は、いったん置きます。確かめられない仮説を追いかけると、時間だけが減ります。

答えられない推定が返ってきたら、それは調べようがない話です。その場で落として構いません。

順番を変えて、最初からログを渡してしまう方法もあります。ただ、量が多いと全部は渡せません。

そこで、まず推定を出させて、その推定に必要なログだけを絞って渡します。全部を読ませるより速く、外れた推定も早く落とせます。

確認の順番を決めておく

推定が複数返ってきたときは、確かめるのにかかる時間が短いものから当たります。

このときは、送信の記録も価格の比較も、どちらも数分で終わりました。時間のかかる調査を先に始めていたら、外れていると分かるまでに半日かかっていた可能性があります。

「確かめるのに何分かかるか」も、あわせて聞いておくと選びやすくなります。

外れたと分かったら、その事実を渡して聞き直します。

「送信は全件成功していた」「価格の差は減っている」。この2つを前提として渡すと、次に返ってくる推定は最初とは変わります。材料が増えたぶん、範囲が絞られるからです。

1回で当てさせようとせず、確かめた事実を積み上げながら往復する。この進め方のほうが、結果として早く終わります。

このときは、最終的に原因を特定できませんでした。

無理に結論を作らず、「原因は不明。7月16日に一斉解消。相手側の判定基準が変わった可能性がある」という形で記録に残しています。

分からないことを分からないまま書いておくと、次に同じ症状が出たときに比べられます。もっともらしい結論を書いてしまうと、その結論に引きずられて、次も同じところを調べることになります。

まとめ

AIに原因を聞くこと自体は有効です。何を疑えばいいかの候補は、短時間で出てきます。

問題は、その候補をそのまま答えとして扱うことです。候補は候補のまま置いて、確かめる材料を先に取る。この一手間で、外れた推定に費やす時間が消えます。

原因を聞いたら、続けて「それが正しいと確かめるには、どのログを見ればいいですか」と聞いてください。この1問が、確認の手順そのものになります。