ゲームが上手になる機械をつくる。そのために、人間が学び方を考える。何を予測させ、どんな失敗にどれくらい重みを置き、次の行動へどう反映するか。機械が試行錯誤するための作法は、たいてい誰かが先に書いている。
では、その作法も、試行錯誤で見つけられないだろうか。
この問いには、少し足元が動く感じがある。走者を鍛えていたはずが、いつの間にかコーチの育成が始まっている。しかもコーチが覚えるのは、励まし方ではない。経験を、どう次の能力に変えるかである。
学ぶ機械の、その外側
Junhyuk OhらGoogle DeepMindの研究は、多様な環境で動くエージェントの経験から、予測や行動方針を更新するルールを学習した。個々のエージェントが上達する過程の外側に、上達を支えるルールを改善する過程がある。これが、この研究で使われるメタ学習の骨格だ。［1］
発見されたルールはDiscoRLと名づけられた。57種のAtariゲームから得たDisco57は、発見に使っていないProcGenのゲーム群でも、比較対象となる既存手法を上回った。さらに発見環境を103種へ広げたDisco103では、未見の評価環境でも改善が見られた。
大切なのは、何が未知の環境へ渡ったかだ。ゲームの攻略法を覚えた選手が、そのまま別のゲームを制覇したわけではない。渡されたのは学習ルールであり、新しいエージェントは新しい環境で訓練する。「初めて見たのに、練習なしでできた」という話ではない。
それでも、十分に面白い。一つの問題で得た答えではなく、問題に出会ったときの変わり方が、別の問題でも役立ったのだから。
何を予測するかにも、余白が残されている。従来から使われてきた価値の予測だけでなく、人間があらかじめ意味を決めていない予測をつくらせ、その更新方法と使い方を探す。あとから調べると、発見された予測には、これから起きる重要な出来事に関する情報が含まれていた。
単なる設定値の自動調整ではない。「何を見込んで学べば役立つか」まで探索の対象を広げたところに、新しさがある。一方で、探索できる枠組み自体は研究者がつくっている。何もないところから、機械が学習理論を丸ごと発明したという話でもない。
正解より、変わり方を残す
経験を再利用する、と聞くと、まず成功事例の保存を思い浮かべる。うまくいった手順を残し、似た場面で取り出す。これは大切だ。ただし、似た場面が来なければ、保存庫は静かなままだ。
ここから先は、研究を足場にした考察になる。
もし残すべきものが、手順だけではなく、手順を修正する方法だったらどうだろう。顧客から予想外の反応が返ったとき、何を疑うのか。計画と結果がずれたとき、どの前提へ戻るのか。同じ経験からでも、学ぶ人が違えば次の行動は違ってくる。経験の量だけでなく、経験を変換する仕方に差がある。
もちろん、会社の学習をニューラルネットワークの更新式と同一視することはできない。人間には目的の衝突があり、評価を受ける立場があり、言いにくい失敗もある。ゲームの報酬のように、どこで上達したかがきれいに返るとは限らない。
だからこそ、この研究を「組織も学び方を自動化すべきだ」と読むより、「私たちは何を学習の成果として残しているか」と読むほうが面白い。成功した答えが一つ増えたのか。それとも、違う答えが必要だと早く気づけるようになったのか。
後者は、マニュアルのページ数には表れにくい。
どんな世界を経験させるか
この研究で印象に残るのは、学習ルールの発見に使う環境を広げると、その先で使える範囲も改善したことだ。設計を巧妙にすることだけでなく、何に出会わせるかが効いている。
ただ、環境を増やせば必ずよい、と一般化できる結果ではない。ここで検証されたのは特定のゲーム群と計算条件であり、実機や企業の仕事で同じことが起きるとまでは言えない。発見そのものにも大きな計算資源を使う。自動化されたから、安くて軽いとは限らない。コーチの育成費は、選手の交通費より高いかもしれない。
それでも、設計者の仕事を考える視点は変わる。更新式を直接つくる仕事が減ったとしても、何を報酬とし、どんな経験を含め、どこを未知の試験場として残すかは消えない。むしろ、その選択が発見されるルールの輪郭を決める。
機械に設計を任せると、人間の意図がなくなる。そう単純ではない。意図は、答えの中から、探索する世界の選び方へ移ることがある。その移動は見えにくい。完成したルールだけを眺めると、誰も設計していないようにさえ見える。
説明できることと、使えること
もう一つ、立ち止まりたい点がある。役立つ学習ルールを発見できても、そのルールを人間が簡潔な言葉で理解できるとは限らない。性能の比較と、仕組みの説明は違う仕事だ。
研究者は発見された予測が何を捉えるかも分析している。ただし、分析したから直ちに全体が透明になるわけではない。自動発見を進めるほど、発見物を調べる技術も必要になる。答えを得る速度と、答えを信頼できる理由を整える速度。その二つは、同じとは限らない。
人間がすべての学び方を先に書く必要はない。けれど、何を学んだのかを確かめる仕事まで手放せるわけではない。その間に、新しい設計の場所がある。
次のAIに、どんな経験をさせよう。どんな世界なら、まだこちらが思いついていない学び方が育つのだろう。