AIを導入したら、成績が上がった。まずは、よい知らせだ。
ところが、少し意地の悪い質問が残る。AIだけに任せた場合と比べると、どうだったのだろう。
人とAIの協働を考えるとき、比較表には三つの席が要る。人間だけ、AIだけ、人間とAI。一つ空いているだけで、同じ結果が、違う物語になる。
Michelle Vaccaro、Abdullah Almaatouq、Thomas Maloneによるメタ分析は、この空席に目を向けた。人を助けることと、組み合わせが単独のどちらをも上回ること。その二つを区別したのである。［1］
改善と、相乗効果
研究チームが集めたのは、2020年1月から2023年6月までに刊行された研究のうち、人間単独、AI単独、協働の三条件を比較できる実験だった。74論文に含まれる106実験、370の効果量を、事前登録した分析で統合した。
人間だけの場合と比べると、協働の成績は高かった。標準化した効果量Hedges’ gは0.64。一方、人間とAIのうち成績がよい方を比較相手にすると、協働の効果量は−0.23になった。いずれも95％信頼区間はゼロをまたがない。［1］
つまり、助けられた人間は前よりよくできるようになったが、その組み合わせが、最も得意な担当者を超えたとは言えなかった。平均すると、むしろ下回った。
二人で持てば重い荷物を運べる。けれど、一人で速く運べる荷物に二人分の打ち合わせを足すと、事情が変わる。「協働」というよい響きは、運び方の問題を代わりに解いてくれない。
人が最後に決める、その中身
ただし、ここから「人は邪魔だから外そう」と飛ぶと、研究が見ていないところへ着地する。
対象となったシステムの95％超は、AIの助言を受けた人が最終判断をする形だった。人とAIが違う仕事を分担したり、何度も問いを組み替えたりする多様な協働が、均等に調べられたわけではない。研究間の違いも大きく、相乗効果の異質性指標I²は97.7％だった。
創作課題では、相乗効果の平均はプラスだったものの、信頼区間はゼロをまたいだ。創作なら必ずうまくいく、という保証にはならない。そして対象期間は2023年半ばまで。いま使っているモデルの成績表として読むのも無理がある。
この論文が鋭いのは、人とAIの未来に判決を下したことではない。何を比較すれば、その協働がよかったと言えるのかを、問い直したところだ。
人が最終判断をすることには、責任、安全、価値判断など、正答率とは別の理由がある。その必要性と、追加した確認工程が実際に誤りを減らしているかは、別々に確かめられる。「人が見ています」という一文だけで、その二つをまとめて済ませるのは惜しい。
一人減らす前に、仕事の割り方を疑う
ここからは、実務へ持ち帰るための考察になる。
AIの回答を人が読む。違うと思えば直す。いちばん自然な協働だが、人が正しく直せるには、間違いに気づく手がかりと、確かめる余力が要る。確認の担当者に、画面と責任だけを渡しても、確認する能力が自動的に増えるわけではない。
もし協働の成績が伸びなかったら、人間の能力不足なのか、AIの能力不足なのか。それだけでなく、どの段階で、何を見せ、何を任せたのかを疑ってみる余地がある。
たとえば、人が先に独立した見立てを作る形と、最初からAIの答えを読む形では、役割が違う。AIが結論を出すのと、見落とし候補を列挙するのも違う。これらのどれが優れるかは、このメタ分析だけでは決められない。だからこそ、具体的な工程ごとに試す必要がある。
比較対象も、目的によって変わる。人が技能を身につけることが目的なら、今この瞬間のAI単独の成績だけが基準ではない。判断理由を説明できることや、誤りが起きた際に立て直せることを重視するなら、その指標も必要になる。
一つの点数で測れないから何も測らない、ではなく、何をよくしたいのかを、先に言えるようにする。そのうえで、人だけ、AIだけ、組み合わせを比べてみる。協働を尊重することと、協働の効果を甘く採点することは、違うはずだ。
人間を強くするAIがある。AIの弱さを補う人間もいる。だが、二つを同じ場所に置いたことと、補い合える関係を作ったことの間には、まだ設計すべき仕事が残っている。
「一緒にやったからよくなった」と言う前に、何と比べてよくなったのか。その一問が、次の協働を作り直す入口になる。