家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ オランダ政府は激しく非難され､内閣も総辞職

封をされた箱のなかで物事を進めているアルゴリズムのふたを実際に開けて見た人は、何もかもがひどく乱れた状態が内部でつくりだされていることに気づいて恐ろしくなり、箱と中身をできるだけ遠くに投げてしまいがちだ。

このように、コンピューターに簡単に罪を負わせてしまえることにより、自分は責任を取らずにすむという問題がある。しかも、コンピューターのせいにすることによって、本来なら向き合わなければならない不都合な真実を直視しなくなるという恐れもある。

ここまで見てきたとおり、アルゴリズムは、光合成をする植物とは違って大気からデータを吸収するようなまねはできず、人間が与えたデータを使うしかない。

怖いのは、（アルゴリズムが使われている）こうした機械は、封をされた箱のなかですべての作業をこなすという点だ。機械が自分自身にどんな指示を与えているのか、外からはまったく見当もつかない。

この状況は、ダグラス・アダムスが『銀河ヒッチハイク・ガイド』（河出文庫）で描いた世界とさほど変わらない。そこでは、スーパーコンピューター「ディープ・ソート」が「生命、宇宙、万物についての究極の疑問」の答えを見つけるよう命じられていた。その結果、750万年後にディープ・ソートが出した答えは「42」という数字だった。結果にひどく落胆した人々に対して、ディープ・ソートは「何を探すべきかをきちんと指示されたことは、一度もなかった」と不満を訴えるのだった。

統計モデリングやアルゴリズムには、計り知れない力が備わっている。正しく利用すれば、何百万個、さらには何十億個ものデータポイントを瞬時に分析できる。

パターンを読み取り、因果関係を確認でき、しかも探し出すのが非常に難しいものも見つけられる。「ビッグデータ」「機械学習」「人工知能」といった技術が実現してくれそうな効率性と徹底性における改善を、うまく活用できればと政府が熱を入れるのは、当然といえば当然だ。

アルゴリズムは優れた判断を下せないことも

結局のところ、現実を反映していないモデルは、正確な答えを人間に与えてくれないということだ。現実では成り立たない仮定に依存しているアルゴリズムは、優れた判断を下せないはずだ。

もし、機械に与えられたのが「バッドデータ」（特定の人口集団がそっくり除外されたデータ、時代にそぐわない古いデータ、目的との関連性が薄いデータ、当てにならない予測に基づいたデータ）であれば、出てくる結果も同じぐらい悪いか、さらにひどいものとなる可能性が高い。

私たちがモデルや機械の仕組みを理解していなければ、それらがいつどこで間違えるのかを把握できない。あるいは、なぜ間違えるのかを把握できないのだ。

※各国の通貨は、国際通貨基金（IMF）のデータをもとに、可能な限り、当時の為替レートで円に換算して（　）で記しています。

ジョージナ・スタージ：統計学者(英国議会・下院図書館所属)

尼丁 千津子：英語翻訳者