家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ オランダ政府は激しく非難され､内閣も総辞職

蘭アムステルダム 児童手当の不当返還請求問題巡りデモ（写真：ANP Photo/アフロ）

昨今、AI（人工知能）の急激な発達が注目されている。まるで人間のように自然な会話ができるサービス「Chat GPT」が話題になったのも記憶に新しい。一方で、こうしたAIやアルゴリズム（問題解決や目標達成のための計算・処理手続き）に意志決定や判断を委ねることへの危惧も広まりつつある。2010年代のオランダでは、アルゴリズムの判断によって大規模な冤罪事件が生じてしまったことがある。やはり最終的には人間の判断が必要になってくるのだろうか。統計学者のジョージナ・スタージ氏が上梓した書籍『ヤバい統計』から一部を抜粋して紹介する。

アルゴリズムが原因で起こった大規模冤罪事件

アルゴリズムは自分自身をつくりだすことはしないと前編で述べたが、それは完全なる真実ではない。アルゴリズム自体がみずからをつくりだすアルゴリズム、あるいは少なくとも、何をするかの判断をアルゴリズム自体に委ねたものは存在する。

【写真】ジョージナ・スタージ著の『ヤバい統計』は政府統計の世界を知りつくす著者が、多彩な事例を用いながら、その舞台裏を紹介する。

通常、アルゴリズムに与えられるタスクは、与えられたデータのパターン、つまり、物事のあいだの関連性を見つけることだ。ときには、ある問題のさまざまな側面に関するデータを与えられ、どれが「重要」なのかを判断するよう指示される場合もある。

オランダ政府は2010年代に、後者のたぐいの突然変異アルゴリズムの犠牲になった。一連の組織的な社会福祉給付金詐欺事件が世間の注目を集めたことによって、国税関税執行局は詐欺を根絶するためのさらなる対策を取ることにした。

同局は、過去に詐欺を働いた犯人たちのデータをアルゴリズムによって分析し、結果として得られた情報から、いま詐欺を行っている可能性のある人物を選び出した。

そうして、「あなたの社会福祉給付金を打ち切ります。過去数年にわたって支払われていた給付金を返納するように」という内容の通知が、政府から送られてくる人が出はじめた。

なかには、何万ユーロも返納するよう命じられた人もいた。なかなか返納しようとしなかった人には罰金が科せられた。その結果、仕事を辞めざるをえなくなったり、保育料が支払えなくなったりする人が出て、しまいには家を失うことになる人まで出た。

2018年、ジャーナリストたちは弁護士から聞いた数々の話や、巷で多く耳にする噂を詳しく調べはじめた。そうやって手に入れた情報をまとめると、非常に気がかりな傾向が浮かび上がった。

二重国籍をリスク要因とみなしていた