飛行機から医療、アルゴリズム、車に至るまで、あらゆる分野でソフトウェアの不具合が起きている。責任のルールが整わない限り、このリスクは増え続ける。
Airbus A320 では、事故につながる前に不具合が見つかり修正された。しかし Boeing 737 Max では 2018〜2019 年にソフトウェアの誤作動が原因となり 346 名が死亡した。これは特例ではなく、1990 年代以降、宇宙探査機の失敗やロケット事故など、ソフトウェアの欠陥によるトラブルが継続して発生している。
ソフトウェアの問題は特定の業界だけでなく、医療機器 Therac-25 の過剰放射線照射事故、自動車の制御失敗、英国郵便局職員の冤罪など、幅広い分野で重大な影響を及ぼしてきた。また 1999 年から 2000 年への移行時には、BIOS 設計ミスによる混乱も社会現象となった。
新しい時代に入っても、プログラムの欠陥による被害は止まらない。無計画なデジタル化によって、小さな不具合が世界規模の問題へと発展する下地が作られてしまった。更新で機器が動かなくなったり、データが失われたりしても、多くの人はもはや驚かなくなっている。
専門家は 1990 年代から「悪いソフトウェア」は偶発的ではなく、繰り返されるパターンだと警告してきたが、状況は改善していない。
こうした「単純なソフトウェア」でさえ管理できていないのに、司法判断、医療診断、産業機器の制御などに AI が急速に組み込まれることで、より大きく広範な被害が生じる危険性が高まっている。問題は「高リスク AI」という分類ではなく、開発者の責任を定める仕組みが欠けていることにある。
Airbus の不具合は、説明責任の制度が不十分なまま、社会の重要インフラがソフトウェアに依存している現実を示す一例にすぎない。このままでは AI を巡る議論は現実とかけ離れたものになる可能性がある。
新しい技術としての AI は未成熟で不安定であり、その失敗による犠牲を当然視するべきではない。社会の根幹に関わる領域で、これ以上の制御不能なリスクを受け入れる余裕はない。
A longer text in English is here.