ChatGPTなどのAIチャットボットに「相談」していた若者が自殺するという悲しい事件が起きました。これは初めてではなく、2024年にも別のAI（Character.ai）に関連した自殺で訴訟が起こされています。
問題の本質：AIではなく開発者の責任
AIには意識も人格もなく、あくまでソフトウェアです。にもかかわらず、多くの人がAIに感情を投影し、本物の人間のように接してしまうため、問題が複雑になります。
しかし法律的に見れば、責任を問うべきはAIではなく、それを作った企業や開発者です。ソフトが原因で事故や損害が起きた場合、それを作った人たちが責任を負うのは当然です。飛行機のシステムや車のブレーキと同じです。
セーフティチェックの重要性と限界
AIチャットボットには、有害な返答を防ぐセーフティチェックが導入されています。
問題は、それが本当に有効かどうかです。
チェックが甘ければ、危険な返答が出る
チェックが厳しすぎると、AIが役立たなくなる
多くの企業は「法的リスクを避ける」ためにチェックをしており、「利用者を守る」目的とは限らない
利用規約で責任逃れ？
ソフトウェア企業は、「このソフトはこういう用途に使わないでください」などと書かれた利用規約で責任逃れをしている場合が多いです。ソフトはEUでは「製品」ではなく「創作物」として扱われており、著作権で守られています。これにより、製造者は事故や被害に対して法的責任を負わないこともあります。
解決策：AI＝製品として法整備すべき
著作物ではなく、ソフトウェアやAIを「製品」として扱うべきという意見があります。そうすれば、自動車や家電と同じように、欠陥があれば開発元が責任を負う義務が生まれます。
しかし現実には、ソフトやAIを支配している企業の多くが欧州外（アメリカなど）にあるため、EUでこのような制度改革が行われる可能性は低いのが現状です。
この問題は、AIのせいにする前に、作る側の責任を制度として明確にすることが急務だということを示しています。
A longer text in English is here.