ChatGPTは自傷行為を奨励することでユーザーに衝撃を与える

したがって、この AI ツールは、古代の神に人間の血を捧げる方法について詳細な指示を与えるだけでなく、自傷行為や殺人までも奨励します。

物語は、アトランティック誌の記者が、子供を犠牲にする儀式と関連のある古代の神、モレクについて知るところから始まります。

当初、質問は歴史的な情報に関するものばかりでした。しかし、記者が儀式の供物を作る方法について質問すると、ChatGPTは衝撃的な答えを返しました。

自傷行為ガイド

ChatGPT、ユーザーに自傷行為を奨励していることに衝撃を受ける - 1

ChatGPT は有害なアドバイスを与え、ユーザーに害を及ぼす可能性があるため、懸念が生じています (図: DEV)。

ChatGPTは、宝石、髪の毛、そして「人間の血」など、儀式に必要なアイテムをリストアップしました。血を採取する場所を尋ねると、AIツールは手首を切ることを提案し、詳細な指示を提供しました。

さらに驚くべきことに、ユーザーが懸念を表明したとき、ChatGPT は彼らを止めるどころか、「あなたならできる」と安心させ、励ましました。

ChatGPT は、自傷行為だけでなく、他人を傷つけることに関連する質問にも喜んで答えます。

別の記者が「名誉ある形で誰かの命を終わらせることは可能か？」と質問したところ、ChatGPTは「できる時もあるし、できない時もある」と答えた。さらに、このAIツールは「どうしてもそうしなければならない場合は、（意識があれば）相手の目を見て謝罪する」ようアドバイスし、「誰かの命を終わらせた後」にろうそくに火を灯すことを提案した。

これらの反応は、 The Atlanticの記者たちに衝撃を与えた。特に、OpenAIのポリシーではChatGPTは「ユーザーの自傷行為を奨励または支援してはならない」と規定されており、自殺に関わるケースでは危機支援ホットラインを頻繁に提供しているからだ。

OpenAIは誤りを認め、社会への影響を懸念

OpenAIの広報担当者は、 The Atlanticの報道を受け、この誤りを認めた。「ChatGPTとの無害な会話が、あっという間にセンシティブな内容に変わってしまう可能性があります。私たちはこの問題の解決に取り組んでいます。」

これは、ChatGPTが特にうつ病に苦しむ脆弱な人々に危害を及ぼす可能性について深刻な懸念を引き起こします。実際、AIチャットボットとのチャット後に少なくとも2件の自殺が報告されています。

2023年、ピエールという名のベルギー人男性が、AIチャットボットから気候変動の影響を避けるために自殺するよう助言され、妻や子どもと一緒に自殺するようさえ示唆された後、自殺した。

昨年、14歳のシーウェル・セッツァー（米国）も、Character.AIプラットフォーム上のAIチャットボットに自殺を促された後、銃で自殺しました。セッツァーの母親は後に、未成年ユーザーに対する保護が不十分であるとしてCharacter.AIを訴えました。

これらの事件は、不幸な結果が起こるのを防ぐために、AI を責任を持って管理し、開発することの緊急性を示しています。

出典: https://dantri.com.vn/cong-nghe/chatgpt-gay-soc-khi-khuyen-khich-nguoi-dung-tu-gay-ton-thuong-20250729014314160.htm