Skip to content
TopicTracker
出典 HackerNews原文を表示
翻訳言語翻訳言語

Discord、AIモデレーションのバグにより無害な画像でユーザーを誤ってBANしたことを認める

Discordは、同社のAIモデレーションツールのバグにより、無害な画像を不適切にフラグ付けし、一部のユーザーが誤ってアカウント停止(BAN)されたことを認めた。同社はこの問題を修正したと発表しているが、誤ったBANの影響を受けたユーザーからの批判が相次いでいる。

背景メモ

- Discordはゲーマー向けからスタートした世界的なチャット/コミュニケーションプラットフォーム。月間アクティブユーザーは数億人にのぼり、サーバー(グループチャット)単位で運営される。 - 2020年代後半、同社は有害コンテンツの自動検出にAI(画像認識モデル)を本格導入。従来はユーザーからの報告や人手によるモデレーションが主流だったが、規模の拡大に伴い機械判定への依存が強まっている。 - 今回のバグでは、AIが「性的に露骨」「暴力的」などと誤判定した無害な画像(例えばペットの写真や風景)でユーザーが一斉にBANされた。Discord側は「偽陽性(false positive)の問題」と認め、謝罪と補償対応に追われた。 - この事例は、SNSやゲームプラットフォームで急速に導入されるAIモデレーションの限界を浮き彫りにした点で注目された。特に、誤BANの取り消しや異議申し立ての仕組みが不十分なまま自動化が先行していることへの批判が業界内外から上がっている。