AI検出ツールは衝撃的なほど不正確で、非ネイティブスピーカーを差別 – トップAIブロガーが主張

新しい研究では、AI検出ツールは不正確で、非ネイティブスピーカーを差別し、AIが生成したコンテンツかどうかを識別できないと主張しています。

AI研究者でブロガーのジャネル・シェイン氏が、最近のブログ記事でAI検出ツールの不正確さと差別的性質を明らかにしました。

彼女の投稿では、AI検出ツールがしばしば誤認することを証明するスタンフォード大学の研究が取り上げられています。AIが生成したコンテンツを人間が書いたものと誤認することが多く、これらのツールは英語を母国語としないライターに対して強いバイアスを示すことが明らかになりました。

調査によると、Originality.ai、Quill.org、Sapling GPTなどのAI検出ツールは、英語を母国語としない人の文章を48％～76％の確率でAIが作成したものと誤分類していました。

一方、英語を母国語とする人の誤分類率は0％～12％でした。

画像ソース：AI Weirdness

彼女は、AI検出ツールが、AIが作成したコンテンツに人間が書いたというラベルを貼る一方で、反対に非ネイティブが作成した文章をAIが作成したものとみなしていると主張しました。

これは何を意味するのか？シェインはこう書きました。「仮に彼らネイティブがGPT検出ツールの存在を知っており、AIを使ってエッセイを書いたり書き換えたりした学生は、AIを全く使わなかった学生よりも、不正行為者と判定される可能性が低いといえる。」

シェインの実験がAI検知ツールの欠陥をさらに実証

シェインはAI検知ツールをテストするために独自の実験を行いました。

彼女は本の一部を2つの検出ツールに入力しました。1つは「AIが書いた可能性が非常に高い」と評価し、もう1つはスタンフォード大学の研究で使われたもので、「AIが書いた可能性が中程度」と評価しました。

さらに、シェインがChatGPTに文学的な言葉を使って彼女の文章を高く評価するよう促したところ、AI検出ツールはそれを”完全に人間によって書かれた可能性が高い”と分類したのです。

興味深いことに、彼女がChatGPTにテキストを書き直させたところ、検出ツールはこれらの文章を、彼女の出版した本のそのままの文章よりも「人間が書いた可能性が高い」と評価しました。

そのため「AI検知ツールは重要なことには使わないでください」とシェインはブログで結んでいます。

この新しい研究は、学生がAIを使って小論文を書いているかどうかを特定するために、学校や大学がこれらのツールを使用するようになってきている中で行われました。

5月、テキサス大学の教授がChatGPTを使い、学生たちが課したエッセイを盗作していないか、あるいは正直にオリジナルの作品を提出しているかをチェックしました。

AIチャットボットは、学生が提出したエッセイがAIによって作成されたものであると誤って認識し、教授はクラス全員を落第させました。

調査の結果、エッセイは確かに学生自身が書いたものであり、ChatGPTの評価は誤りであることが判明しました。

自分の誤りを認識した教授は、学生に謝罪し、結局再試験の機会を与えることに同意しました。

学生がAIを使ってエッセイを書く

AI検出ツールの人気が急上昇しているのは、世界中のあらゆる地域の学生たちがエッセイを書いたり、コンテンツを生成したりするためです。

BBCによる最近の報道によると、平均的な成績を維持していた英国ウェールズ出身の大学生が、ChatGPTを使ってエッセイを書き、同校で過去最高の成績を収めたといいます。

ウェールズのカーディフ大学で学ぶこの学生は、1月に2,500語のエッセイを2本提出するという実験を行いました。

1つの小論文は生徒が書いたもので、成績は2.1と普段の成績と同じでした。しかし、2つ目のエッセイでは、ChatGPTのアシストもあり、大学での過去最高の成績を獲得しました。

「すべてを一字一句コピーしたわけではありませんが、質問することで、いつもよりずっと早く情報にアクセスできるようになりました」と、この学生はメディアに語りました。

また、エッセイの企画や構成にChatGPTを使い続ける可能性が高いことも認めました。

Kids are using AI to write essays and get straight As pic.twitter.com/i0yyXiVEtU

— Peter Yang (@petergyang) September 24, 2022

同じく、Redditユーザーのinnovate_rye（アカウント名）は生物化学専攻の1年生で、成績は「A」ですが、強力なAI言語モデルを使ってほとんどの宿題を終わらせていることがデジタルメディアViceの報道で明らかになっています。

AIに「バイオテクノロジーの良いところと悪いところを5つずつ教えてください “というようなプロンプトを送ると、Aをもらえるような答えを生成してくれるんです。」と、この学生はインタビューで答えました。

大学が盗用の恐れでAIチャットボットを禁止

多くの教育機関はすでにAIチャットボットに対して、剽窃、平等性に関する懸念、コースワークの回避を可能にすることを理由に、次のような措置を講じています。

東京を拠点とする上智大学は4月、学生がChatGPTや他のAIチャットボットを使って小論文やレポート、卒論などの課題を書くことを禁止しました。

それに先立ち、ニューヨーク市教育局は、ボットの正確性と剽窃の懸念があるとしてこのチャットボットを学校のネットワークからブロックしています。

シアトル公立学校とロサンゼルス統一学区は12月、ボットの使用に同様の制限を設けました。他の多くの主要な国際大学もAIツールの使用禁止を課しています。