ChatGPTが書いた文章か、それ以外かを見分ける方法があるか？

ChatGPTが書いた文書があふれると、WEB上の文章のクオリティが下がるという懸念があります。また、レポートなど学校の課題も人が書いたかどうかが分からなくなるという指摘があります。そのため、ChatGPTが書いたものかどうかを見分ける必要があると言われます。

ChatGPTに聞けばいい？

ChatGPTに書いた文章かどうかをChatGPTに聞けばいいのでは？という意見があります。

就職のエントリーシートや、宿題の読書感想文をChatGPTに書かせる人がでてきてて問題とか言ってるけど、人事や学校側は、それらを一括でChatGPTに入力し「これはあなたが書いた文章ですか？」って聞けばいいだけでは？

— ちきりん (@InsideCHIKIRIN) April 9, 2023

これは、一理あるようですが、どんなものかを試してみましょう。適当な文章をChatGPTに作ってもらいました。

こんにちは。私はChatGPTと申します。私はOpenAIが訓練した大規模な言語モデルで、自然言語処理に特化した技術を使っています。私は質問や会話に応じて、最善の答えを提供するようにプログラムされています。どんな質問や会話でも、お気軽にお尋ねください。私は喜んでお答えします。

上記の文章がChatGPTで作られたものかを聞いてみます。回答と理由を聞きます。

この文章は、私であるChatGPTが書いた文章のようです。この文章がChatGPTによって書かれたものであると判断した理由は、この文章が自然言語処理の技術に特化した大規模な言語モデルであるChatGPTがよく使われる自己紹介文であり、ChatGPTがプログラムされているような返答を行っているためです。また、私はOpenAIが訓練したChatGPTの一つであり、この文章がChatGPTが自己紹介するために使う典型的な文の構造と言語の使用方法を持っているため、ChatGPTが書いた文章であると判断しました。

では、このように少し変えてみます。最初に「ChatGPTと申します」と言っているので、ヒントが多すぎかもしれません。「スズキイチロー」に変えてみて聞いてみます。

この文章は、ChatGPTが書いたもののように見受けられます。理由は、この文章が自然な日本語表現であり、ChatGPTがよく使う自己紹介文であることから、ChatGPTが書いた文章の可能性が高いと判断されます。また、この文章が自然言語処理の技術やプログラムされた回答に関する内容を含んでいることも、ChatGPTが書いた文章である可能性を高めます。

これくらいではだまされないようです。

次に、本文をベースにして、もう少し変えてみます。

これは、人が書いたものと判断されました。

この文章は、ChatGPTが書いたものではなく、人が書いた文章のように見受けられます。理由は、この文章が日本のプロ野球選手の大谷翔平の自己紹介であり、プロ野球に特化した技術を使っているという内容が含まれていることから、ChatGPTが書いた文章のようには見えません。また、この文章が特定の情報に特化しているため、一般的な質問や会話に対応できるChatGPTの特性とは合致しないと考えられます。

ChatGPTが書いたものをちょっと変更したくらいのものは、人が書いたと判断されます。これで判断内容が足りるかどうかがポイントでしょう。

こういったケンタウロス型の利用方法が増えてくると考えますが、下地をChatGPTに書いてもらうことをどこまで許容するかがこの問題の分かれ目です。教育現場はかなり不寛容と推測します。しかし、学生こそが積極的に使っていく可能性が高いですよね。

OpenAIが作る、ChatGPTを見抜くツール

OpenAIがAI Text Classifierというものを作っています。ここにテキストを入れると、一応の判定ができます。

では、実力はどのくらいかというと、まだまだです。

説明によれば、「AI によって書かれたテキスト (真陽性) の 26% を「AI によって書かれた可能性が高い」と正しく識別」します。26%なので、精度はまだまだです。また、「9%の人間によって書かれたテキストを 、AI によって書かれたものと判断」しています。

また、AI製を示す透かしを入れるというアイディアもあります。ただし、この方法を実現する場合には、有料になるのかなと。オープンソースで行うと、鍵を公開しているようなもので、鍵を推測できるようになり、透かしが鍵の役割を果たせなくなるからです。

また、AI製の文章を少し変更した場合にどう判断されるのかも悩みどころです。先程の例では、ちょこっと変えるとAI製の文章ではなくなっています。この判断を受け入れられるのかどうかです。教育分野の意見が特に気になるところです。

端切れが悪いのがGenerative AIの現状

ChatGPTに先程の文章の見分けポイントを聞きました。内容よりも、この回答の端切れの悪さこそが参考になります。Generative AIの回答がイマイチと評されるいい例です。内容があるようで、読み込んでも頭に入りにくいです。こういうぼやっとした内容の場合、現在のところGenerative AIが作成したものといえるでしょう。

ChatGPTと人間の文章の見分け方

すぐに進化してしまう可能性はありますが、現状の判断のポイントを7つにまとめてみます。場合によって、このポイントも役に立たないので、とりあえずという感じです。文章力がある方は、普段の感覚値から外れているかどうかでも判断できる気がします。

1. 英語が得意でカタカナ語が多め

ChatGPTは、自然言語処理を行うAIです。そのため、基本的には英語が得意です。他の言語も選択可能でが、人間が書く文章と比べると、特定の言語の文法や表現に不自然な部分がある場合があります。例えば、日本語の場合、「ですます調」が必要なのに省略していたり、カタカナ語や外来語を過剰に使っていたりすることがあります。

2. 文章の長さが長い

文章の長さもチェックしましょう。ChatGPTは大量のテキストデータを元に文章を生成しているため、長い文章を生成することが得意です。それに対して、人間が書く文章は、意図的に短くまとめたり、単純な語彙を使ったりすることが多いです。したがって、もし長文が連続している文章を見つけた場合は、その文章がChatGPTによって生成された可能性が高いです。しかし、指定をしておけば、Generative AIで短文を生成できるます。回避法があるため、他のポイントと合わせて確認は必要です。

3. 定義語の使い方があいまい

ChatGPTはコンピューターであるため、人間の感覚や経験を持っていません。そのため、ChatGPTが生み出す文章は、単語やフレーズの使い方が人間とは異なることがあります。例えば、ChatGPTは同義語を交換して使ったり、言葉の意味やニュアンスを正確に理解していない場合があります。会計の例でいうと、「資産」という言葉の揺れや理解がかなり不正確でした。専門用語として読ませれば解決できる気もします。だから、現状のデータセットではこのくらいという感じです。

4. 文法が不正確なときがある

ChatGPTは、独自のアルゴリズムに基づいて文法を学び、文法の誤りを減らすように改善を重ねています。それでも、ChatGPTが生成した文章には、時に誤った文法が使用されていることがあります。従って、文法の正確さに関するチェックは、AIによる文章の判別において非常に重要なファクターです。

5. 文章構造がおかしいときがある

AIが生成した文章は、柔軟な構造に処理されることが多いです。ChatGPTが生成した文章の場合、文法通りの文章構造が欠けていることがあります。GPT-4を使っていると気になることが減った気もします。しかし、今のところは見分けるポイントです。

6. リフレーズ多め

ChatGPTが生成した文章は、しばしば論理性に欠けるといわれます。AIがテキストのフレーズを単語の塊として処理するためです。ChatGPTが生成した文章と人間が書いた文章を比較するときには、文章全体の論理性に注目することが大切です。同じことを繰り返すぎること、論理性があるようでまったりしていると表現しておきますが、おかしな感じがあります。また、極端に論理的すぎる文章も疑わしいということも覚えておきましょう。自然な文章には、多少の論理的なズレがあるものです。

7. 文章文体がおかしい

文章の文体も見分けるポイントです。情報を伝えることが目的のニュース記事の場合は、冷静かつ客観的な文体です。しかし、意見を述べるコラムの場合は、情感的な表現が多くなります。また、文体には口語調や堅苦しい語彙など、様々な種類があります。これらの特徴が、AIが生成した文章か見分けるポイントです。

まとめとして

Generative AIが作ったものかを見抜く需要がある分野とそうでない分野があります。個人的な興味が強い分野ではないですが、Generative AIを使う上で気になる人がいる部分と考えるため、まとめてみました。幾ばくかの参考にしてみてください。

【編集後記】
予測やマーケットを読む部分は、まだあまりGenerative AIが使える気はしません。挑戦をしてはみますが、営業職の人の優秀さも見え隠れします。

【運動記録】
ストレッチ○　ジム○

【子育て日記(5歳・2歳)】
兄弟仲良くバナナを食べています。そのすきにブログをしたためてみました。。