2024年8月、GrammarlyはAIチェッカーを呼び出した後、AIコンテンツ検出器を発表した。 "信頼できない"
Grammarlyは世界中の3000万人以上の人々に信頼されています。
スペル、文法、スタイル、口調を多くのデバイスやプラットフォームでサポートすることで知られている。
このため、GrammarlyがAIが書いたコンテンツを検出するツールを追加したとき、人々は興奮した。
では、GrammarlyのAIチェッカーは、彼らがかつて批判した問題を解決しているのだろうか?
GrammarlyのAIチェッカーは正確か?
あるいは、具体的に説明する。
Grammarly AIチェッカーは信頼できますか?
このブログでは、GrammarlyのAIチェッカーを6つの異なるコンテンツタイプでテストし、実際にどの程度機能するかを確認します。
その成功例、失敗例、そしてコンテンツ検証のニーズに対して信頼できるかどうかを正確にお見せします。
要点
- GrammarlyのAIチェッカーは、6種類のコンテンツで33%の精度しか達成できませんでした。
- このツールは100%の人間のコンテンツを正しく識別したが、完全にAIが生成したテキストを検出できなかった。
- GrammarlyのAIチェッカーは正確か? 我々のテストによると、この検出器は、言い換えられたAIコンテンツや、人間とAIが混在した文章に苦戦している。
- 無料ユーザーは1回の投稿につき1,000ワードが上限だが、プレミアムユーザーはそれ以上の制限がある。
- のような専門的なツールもある。 検出不可能なAIの検出器 (100%の精度)は、Grammarly AIチェッカー無料版よりもはるかに信頼できます。
Grammarly AIチェッカーとは?
Grammarly AI Checkerは、AIによって作成された可能性のある文章かどうかを見分けるために設計されています。
検出器は、この製品に内蔵されている。 Grammarlyの既存プラットフォームそのため、文法、スペル、スタイルのツールとともに機能する。
GrammarlyのAIチェッカーがどのように展開されたかをご紹介します:
もうAIがあなたのテキストを検出する心配はありません。 Undetectable AI あなたを助けることができる:
- AIがアシストする文章を出現させる 人間らしい。
- バイパス ワンクリックですべての主要なAI検出ツール。
- 用途 AI 無事に そして 堂々 学校でも仕事でも。
- 2024年8月 AI検出器の正式発表
- 2024年9月 グーグルドキュメント用ベータ版リリース
- 2025年初頭: 特に教育関係者向けに、さらに多くの機能が追加される予定です。
この機能は、Grammarlyがより広範に推し進めている "グラマリー・オーサーシップ"Iそれは、AIが巷に溢れる時代に、本物の人間的な文章を書くことを支持する彼らの方法なのだ。
このツールは誰のためのものなのか?
- 生徒と教師。
- コンテンツ制作者とマーケティング担当者。
- プロのライター。
この検出器はGrammarlyのメインプラットフォームの一部であるため、別個に使用するよりもはるかに使いやすくなっています。 AIチェックツール。
すでにGrammarlyを使っているなら、この機能はあなたのワークフローにぴったりです。
GrammarlyのAI検出機能の主な特徴
以下は、Grammarly AIチェッカーの主な機能です:
- 文法AIチェッカー無料 プランでは1,000語まで分析。プレミアムでは、より高い制限とより多くのツールが提供されます。
- Grammarlyのウェブ、デスクトップ、モバイルアプリに完全に組み込まれており、追加ツールは必要ありません。
- AIが生成したコンテンツの可能性をパーセンテージで表示します。
- ブラウザ拡張機能、デスクトップアプリ、モバイルデバイスで動作。
- 執筆中にAIコンテンツを即座に検出。
GrammarlyのAIチェッカーの仕組み
Grammarly AIチェッカーは、AIが書いたコンテンツによく見られるパターンを検出することで動作します。
文章の組み立て方、文体、繰り返される言語構造などを見る。
このツールは機械学習を利用している。
つまり、AIが通常どのような文章を書くかを認識するために、多くの例で訓練されているということだ。
Grammarlyによれば、「厳密なテスト」によって、完璧ではないにせよ、可能性の高いAIを発見するのに適した、方向性の正確なツールであることを確認しているという。
しかし、GrammarlyのAIチェッカーの性能は実際にどの程度信頼できるのでしょうか?長い文章で最も効果を発揮します。
短い文章では分析するのに十分なデータが得られないため、結果が正確でなくなる可能性がある。
Grammarlyのプラットフォームに組み込まれているため、文法やスタイルをチェックするシステムも同じものを使用しています。
これは、あなたの文章の全体的な流れを理解するのに役立ちます。
しかし、専用のAI検出器ではないため、専用のツールがより得意とするものを見逃してしまう可能性があるというマイナス面もある。
Grammarly AIチェッカーは正確か?
GrammarlyのAIチェッカーが正確かどうかを評価するために、我々は以下を使用した。 ZDNetのフレームワーク.
この方法論は、実際のパフォーマンスを測定するために、6つの異なるコンテンツカテゴリーを分析する。
テスト:コンテンツの6つのカテゴリー
Grammarlyが提供するAIチェッカーを6種類のコンテンツに対してテストしました:
カテゴリー | コンテンツの種類 |
1 | 100% AI |
2 | 100% ヒト |
3 | 軽く編集されたAI |
4 | 言い換え可能なAI |
5 | 人間+AIの混合 |
6 | 盗作防止AI |
それでは、Grammarly AIチェッカーが各カテゴリーでどのような結果を出したか見てみましょう:
カテゴリー1:100% AI
現実だ: 完全AI生成
Grammarlyの結果: 50% AI
評決: 誤検出
このコンテンツはすべてChatGPTによって作成され、人による編集は一切加えられていない。
AI文法チェッカーは、これを高度にAIによって生成されたものとしてフラグを立てるべきだったが、50%のAI確率しか検出しなかった。
カテゴリー2: 100% Human (クラシック広告)
現実だ: 人力
Grammarlyの結果: 0% AI (100% ヒト)
評決: 正しい検出
このコンテンツは、AIツールが存在する何十年も前に書かれたものです。GrammarlyのAIチェッカーは、これを完全に人間が書いたものと正しく認識した。
カテゴリー3: 軽く編集されたAI
現実だ: 主にAIで、人による編集は最小限
Grammarlyの結果: 25% AI
評決: 誤検出
このうち人間が編集したのは20-25%だけである。AIチェッカーGrammarlyはAIの関与を著しく過小評価した。
カテゴリー4:言い換えられたAIコンテンツ
現実だ: AIの起源、人間らしく聞こえるように言い換え
Grammarlyの結果: 33% AI
評決: 正しい検出
このコンテンツはもともとAIによって生成され、その後ヒューマナイゼーションツールを使って言い換えられた。GrammarlyのAIチェッカーは、いくつかのAIの痕跡を検出しました。
カテゴリー5:人間+AIの混合コンテンツ
現実だ: 50%の人間の文章+50%のAI生成フレーズ
Grammarlyの結果: 20% AI
評決: 誤検出
人間とAIのコンテンツが同程度であれば、AI文法チェッカーは20%ではなく、約50%のAIの関与を検出するはずである。
カテゴリー 6:盗作AI
現実だ: AIが歴史的事実と重ね合わせて書く
Grammarlyの結果: 25% AI
評決: 誤検出
これは完全にAIが生成したコンテンツで、たまたま歴史的に正確な情報が含まれていた。GrammarlyのAIチェッカーは、AIによる生成を完全に見逃した。
最終スコアカード
全6件のテストケースのうち
- 正しい検出: 2(カテゴリー2および一部4)
- 偽陽性/陰性: 4(カテゴリー1、3、5、6)
検出精度: 33%
GrammarlyのAIチェッカーは信頼性に限界があり、コンテンツを正確に識別できるのは全体の3分の1に過ぎない。
純粋に人間のコンテンツを認識することに秀でている一方で、他のすべてのカテゴリーにおいてAIの関与を常に過小評価している。
この性能は重大な問題を浮き彫りにしている。AIチェッカーGrammarlyは信頼できないだけでなく、正確なAI検出を必要とするユーザーにとって危険なほど誤解を招くものなのだ。
だから、あなた自身のコンテンツ検証のために...
用途 検出不可能なAIディテクター 100%の正確な結果を得ることができます。ZDNetが独自に行ったテストでは、このAI検出器は6つのカテゴリーすべてを偽陽性・偽陰性なしで正しく識別しました。
を適用することもできます。 検出不可能なAIヒューマナイザー フラグが立った箇所は、本当に人間らしく見えるまで書き直す。
複数のディテクターで再テストを行い、コンテンツが異なるプラットフォーム間を通過することを確認する。
Grammarly AIチェッカーの弱点と限界
以下は、GrammarlyのAIチェッカーが的を射ていない主な点です:
精度の問題
- 明らかにAIによって書かれたコンテンツを見落とすこともある。
- AIのスコアが低いと、そのコンテンツが実際よりも独創的だと思わせてしまう。
- 結果は一貫しておらず、コンテンツの種類やどのAIモデルが作成したかによって精度が変わる。
技術的限界
- 無料ユーザーは一度に1,000語までしかスキャンできない。
- 英語に最適化されており、他の言語はうまく扱えない。
- カジュアルな文章、創作的な文章、インフォーマルな文章は、それを混乱させる可能性がある。
- 長い文章を分析するときは遅くなる傾向がある。
現実的な欠点
- 一度に複数の書類をアップロードしたり、チェックしたりすることはできません。
- AIが編集したコンテンツとAIが書いたコンテンツの区別はない。
コア・チャレンジ
- このツールは、AIの進化の速さに追いつくのに苦労している。
- 新しいAIモデルは、その検知を簡単にすり抜けることができる。
- 人間がAIの出力を編集したり拡張したりするミックスコンテンツは、しばしば水面下で行われる。
Grammarly AIチェッカーと他のAI検出器との比較
AIの検出精度に関しては、GrammarlyのAIチェッカーは、このタスクのために特別に設計されたツールに追いつくのに苦労している。
トップ・ディテクターのテスト結果は以下の通り:
工具 | 精度 | 際立った特徴 | 弱さ | 価格/月 |
文法 | 33% | ライティング・プラットフォームとのシームレスな統合 | 危険なほど低い精度 | $12 |
検出不可能なAI | 100% | 検知器をバイパスするAIヒューマナイザー | 無料利用は限定的 | $19 |
コピーリークス | 50-80% | 多言語サポート(30言語以上) | 新しいAIモデルでは精度が落ちる | $17 |
GPTゼロ | 100% | 文ごとのAI確率スコアリング | 限定無料ティア | $15 |
ステルスライターAI | 50% | AIテキストを人間が書いたように書き換える | 本来の意味を変える可能性がある | $20 |
注: 私たちは、この両者について包括的なレビューを行った。 コピーリークス そして ステルスライターAI 同じテスト方法で。
GrammarlyはAIが編集したテキストや言い換えられたテキストを検出できるか?
AIチェッカーGrammarlyの最大の弱点はここにある。
AIコンテンツのパフォーマンス
私たちのテストでは、Grammarly AI Checkerは、もともと100%のAIが生成されたものの、ヒューマナイゼーションツールを使って言い換えられたコンテンツから、33%のAIのみを検出しました。
つまり、AI言い換えツールやAIヒューマナイザーソフトウェアを使用している人は、Grammarly AI Checkerの検出を簡単に回避することができます。
AI編集コンテンツの課題
AI文法チェッカーは、AIが編集したコンテンツ(最初は人間的なテキストだが、AIによって強化されたり拡張されたりしたもの)に対してさらに苦戦する。
私たちの "軽く編集されたAI" カテゴリーでは、現実には75-80%のAI関与があったのに、25%のAI検出しか示さなかった。
こんなツール 検出不可能なAIのヒューマナイザー そして AIパラフレーザー は、特に検知を逃れるように設計されている。つまり 前回のレビュー私たちはヒューマナイザー・ツールの精度をテストした:
ステルスライターAI: 複数の検出器でAI検出を100%から5%に削減。
AIは検出されなかった: ヒト化後の1% AI検出を達成
クイルボットによる言い換え: それでも76%のAI検出を示した(効果は低い)
結論: もし誰かがGrammarly AI Checkerを回避したいのであれば、簡単に手に入るツールで簡単にできる。
下のウィジェットから直接AI検出器とヒューマナイザーにアクセスしてください。
Grammarly AIチェッカーに関するFAQ
GrammarlyはGPT-4のコンテンツにフラグを立てることができますか?
確実ではない。AIチェッカーであるGrammarlyは、GPT-4の内容が実際には完全なAIであるにもかかわらず、AIが少ないと言うことがよくある。
GPT-4のような高度なツールからテキストを検出するのは難しい。
GrammarlyはTurnitinやGPTZeroと比べてどうですか?
Grammarlyはよりユーザーフレンドリーだが、正確さでははるかに劣る。私たちのテストでは、Grammarlyのスコアはわずか33%でした。
GPTZeroは99.8%の精度を示したが、Turnitinは他の独立したテストで87-90%のスコアを出した。正確さを優先するのであれば、Grammarlyでは不十分です。
Grammarlyの検出結果が間違っている可能性はあるのか?
はい、よくあります。GrammarlyのAIチェッカー は、AIのコンテンツを過小に検出し、AIが生成したテキストがオリジナルであるとユーザーを誤認させる可能性がある。
また、人間が書いた技術的なコンテンツに誤ったフラグを立てることもある。
結論
GrammarlyのAIチェッカーはGrammarlyのプラットフォームに組み込まれているので使いやすいが、我々のテストではあまり正確ではないことがわかった。
33%の精度があった。つまり、AIが生成したコンテンツを見逃したり、誤った結果を出したりすることが頻繁にあるということだ。
では、GrammarlyのAIチェッカーは十分に正確なのだろうか?
Grammarlyの中で素早くシンプルにチェックするだけなら、うまくいくかもしれない。
本当にAIが書いたかどうかを判断する必要があるのなら、このツールだけでは不十分だ。
GrammarlyのAIチェッカーは無料版では短い文章をチェックでき、有料版ではより多くの機能を利用できるが、どちらも正確さの問題は解決していない。
結果を信頼する必要があるなら、次のような信頼できるツールを使う方がいい。 検出不可能なAIディテクター 100%の精度のために。