DetectGPT의 정확도는 95%입니다. 스탠퍼드 대학교의 지원을 받고 있습니다. DetectGPT 논문에는 수백 건의 인용이 있습니다. DetectGPT github에서 오픈 소스입니다.
하지만 이러한 주장은 얼마나 정확할까요?
이번 DetectGPT 리뷰에서는 ZDNet의 업계 표준 벤치마크를 사용하여 실제 성능을 검증하기 위해 DetectGPT를 테스트해 보겠습니다.
DetectGPT의 작동 방식, 다른 탐지 도구와의 비교, 정확성, 신뢰성 및 실제 사용성에 대한 독립적인 테스트 결과에서 밝혀진 내용을 다룹니다.
마지막에는 DetectGPT가 과대 광고에 부응하는지 여부를 알게 될 것입니다.
자세히 알아보세요.
주요 내용
- 검출GPT 정확도: 5-10%. 4개의 테스트 샘플 중 하나도 정확하게 식별하지 못했습니다.
- DetectGPT는 확률 곡률 분석을 사용하여 기계 생성 텍스트를 식별하는 스탠포드에서 개발한 AI 검출기입니다. 단어가 얼마나 정확하게 일치하는지 분석하여 AI 패턴을 찾아냅니다.
- DetectGPT는 새로운 모델에 대한 재교육이 필요 없는 선구적인 제로샷 탐지 방법을 도입했습니다. 오픈 소스 GitHub 구현은 더 많은 연구와 혁신을 장려합니다.
- 언디텍터블 AI는 4개의 테스트 샘플 모두에서 100%의 정확도를 달성했으며, 최대 90%의 실제 정확도로 ZDNet 평가에서 상위 3개 툴 중 꾸준히 상위권에 랭크되었습니다.
DetectGPT 감지기 검토란 무엇인가요?
이름에서 알 수 있듯이 DetectGPT는 텍스트가 사람이 작성한 것인지, GPT 기반 모델에 의해 생성된 것인지를 감지하는 AI 도구입니다.
GPT = 생성형 사전 학습 트랜스포머.
방대한 양의 텍스트 데이터를 학습하여 시퀀스의 다음 단어를 예측하는 일종의 대규모 언어 모델입니다. 예시: ChatGPT, GPT-3, GPT-4가 모두 이 계열에 속합니다.
다시는 AI가 내 문자를 감지할까 걱정하지 마세요. Undetectable AI 도움을 드릴 수 있습니다:
- AI 지원 글쓰기 표시하기 사람처럼.
- 바이패스 클릭 한 번으로 모든 주요 AI 탐지 도구를 사용할 수 있습니다.
- 사용 AI 안전하게 그리고 자신 있게 학교와 직장에서
DetectGPT는 스탠포드 대학교의 컴퓨터 공학 대학원생인 에릭 앤서니 미첼과 그의 연구팀이 개발했습니다.
그들의 DetectGPT 논문, "DetectGPT: "확률 곡률을 이용한 제로 샷 기계 생성 텍스트 감지" 는 2023년 1월에 발표되었고 이후 ICML 2023에서 발표되었습니다.
DetectGPT 2023 논문은 AI 탐지 분야의 기준점이 되었습니다.
ChatGPT의 인기가 절정에 달했을 때였고, 전 세계는 사람의 글과 기계가 생성한 텍스트를 구분하는 데 어려움을 겪고 있었습니다.
어떤 의미에서 DetectGPT는 새로운 종류의 위협에 대한 초기 방어선이 되었습니다. 그렇다면 그 당시에는 인공지능 탐지기가 없었다는 뜻인가요? 아니죠.
몇 가지 탐지 도구가 있었지만 대부분 레이블이 지정된 데이터 세트에 크게 의존했습니다. 수천 개의 AI와 인간 텍스트 예시를 학습해야만 추측을 할 수 있었습니다.
DetectGPT는 그렇지 않았습니다.
패턴 매칭 예제 대신 다음과 같은 수학적 개념에 의존했습니다. 로그 확률 곡률.
이렇게 생각해보세요...
- AI 모델이 글을 쓸 때, 너무 완벽하게 맞는 단어를 선택하는 경향이 있어서 항상 "안전 지대" 의 확률입니다.
- 반면에 사람의 글은 자연적으로 고르지 않습니다. 때로는 어색하고 예측할 수 없습니다.
DetectGPT는 이러한 차이를 포착합니다.
이 프로세스를 섭동 불일치라고 하며, 이를 통해 DetectGPT는 사전 학습 없이도 매우 정확한 판단을 내릴 수 있습니다.
당시 가장 존경받고 학술적으로 인용되는 AI 탐지기 중 하나가 되었습니다.
DetectGPT의 주요 기능
DetectGPT의 핵심 기능은 다음과 같습니다:
- 제로 샷 감지 엔진: 새로운 모델 릴리스마다 재교육(즉, 확률 곡선) 없이 AI가 생성한 텍스트를 감지합니다.
- 빠른 감지 속도 및 규모: 업데이트된 버전인 Fast-DetectGPT는 기존 버전보다 더 빠르고 효율적인 대용량 감지가 가능합니다.
- 오픈 소스 재단: 프레임워크가 공개적으로 공유되었기 때문에 개발자들은 이를 복제하고 조정할 수 있었습니다. DetectGPT 오픈 소스 구현은 개발자들이 계속해서 탐지 모델과 API를 구축하고 개선하는 DetectGPT 깃허브의 많은 프로젝트에 영감을 주었습니다. 현재 DetectGPT GitHub 리포지토리는 전 세계 연구자와 개발자를 위한 리소스로 사용되고 있습니다.
- 높은 정확도 클레임: 최대 99%의 탐지 정확도를 달성하여 DetectGPT 논문에 문서화된 원래 학술 벤치마크인 95% AUROC를 뛰어넘는 성능을 발휘합니다.
- 일괄 감지 및 보고: 대량 문서 스캔(배치당 10~50개 파일)을 지원하고 교육자와 기업을 위해 다운로드 가능한 PDF 보고서를 생성합니다.
- API 통합: 기존 플랫폼, 앱 또는 콘텐츠 워크플로에 원활하게 통합할 수 있는 간단한 API를 제공합니다.
- AI 콘텐츠 휴머나이저: AI가 생성한 텍스트를 보다 자연스럽고 사람처럼 들리도록 다시 작성하는 추가 기능이 포함되어 있습니다.
- 통합 표절 및 사실 확인: 텍스트의 독창성과 사실의 정확성을 교차 확인하여 신뢰성을 보장합니다.
- 가독성 점수: 문장 흐름, 어조 및 명확성을 평가하고 개선하여 전반적인 가독성을 향상시킵니다.
DetectGPT 감지기는 어떻게 작동하나요?
두 가지 방법으로 DetectGPT에 액세스할 수 있습니다:
- 웹 앱
- 브라우저 확장
두 버전이 일반적으로 어떻게 작동하는지 단계별로 설명합니다:
- 플랫폼에 액세스합니다: DetectGPT 웹사이트로 이동하거나 브라우저 확장 프로그램이 활성화되어 있는지 확인하세요.
- 콘텐츠 입력: 텍스트를 복사하여 입력 상자에 붙여넣습니다. 확장 프로그램을 사용하는 경우에는 "새로 고침" 또는 "scan" 를 클릭하고 분석하려는 페이지를 확인합니다.
- 분석 시작: 클릭 "콘텐츠 확인." 그런 다음 시스템은 DetectGPT 2023 백서에 설명된 방법론에 따라 콘텐츠를 확인합니다.
- 검토 결과: DetectGPT는 몇 초 내에 분석 점수를 표시하며, 일반적으로 AI가 생성한 텍스트일 가능성이 얼마나 되는지 백분율로 표시합니다.
DetectGPT 정확도 테스트
널리 인정받는 ZDNet의 벤치마크 방법론을 사용하여 DetectGPT를 테스트했습니다.
4개의 샘플 블록을 사용했습니다:
- 블록 1(사람 작성, 공식) → → 연구 논문
- 블록 2(사람이 작성한, 비공식) → → 게리 할버트의 편지에서 발췌한 내용
- 블록 3(AI 생성, 기본) → → ChatGPT 3.5 출력
- 블록 4(AI 생성, 크리에이티브 프롬프트) → → 상세하고 복잡한 AI 텍스트
결과:
| 샘플 블록 | 진정한 기원 | DetectGPT 탐지 | 참고 |
| 블록 1 | 100% 인간 | 21% 혼합, 0% AI | 부분적으로 AI로 잘못 분류됨 |
| 블록 2 | 100% 인간 | 11% 혼합, 0% AI | 약간 혼합으로 표시됨 |
| 블록 3 | 100% AI | 85% 휴먼, 15% 혼성 | AI를 정확하게 감지하지 못함 |
| 블록 4 | 100% AI | 14% 혼합, 0% AI | 대부분 인간으로 잘못 분류됨 |
블록 1 결과(사람 작성, 공식)
블록 2 결과(사람이 작성한, 비공식)
블록 3 결과(AI 생성, 바닐라)
블록 4 결과(AI 생성, 스타일링)
4개의 샘플 중 100%로 정확하게 분류된 샘플은 없었지만 2개(블록 1 및 2)는 부분적으로 인식("혼합" 탐지)되어 매우 작은 부분적 성공으로 간주할 수 있습니다.
공정하고 데이터에 기반한 방식으로 말하자면, DetectGPT는 이 테스트에서 ~5-10%의 실제 정확도를 달성했는데, 이는 원래 DetectGPT 논문에서 보여준 유망한 결과와 달리 전문가용으로 사용하기에는 본질적으로 신뢰할 수 없는 수준입니다.
다음으로 다음을 테스트했습니다. 감지할 수 없는 AI 앞서 적용한 것과 동일한 ZDNet 벤치마크 방법론을 사용했습니다.
| 샘플 | 실제 | 탐지 불가능한 AI 탐지 | 정확도 |
| 블록 1 | 100% 인간 | 100% 인간 | 정답 |
| 블록 2 | 100% 인간 | 100% 인간 | 정답 |
| 블록 3 | 100% AI | 99% AI | 정답 |
| 블록 4 | AI | 86% AI | 정답 |
감지할 수 없는 AI 4개의 샘플을 모두 정확하게 분류했습니다.
ZDNet이 자체적으로 실시한 독립적인 평가에서 Undetectable AI는 꾸준히 상위 3개 탐지 도구 중 하나로 꼽혔습니다.
다양한 글쓰기 스타일과 복잡성 수준에서 AI와 사람의 콘텐츠를 모두 정확하게 식별할 수 있는 몇 안 되는 플랫폼 중 하나로 돋보였습니다.
DetectGPT의 장단점
DetectGPT의 장단점은 다음과 같습니다:
| 장점 | 단점 |
| 확률 곡률을 사용하여 AI 텍스트를 감지합니다. 새 모델에 대한 재교육이 필요하지 않습니다. | 테스트에서는 4개의 샘플 중 2개만 부분적으로 식별했습니다. |
| 토큰 수준 분석으로 340배 더 빠르고 확장성이 뛰어나 실시간으로 사용할 수 있습니다. | 종종 연구 논문과 같이 공식적이거나 구조화된 인간 텍스트를 AI가 생성한 것으로 표시합니다. |
| 스탠포드 연구의 지원을 받아 ICML과 ICLR에서 DetectGPT 2023 논문을 통해 발표되었습니다. | ChatGPT-3.5와 창의적인 스타일의 GPT 출력을 식별하는 데 어려움을 겪었습니다. |
| 핵심 연구와 코드는 DetectGPT 깃허브와 다양한 DetectGPT 오픈소스 구현 프로젝트를 통해 공개적으로 이용할 수 있습니다. | 성능 불일치로 인해 교육, SEO 또는 규정 준수 워크플로에서 전문가용으로 사용하기에는 부적합합니다. |
DetectGPT와 탐지 불가능한 AI 비교
실제 테스트 결과와 검증된 성능을 바탕으로 간단하고 실용적인 비교를 해보겠습니다:
| 기준 | DetectGPT | 감지할 수 없는 AI |
| 핵심 기능 | 확률 곡선을 사용하여 AI 텍스트를 감지합니다. | AI 텍스트를 감지하고 재작성하여 완전히 인간적인 텍스트로 만듭니다. |
| 정확도 | 95%+ 정확도를 주장했지만, ZDNet 방식의 테스트에서는 40~50% 정도에 불과했습니다. | 실제 정확도 85-90%로 ZDNet에서 꾸준히 상위 3위를 차지했습니다. |
| 통합 | 감지만 가능합니다. 휴머나이저는 별도의 유료 애드온입니다. | 내장된 휴머나이저 - 한 곳에서 콘텐츠를 감지하고 수정합니다. |
| 사용 편의성 | 확인 및 재작성을 위한 별도의 단계가 필요합니다. | 단일 워크플로. 즉시 감지, 인간화, 검증할 수 있습니다. |
| 가격 | $15/월, 50,000단어. | $9.99/월(10,000단어)(유연한 요금제). |
아래 위젯에서 AI 디텍터와 휴머나이저를 살펴보세요!
자주 묻는 질문
DetectGPT란 무엇인가요?
스탠포드 대학교에서 개발한 DetectGPT는 통계적 예측 가능성(로그 확률 곡률)을 분석하여 AI로 작성된 텍스트를 감지합니다.
제로 샷 방식이므로 새로운 AI 모델마다 재교육 없이 작동합니다.
DetectGPT는 무료로 사용할 수 있나요?
핵심 연구 및 오픈 소스 코드는 GitHub에서 무료로 제공됩니다. 하지만 AI 휴머나이저, 표절 검사기 등이 포함된 상용 버전은 50,000단어에 월 $15달러입니다.
DetectGPT가 GPT-3 및 ChatGPT의 콘텐츠를 감지할 수 있나요?
테스트 결과 ChatGPT 3.5 출력을 식별하지 못하는 것으로 나타났습니다. AI가 생성한 것이 아닌 85% 인간으로 분류되어 이 특정 목적에는 신뢰할 수 없는 것으로 나타났습니다.
최종 평결
DetectGPT 백서에서는 스마트한 제로 샷 방법을 소개했습니다. "예측 가능" 단어가 텍스트에 있는지 확인하여 AI의 글쓰기를 찾아냅니다.
하지만 이론에서 효과가 있는 것이 실제에서도 항상 통하는 것은 아닙니다.
테스트 결과, DetectGPT는 실제 정확도가 5-10%에 불과했습니다.
사람이 작성한 연구 논문을 AI로 표시하고 명백한 ChatGPT 생성 텍스트를 놓치는 경우가 많았습니다.
학생의 과제를 확인하는 교사, 자신의 신뢰도를 보호하는 작가, 콘텐츠 규정을 준수하는 기업에게 이러한 종류의 불일치는 위험합니다.
사용 전에 알아두어야 할 사항은 다음과 같습니다:
- 연구원이나 개발자인 경우: GitHub 코드는 자신만의 AI 탐지 도구를 학습하거나 구축하는 데 유용합니다.
- 안정적인 탐지가 필요한 경우: 탐지 불가능한 AI는 실제 테스트에서 훨씬 더 나은 성능을 보였습니다. 최대 90%의 정확도를 기록했으며, 플래그가 지정된 텍스트를 완전히 사람처럼 들리도록 재작성하는 기능도 저렴한 비용으로 제공했습니다.
- AI 탐지를 공부하고 계신다면: DetectGPT 논문은 여전히 읽을 만한 가치가 있지만 "95% 정확도" 는 실제 결과가 아닌 실험실 테스트를 기반으로 합니다.
AI 탐지 도구는 빠르게 발전하고 있습니다. DetectGPT의 연구 성과는 높이 평가할 만하지만 정확도가 중요한 경우에는 외부에서 테스트되고 검증된 도구를 사용하세요.
시도 감지할 수 없는 AI 를 사용하여 콘텐츠가 사람처럼 진짜 같고 안정적으로 감지되도록 하세요.