Ανασκόπηση DetectGPT: GPTG: Ειλικρινής ανάλυση & βασικές πληροφορίες

Το DetectGPT έχει ποσοστό ακρίβειας 95%. Υποστηρίζεται από το Στάνφορντ. Η εργασία DetectGPT έχει εκατοντάδες αναφορές. Είναι ανοικτού κώδικα στο github του DetectGPT.

Αλλά πόσο ακριβείς είναι αυτοί οι ισχυρισμοί; 

Σε αυτή την επισκόπηση του DetectGPT, θα δοκιμάσουμε το DetectGPT χρησιμοποιώντας το πρότυπο αναφοράς του ZDNet για να επαληθεύσουμε τις επιδόσεις του στον πραγματικό κόσμο.

Θα καλύψουμε πώς λειτουργεί το DetectGPT, πώς συγκρίνεται με άλλα εργαλεία ανίχνευσης και τι αποκάλυψαν οι ανεξάρτητες δοκιμές μας σχετικά με την ακρίβεια, την αξιοπιστία και την πρακτική χρηστικότητα.

Μέχρι το τέλος, θα ξέρετε αν το DetectGPT ανταποκρίνεται στη διαφημιστική εκστρατεία ή όχι.

Ας το μάθουμε.

---

Βασικά συμπεράσματα

• Ακρίβεια DetectGPT: 5-10%. Απέτυχε να αναγνωρίσει σωστά κανένα από τα 4 δείγματα δοκιμής.

• Το DetectGPT είναι ένας ανιχνευτής τεχνητής νοημοσύνης που αναπτύχθηκε στο Στάνφορντ και χρησιμοποιεί ανάλυση καμπυλότητας πιθανοτήτων για τον εντοπισμό κειμένου που δημιουργήθηκε από μηχανήματα. Αναλύει με πόση ακρίβεια οι λέξεις ταιριάζουν μεταξύ τους για να εντοπίσει μοτίβα ΤΝ. 

• Η DetectGPT εισήγαγε μια πρωτοποριακή μέθοδο ανίχνευσης μηδενικών πυροβολισμών που δεν απαιτεί επανεκπαίδευση για νέα μοντέλα. Η εφαρμογή ανοικτού κώδικα στο GitHub ενθαρρύνει την περαιτέρω έρευνα και την καινοτομία.

• Το Undetectable AI πέτυχε ακρίβεια 100% και στα 4 δείγματα δοκιμών και κατατάσσεται σταθερά μεταξύ των 3 κορυφαίων εργαλείων στις αξιολογήσεις του ZDNet με ακρίβεια έως 90% στον πραγματικό κόσμο.

---

Τι είναι η αναθεώρηση του ανιχνευτή DetectGPT;

Όπως υποδηλώνει το όνομα, το DetectGPT είναι ένα εργαλείο τεχνητής νοημοσύνης που ανιχνεύει αν ένα κείμενο έχει γραφτεί από άνθρωπο ή έχει παραχθεί από ένα μοντέλο που βασίζεται σε GPT. 

GPT = Generative Pre-trained Transformer.

Πρόκειται για ένα είδος μεγάλου γλωσσικού μοντέλου που εκπαιδεύεται σε τεράστιες ποσότητες δεδομένων κειμένου για την πρόβλεψη της επόμενης λέξης σε μια ακολουθία. Παράδειγμα: ChatGPT, GPT-3 και GPT-4 ανήκουν όλα σε αυτή την οικογένεια.

Το DetectGPT αναπτύχθηκε από τον Eric Anthony Mitchell, μεταπτυχιακό φοιτητή πληροφορικής του Πανεπιστημίου του Στάνφορντ, και την ερευνητική του ομάδα. 

Το έγγραφο DetectGPT, "DetectGPT: καμπυλότητα πιθανότητας," δημοσιεύθηκε τον Ιανουάριο του 2023 και αργότερα παρουσιάστηκε στο ICML 2023.

Το έγγραφο DetectGPT 2023 έγινε σημείο αναφοράς στον τομέα της ανίχνευσης τεχνητής νοημοσύνης.

Ήταν μια εποχή που η δημοτικότητα του ChatGPT βρισκόταν στο απόγειό της και ο κόσμος αγωνιζόταν να ξεχωρίσει την ανθρώπινη γραφή από το κείμενο που παράγεται από μηχανές. 

Κατά κάποιο τρόπο, η DetectGPT έγινε μια πρώτη γραμμή άμυνας για ένα νέο είδος απειλής. Αυτό σημαίνει ότι δεν υπήρχαν ανιχνευτές τεχνητής νοημοσύνης τότε; Λάθος. 

Υπήρχαν μερικά εργαλεία ανίχνευσης, αλλά τα περισσότερα βασίζονταν σε μεγάλο βαθμό σε σύνολα δεδομένων με ετικέτες. Έπρεπε να εκπαιδευτούν σε χιλιάδες παραδείγματα κειμένων τεχνητής νοημοσύνης και ανθρώπινων κειμένων προτού μπορέσουν να κάνουν μια εικασία. 

Η DetectGPT δεν το έκανε. 

Αντί για παραδείγματα αντιστοίχισης προτύπων, βασίστηκε σε μια μαθηματική έννοια που ονομάζεται καμπυλότητα λογαριθμικής πιθανότητας. 

Σκεφτείτε το ως εξής...

• Όταν ένα μοντέλο τεχνητής νοημοσύνης γράφει, έχει την τάση να επιλέγει λέξεις που ταιριάζουν πολύ τέλεια, έτσι ώστε να κάθεται πάντα στο "ασφαλής ζώνη" της πιθανότητας. 
• Η ανθρώπινη γραφή, από την άλλη πλευρά, είναι εκ φύσεως άνιση. Είναι μερικές φορές αδέξια και απρόβλεπτη. 

Το DetectGPT αντιλαμβάνεται αυτή τη διαφορά.

Αυτή η διαδικασία ονομάζεται διαφορά διαταραχών και επιτρέπει στο DetectGPT να κάνει εξαιρετικά ακριβείς κρίσεις χωρίς καμία προ-εκπαίδευση.

Γρήγορα έγινε ένας από τους πιο αξιοσέβαστους και ακαδημαϊκά αναφερόμενους ανιχνευτές τεχνητής νοημοσύνης της εποχής του.

Βασικά χαρακτηριστικά του DetectGPT

Ακολουθούν τα βασικά χαρακτηριστικά του DetectGPT:

• Μηχανή ανίχνευσης μηδενικού πυροβολισμού: Ανιχνεύει κείμενο που έχει δημιουργηθεί από τεχνητή νοημοσύνη χωρίς επανεκπαίδευση για κάθε νέα έκδοση μοντέλου (π.χ. καμπύλη πιθανότητας).
  
• Ταχύτητα και κλίμακα Fast-DetectGPT: Η ενημερωμένη έκδοση, Fast-DetectGPT, επιτρέπει την ταχεία ανίχνευση μεγάλου όγκου που είναι ταχύτερη και αποτελεσματικότερη από την αρχική.
  
• Ίδρυμα Ανοικτού Κώδικα: Δεδομένου ότι το πλαίσιό του διαμοιράστηκε ανοιχτά, οι προγραμματιστές ήταν σε θέση να το αναπαράγουν και να το προσαρμόσουν. Η υλοποίηση του DetectGPT ανοιχτού κώδικα ενέπνευσε πολλά έργα στο github DetectGPT, όπου οι προγραμματιστές συνεχίζουν να δημιουργούν και να βελτιώνουν τα μοντέλα ανίχνευσης και τα API. Σήμερα, το αποθετήριο DetectGPT GitHub αποτελεί πηγή για ερευνητές και προγραμματιστές σε όλο τον κόσμο.
  
• Ισχυρισμοί υψηλής ακρίβειας: Επιτυγχάνει ακρίβεια ανίχνευσης έως και 99%, ξεπερνώντας το αρχικό ακαδημαϊκό κριτήριο αναφοράς των 95% AUROC, όπως τεκμηριώνεται στο έγγραφο DetectGPT.

• Ανίχνευση και αναφορά παρτίδων: Υποστηρίζει μαζική σάρωση εγγράφων (10-50 αρχεία ανά παρτίδα) και παράγει αναφορές PDF με δυνατότητα λήψης για εκπαιδευτικούς και επιχειρήσεις.
  
• Ενσωμάτωση API: Παρέχει ένα απλό API για απρόσκοπτη ενσωμάτωση σε υπάρχουσες πλατφόρμες, εφαρμογές ή ροές εργασίας περιεχομένου.
  
• AI Content Humanizer: Περιλαμβάνει μια πρόσθετη λειτουργία που ξαναγράφει το κείμενο που παράγει η τεχνητή νοημοσύνη ώστε να ακούγεται πιο φυσικό και ανθρώπινο.
  
• Ολοκληρωμένη λογοκλοπή και έλεγχος γεγονότων: Διασταυρώνει το κείμενο για την πρωτοτυπία και την ακρίβεια των γεγονότων για να διασφαλίσει την αξιοπιστία.
  
• Βαθμολόγηση αναγνωσιμότητας: Αξιολογεί και βελτιώνει τη ροή των προτάσεων, τον τόνο και τη σαφήνεια για να βελτιώσει τη συνολική αναγνωσιμότητα.

Πώς λειτουργεί ο ανιχνευτής DetectGPT;

Μπορούμε να έχουμε πρόσβαση στο DetectGPT με δύο τρόπους:

• Εφαρμογή Web
• Επέκταση προγράμματος περιήγησης

Ακολουθεί ο τρόπος με τον οποίο λειτουργούν συνήθως και οι δύο εκδοχές, βήμα προς βήμα:

1. Πρόσβαση στην πλατφόρμα: Μεταβείτε στον ιστότοπο DetectGPT ή βεβαιωθείτε ότι η επέκταση του προγράμματος περιήγησης είναι ενεργή.
   
2. Περιεχόμενο εισόδου: Αντιγράψτε και επικολλήστε το κείμενο στο πλαίσιο εισαγωγής. Εάν χρησιμοποιείτε την επέκταση, απλά πατήστε το πλήκτρο "refresh" ή "σάρωση" ενώ βλέπετε τη σελίδα που θέλετε να αναλύσετε.
   
3. Ξεκινήστε την ανάλυση: Κάντε κλικ στο "Έλεγχος περιεχομένου." Στη συνέχεια, το σύστημα ελέγχει το περιεχόμενό σας με βάση τη μεθοδολογία που περιγράφεται στο έγγραφο DetectGPT 2023.

4. Αποτελέσματα αναθεώρησης: Μέσα σε λίγα δευτερόλεπτα, το DetectGPT εμφανίζει μια βαθμολογία ανάλυσης, συνήθως ένα ποσοστό που δείχνει πόσο πιθανό είναι το κείμενο να έχει παραχθεί από τεχνητή νοημοσύνη. 

Δοκιμή ακρίβειας DetectGPT

Δοκιμάσαμε το DetectGPT χρησιμοποιώντας την ευρέως αναγνωρισμένη μεθοδολογία συγκριτικής αξιολόγησης του ZDNet.

Χρησιμοποιήσαμε τέσσερα μπλοκ δειγμάτων:

1. Τμήμα 1 (Ανθρώπινο, επίσημο) → μια ερευνητική εργασία
2. Μπλοκ 2 (Ανθρώπινα γραπτά, ανεπίσημα) → απόσπασμα από τις επιστολές του Gary Halbert
3. Μπλοκ 3 (Τεχνητή Νοημοσύνη, Βασικό) → ChatGPT 3.5 έξοδος
4. Τμήμα 4 (Δημιουργική προτροπή που παράγεται από την ΤΝ) → λεπτομερές, σύνθετο κείμενο ΤΝ

Αποτελέσματα:

Μπλοκ δείγματος	Αληθινή προέλευση	Ανίχνευση ανίχνευσηςGPT	Σημειώσεις
Μπλοκ 1	100% Ανθρώπινο	21% Μικτή, 0% AI	Λανθασμένη ταξινόμηση ως μερικώς ΤΝ
Μπλοκ 2	100% Ανθρώπινο	11% Μικτή, 0% AI	Ελαφρώς χαρακτηρισμένη ως μικτή
Μπλοκ 3	100% AI	85% Ανθρώπινο, 15% Μικτό	Απέτυχε να ανιχνεύσει την AI με ακρίβεια
Μπλοκ 4	100% AI	14% Μικτή, 0% AI	Λανθασμένη ταξινόμηση ως επί το πλείστον ως ανθρώπινη

Αποτέλεσμα του μπλοκ 1 (Ανθρώπινο, επίσημο)

Αποτέλεσμα του μπλοκ 2 (Ανθρώπινο, ανεπίσημο)

Αποτέλεσμα του μπλοκ 3 (AI-Generated, Vanilla)

Αποτέλεσμα του μπλοκ 4 (AI-Generated, Styled)

Από τα 4 δείγματα, κανένα δεν ταξινομήθηκε σωστά 100%, αλλά 2 (Block 1 & 2) είχαν μικρή μερική αναγνώριση (η "μικτή" ανίχνευση), η οποία μπορεί να θεωρηθεί ως πολύ μικρή μερική επιτυχία.

Ένας δίκαιος, βασισμένος στα δεδομένα τρόπος για να το δηλώσουμε είναι ότι το DetectGPT πέτυχε ~5-10% πρακτική ακρίβεια σε αυτή τη δοκιμή, η οποία είναι ουσιαστικά αναξιόπιστη για επαγγελματική χρήση, παρά τα ελπιδοφόρα αποτελέσματα που παρουσιάστηκαν στην αρχική δημοσίευση του DetectGPT.

Στη συνέχεια, δοκιμάσαμε Μη ανιχνεύσιμο AI χρησιμοποιώντας την ίδια μεθοδολογία συγκριτικής αξιολόγησης ZDNet που εφαρμόστηκε προηγουμένως.

Δείγμα	Πραγματικό	Μη ανιχνεύσιμη ανίχνευση AI	Ακρίβεια
Μπλοκ 1	100% Ανθρώπινο	100% Ανθρώπινο	Σωστό
Μπλοκ 2	100% Ανθρώπινο	100% Ανθρώπινο	Σωστό
Μπλοκ 3	100% AI	99% AI	Σωστό
Μπλοκ 4	AI	86% AI	Σωστό

Μη ανιχνεύσιμο AI ταξινόμησε με ακρίβεια και τα 4 δείγματα. 

Όταν το ZDNet διεξήγαγε τη δική του ανεξάρτητη αξιολόγηση, το Undetectable AI κατατάχθηκε σταθερά μεταξύ των 3 κορυφαίων εργαλείων ανίχνευσης.

Ξεχώρισε ως μία από τις λίγες πλατφόρμες που είναι σε θέση να αναγνωρίζουν σωστά τόσο το περιεχόμενο της τεχνητής νοημοσύνης όσο και το ανθρώπινο περιεχόμενο σε διάφορα στυλ γραφής και επίπεδα πολυπλοκότητας.

Πλεονεκτήματα και μειονεκτήματα του DetectGPT

Ακολουθούν τα πλεονεκτήματα και τα μειονεκτήματα της DetectGPT:

Πλεονεκτήματα	Μειονεκτήματα
Ανιχνεύει κείμενο AI χρησιμοποιώντας καμπυλότητα πιθανότητας. Δεν απαιτείται επανεκπαίδευση για νέα μοντέλα.	Κατά τη δοκιμή, ταυτοποίησε μόνο εν μέρει 2 από τα 4 δείγματα.
Η ανάλυση σε επίπεδο Token την καθιστά 340× ταχύτερη και επεκτάσιμη για χρήση σε πραγματικό χρόνο.	Συχνά χαρακτηρίζει επίσημο ή δομημένο ανθρώπινο κείμενο (όπως ερευνητικές εργασίες) ως παραγόμενο από τεχνητή νοημοσύνη.
Υποστηρίζεται από έρευνα του Stanford και δημοσιεύθηκε στο ICML και στο ICLR μέσω του εγγράφου DetectGPT 2023.	Δυσκολεύτηκε να εντοπίσει το ChatGPT-3.5 και τις δημιουργικά διαμορφωμένες εξόδους GPT.
Η βασική έρευνα και ο κώδικας είναι δημόσια διαθέσιμα μέσω του github DetectGPT και διαφόρων έργων υλοποίησης του DetectGPT ανοικτού κώδικα.	Η ασυνέπεια των επιδόσεων το καθιστά ακατάλληλο για επαγγελματική χρήση στην εκπαίδευση, το SEO ή τις ροές εργασίας συμμόρφωσης.

DetectGPT vs Μη ανιχνεύσιμο AI

Ακολουθεί μια απλή, πρακτική σύγκριση που βασίζεται σε πραγματικά αποτελέσματα δοκιμών και επαληθευμένες επιδόσεις:

Κριτήριο	DetectGPT	Μη ανιχνεύσιμο AI
Βασική λειτουργία	Ανιχνεύει κείμενο AI χρησιμοποιώντας καμπύλες πιθανοτήτων.	Ανιχνεύει και ξαναγράφει κείμενο ΤΝ για να το κάνει πλήρως ανθρώπινο.
Ακρίβεια	Ισχυρίζεται ακρίβεια 95%+, αλλά σημείωσε μόνο περίπου 40-50% στο τεστ τύπου ZDNet.	Κατατάσσεται σταθερά στο Top 3 από το ZDNet, με ακρίβεια 85-90% στον πραγματικό κόσμο.
Ενσωμάτωση	Ανιχνεύει μόνο. Το Humanizer είναι ένα ξεχωριστό, επί πληρωμή πρόσθετο.	Ενσωματωμένος εξανθρωπιστής - εντοπισμός και διόρθωση περιεχομένου σε ένα μέρος.
Ευκολία χρήσης	Απαιτεί χωριστά βήματα για τον έλεγχο και την επανεγγραφή.	Ενιαία ροή εργασίας. Εντοπίστε, εξανθρωπίστε και επαληθεύστε άμεσα.
Τιμή	$15/μήνα για 50.000 λέξεις.	$9,99/μήνα για 10.000 λέξεις (ευέλικτα προγράμματα).

Εξερευνήστε τον AI Detector και τον Humanizer στο widget παρακάτω!

Συχνές ερωτήσεις

Τελική ετυμηγορία

Το έγγραφο DetectGPT εισήγαγε μια έξυπνη, μηδενική μέθοδο που αναλύει πώς "προβλέψιμη" λέξεις σε ένα κείμενο για να εντοπίσετε τη γραφή της AI. 

Αλλά αυτό που λειτουργεί στη θεωρία δεν ισχύει πάντα στην πράξη.

Στις δοκιμές μας, το DetectGPT πέτυχε ακρίβεια μόνο 5-10% στον πραγματικό κόσμο. 

Συχνά χαρακτήριζε τις ερευνητικές εργασίες που είχαν γραφτεί από ανθρώπους ως AI και δεν έβλεπε το προφανές κείμενο που είχε δημιουργηθεί από το ChatGPT. 

Για τους καθηγητές που ελέγχουν τις εργασίες των μαθητών, τους συγγραφείς που προστατεύουν την αξιοπιστία τους ή τις επιχειρήσεις που διατηρούν το περιεχόμενο συμβατό, αυτού του είδους η ασυνέπεια είναι επικίνδυνη.

Δείτε τι πρέπει να γνωρίζετε πριν το χρησιμοποιήσετε:

• Αν είστε ερευνητής ή προγραμματιστής: Ο κώδικας του GitHub είναι ιδανικός για την εκμάθηση ή τη δημιουργία των δικών σας εργαλείων ανίχνευσης τεχνητής νοημοσύνης.
  
• Εάν χρειάζεστε αξιόπιστη ανίχνευση: Η μη ανιχνεύσιμη AI είχε πολύ καλύτερες επιδόσεις σε δοκιμές στον πραγματικό κόσμο. Πέτυχε ακρίβεια έως και 90%, ενώ επιπλέον ξαναγράφει το κείμενο που έχει επισημανθεί ώστε να ακούγεται πλήρως ανθρώπινο, και όλα αυτά με χαμηλότερο κόστος.
  
• Αν μελετάτε την ανίχνευση τεχνητής νοημοσύνης: Το έγγραφο DetectGPT αξίζει ακόμα να το διαβάσετε, αλλά να θυμάστε, το "Ακρίβεια 95%" βασίζεται σε εργαστηριακές δοκιμές και όχι σε αποτελέσματα του πραγματικού κόσμου.

Τα εργαλεία ανίχνευσης της τεχνητής νοημοσύνης βελτιώνονται γρήγορα. Το DetectGPT αξίζει τα εύσημα για την έρευνά του, αλλά όταν η ακρίβεια έχει σημασία, επιλέξτε ένα εργαλείο που έχει δοκιμαστεί και αποδειχθεί εκτός εργαστηρίου.

Δοκιμάστε το Μη ανιχνεύσιμο AI σήμερα για να διασφαλίσετε ότι το περιεχόμενό σας παραμένει αυθεντικό, ανθρώπινο και ανιχνεύεται αξιόπιστα.