Pravděpodobně jste na internetu viděli více fotografií vytvořených umělou inteligencí, než si myslíte.

Někdy je zřejmé, že obrázek byl vygenerován umělou inteligencí, ale se zdokonalováním generativních nástrojů pro tvorbu obrázků a videí je to stále těžší. Nové nástroje, jako např. Nano Banana Proa aktualizace systému OpenAI Model obrazu ChatGPT umožňují uživatelům rychle vytvářet syntetické obrazy, které jsou zrcadlem skutečných obrazů. Předchozí výzkum zjistil, že 85% Američanů říká. deepfakes narušují důvěru na internetu.

Řada nástrojů tvrdí, že dokáže odhalit obrázky vytvořené umělou inteligencí, ale fungují?

Provedl jsem 50 kontrol detekce v pěti nejoblíbenějších detektorech obrázků s umělou inteligencí a zdokumentoval výsledky. Nejenže v tomto článku uvedu všechna data a vysvětlím je, ale na konci také uvedu odkaz na dokumentaci.

Pro tyto testy jsem použil těchto pět detektorů: TruthScan, Umělá inteligence nebo ne, Sight Engine, WasItAIa Winston AI. Testoval jsem tyto nástroje tak, že jsem u každého z nich nechal analyzovat dva obrázky vygenerované programem ChatGPT, šest obrázků vygenerovaných programem Nano Banana a dva obrázky vygenerované programem Midjourney. Použil jsem několik stylů a technik výzvy (které podrobněji popíšu později, až budu rozebírat jednotlivé analyzované obrázky).

Všech pět detektorů mělo za úkol rozpoznat obrázky vytvořené umělou inteligencí v kategoriích, jako jsou podvody, dezinformace, obecné fotografie a deepfakes. Není překvapením, že ne všechny detektory si vedly dobře. TruthScan byl jediným detektorem, který důsledně klasifikoval veškerý obsah, který jsem odeslal, na 97% nebo vyšší.

AI or Not si vedla také velmi dobře. Ačkoli AI or Not klasifikoval více položek generovaných umělou inteligencí s jistotou nižší než 90%, byl během mých testů druhým nejpřesnějším a nejkonzistentnějším detektorem po detektoru TruthScan. I tam, kde AI or Not selhával, nebyla tato selhání katastrofální, ale stále je co zlepšovat.

Ostatní detektory obrazu s umělou inteligencí, které jsem vyzkoušel, si vedly mnohem hůře. Například Sight Engine chybně klasifikoval 3 obrázky AI související s podvody jako autentické.

Nyní vám ukážu každý obrázek (z deseti, které jsem vygeneroval), vysvětlím, jak jsem ho vytvořil, a ukážu, jak ho každý model hodnotil.

#1. "Man On a Ledge" (generováno ChatGPT)

Podle mě (a denně vidím spoustu obsahu vytvořeného umělou inteligencí) vypadá obrázek na první pohled docela přesvědčivě. Kdybyste klikli na něčí profil na sociálních sítích, prošli si jeho kanál a uviděli tento obrázek, poznali byste ho okamžitě jako podvrh vytvořený umělou inteligencí? Abych byl spravedlivý, snažil jsem se být při zadávání podnětu kreativní. Tady je ta, kterou jsem použil k vygenerování tohoto obrázku:

---

“Vytvořte mi fotografii ve stylu momentky, na které stojí muž na střeše a dívá se dolů na ulici, je noc, je osvětlen bleskem fotoaparátu, pod ním jsou světelné stopy od aut, za ním stojí žena s rukou na rtech a usmívá se, estetika fotografie je jako fotografie pořízená na momentku v roce 2009 kamarády z vysoké školy.“

---

Bez ohledu na to, jak kreativní jsem byl nebo kolik detailů jsem do své výzvy zahrnul, programy TruthScan a Sight Engine stále správně klasifikovaly výstup jako generovaný umělou inteligencí. Detektor AI or Not se k tomu přiblížil, ale stále se netrefil.

Winston a WasItAI se naprosto mýlili - klasifikovali obraz ChatGPT jako skutečný.

#2. "Falešná účtenka" (generovaná programem ChatGPT)

Chtěl jsem pomocí aplikace ChatGPT vygenerovat falešnou účtenku, abych zjistil, jak realisticky bude vypadat. Možná jste si všimli, že na obrázku chybí legitimní adresa, ale textura přesto vypadá mírně realisticky. Řekl bych, že tento obrázek je méně přesvědčivý než první, který jsem nechal vygenerovat ChatGPT, přesto většina detektorů při jeho analýze stále tankovala.

• Ze všech kontrol, které jsem na tomto obrázku provedl, TruthScan byl nejpřesnější.
• Sight Engine zde opravdu selhala a prokázala špatný úsudek o snímku AI souvisejícím s dokumenty.
• Umělá inteligence nebo ne si v této druhé analýze vedl výrazně lépe.
• Winston AI si vedl nejhůře a WasItAI také zcela selhala.

Vzhledem k tomu, že tento obrázek je spojen s kategorií podvodů, je znepokojující, že většina detektorů jej klasifikovala chybně.

Výzva, kterou jsem použil k vygenerování obrázku

---

“Vygenerujte obrázek účtenky z obchodu Best Buy, na které je napsáno, že celková utracená částka je jedna miliarda dolarů, a je na ní skvrna od kávy.“

---

Je jasné, že jsem napsal rychlou a jednoduchou výzvu. Přesto je kvalita výstupu ChatGPT vizuálně přesvědčivá i pouhým okem. Zdá se, že pro dva z pěti detektorů, které jsem testoval, už tak přesvědčivá není.

#3: "Nebezpečný balíček" (vytvořený pomocí Nano Banana)

Namísto toho, aby Nano Banana vygenerovala původní obrázek, zadal jsem jí jeden, který má změnit.

Cílem bylo ukázat, jak může někdo snadno pomocí umělé inteligence vytvořit falešné důkazy a tvrdit, že obdržel poškozený/nebezpečný balíček. Nejprve jsem vyfotil iPhonem 15 prázdný balíček Amazonu, který jsem našel.

Tady je fotka, kterou jsem pořídil:

Poté jsem pořízenou fotografii nahrál do aplikace Nano Banana a zadal jí následující příkaz:

---

“Chci, abyste tuto fotografii upravili, nic neměňte, kromě místa, kde je štítek, přidejte k němu poškození a přidejte černé kalové skvrny na krabici, které vypadají skutečně jako mastné skvrny.“

---

Výstup Nano Bana:

Olejovitý kal, který Nano Banana na výstupu vytvářela, měl přesvědčivý špinavý lesk a působil promáčeným dojmem - vůbec ne kresleným. Naštěstí většina detektorů, kterými jsem obrázek prohnal, jej správně označila za podvrh. Jediným vybočujícím detektorem byl Winston, který opět podal špatný výkon a obrázek nesprávně klasifikoval jako autentický. Nejpřesněji tento obrázek odhalily detektory AI or Not, TruthScan a WasItAI.

Je znepokojující, jak jednoduché se zdá nahrát obrázek do chatbota a nechat ho zcela změnit. Dokážu si představit, že podvodníci a překupníci používají nástroje pro generování obrázků, aby se pokusili o podvodné reklamace vrácení zboží nebo se zapojili do podvodů na trhu.

Pokud platformy pro elektronické obchodování vyžadují jako důkaz pro zahájení reklamace poškozeného balíku pouze obrázek, pak jsou bez spolehlivého způsobu, jak zjistit manipulaci s umělou inteligencí, vystaveny významnému vektoru útoku. Například oficiální stránka společnosti Amazon zásady vracení zboží doslova uvádí, “Nebezpečné látky, včetně hořlavých kapalin nebo plynů, se nevracejí..”

Pokud byste tedy skutečně obdrželi zásilku pokrytou olejem nebo mastným černým kalem, nemuseli byste ji vracet, ale mohli byste dostat zpět peníze. Pokud by se vám to z nějakého důvodu skutečně stalo, Amazon by pravděpodobně požadoval důkaz v podobě fotografie. Chápete, jaký problém mohou představovat obrázky generované umělou inteligencí, když jsou k nerozeznání od skutečných?

#4. "Cockroach Meal" (generováno pomocí Nano Banana)

Další obrázek umělé inteligence vás možná připraví o chuť k jídlu. Jak se ukázalo, existují zdokumentované případy, kdy lidé pomocí umělé inteligence přijímali podvodné náhrady o aplikacích na rozvoz jídla. Při čtvrtém testu jsem postupoval stejně jako při třetím testu. Tentokrát jsem si vyfotil prázdnou krabici po obědě.

Zde je skutečný obrázek:

Poté jsem do aplikace Nano Banana vložil skutečnou fotografii, kterou jsem pořídil, a zadal jí následující příkaz:

---

"Upravit tento obrázek. Nic neměňte, jen přidejte nudle do místa, kde je fólie, a přidejte do jídla hromadu malých švábů. Ať to všechno vypadá realisticky a ne kresleně."

---

Výstup nano banánů:

Nástroj TruthScan opět s jistotou detekoval média generovaná umělou inteligencí. Sight Engine a WasitAI zcela selhaly. Detektor AI or Not byl při skenování tohoto obrázku AI druhý nejpřesnější (s jistotou 85% AI) a Winston si vedl lépe než ve třetím testu (s jistotou 72% AI).

Na tomto snímku byly všechny nudle a švábi vytvořeny výhradně umělou inteligencí, přesto se zdálo, že dva z detektorů si to nemyslí, a pouze jeden (TruthScan) si byl nad 90% jistý manipulací umělé inteligence.

Znepokojující bylo, jak jednoduché bylo vytvořit tento falešný obraz. Od nahrání fotografie, kterou jsem pořídil, přes výzvu Nano Banana až po získání výstupu to trvalo jen asi 2 minuty. Noční můra pro aplikace na rozvoz jídla; sen pro hladové lháře. Faktor podvodu.

ZVEŘEJNĚNÍ: Některé z obrázků generovaných umělou inteligencí, které byly zahrnuty do následujících testů, měly demonstrovat, jak mohou být obrázky umělé inteligence použity k dezinformaci. Obsahují kontroverzní snímky a citlivá témata, a NEJSOU určeny k reprezentaci konkrétních politických názory nebo ideologie.

#5. "Autovandalismus" (generováno pomocí Nano Banana)

Na internetu jsem našel skutečný obrázek auta na prodej. Docela všední. Ale co kdyby někdo chtěl tento obrázek použít k šíření dezinformací nebo k podání falešné pojistné události? Generativní umělá inteligence to bohužel umožňuje snadno a rychle.

Pro tento pátý test jsem vzal skutečný obrázek auta a zadal Nano Banana následující výzvu:

---

“Na autě nic neměňte, jen na něj přidejte barvu ve spreji s nápisem "Svobodná Palestina" a prasklé čelní sklo. Přední světla jsou rozbitá, zrcátko je rozbité a visí dolů a dvě okna na boku auta jsou rozbitá. rozbité.”

---

Zde je skutečný obrázek:

Obrázek Nano Banana AI:

Výsledky detektorů pro tento výstup byly smíšené. V tomto testu dosáhl WasItAI (překvapivě) nejvyššího skóre detekce AI (99%). TruthScan měl druhé nejvyšší skóre (97%). Sight Engine výrazně selhal při detekci syntetických prvků v obrázku a Winston si vedl nejhůře ze všech detektorů (přiřadil šanci na zapojení menší než 1%). AI or Not si vedl dobře, ale přesnost byla stále nižší než 90%.

Promluvme si o obrázku. Dva nejznepokojivější aspekty takového obsahu vytvořeného umělou inteligencí nebo pozměněného obsahu spočívají v tom, že oba zahrnují klamání. Za prvé, použití umělé inteligence k úpravě běžných obrázků za účelem vytvoření politicky podbarveného obsahu je rychlé, snadné a vypadá reálně. Ať už ti, kdo tento typ obsahu vytvářejí, usilují pouze o angažovanost, nebo jsou politickými provokatéry, problém je v tom, že jde o falešné informace, které jsou prezentovány jako autentické.

Druhým způsobem, jak lze podobné nástroje pro generování obrázků zneužít, je podvod. Pokud chce podvodník podat falešnou žádost o pojištění auta, musí předložit falešné důkazy. Místo toho, aby trávili hodiny ve Photoshopu úpravami obrázků a upravováním důkazů, mohou použít generátory obrázků k rychlé výrobě falešných důkazů.

V příkladu s umělou inteligencí výše si všimněte, jak by podvodník mohl použít podobný postup k podání falešné žádosti podle společnosti Progressive. Politika komplexního krytí, která se konkrétně vztahuje na:

• Rozřezané nebo poškozené pneumatiky
• Rozbitá okna, přední nebo zadní světla
• Poškození laku ve spreji
• Promáčkliny nebo škrábance od někoho, kdo vám odemkne auto klíčem.
• Přidávání cukru nebo jiných látek do nádrže na benzin

Předkládání falešných důkazů je samozřejmě nejen klamavé, ale také zcela nezákonné. V ideálním světě by nikdo neporušoval zákon, ve skutečnosti se však trestné činy dějí každý den. A bez spolehlivého odhalení hrozí, že automobilové pojišťovny budou ošizeny o miliony, protože podvodných pojistných událostí s využitím umělé inteligence přibývá.

#6. "Soda Musk a Don" (generováno pomocí Nano Banana)

Pro tento test jsem opět použil Nano Banana a cílem bylo předvést falešné, politicky nabité snímky s hloupějším podtextem. Programy TruthScan, Sight Engine a AIorNot označily vygenerovaný obrázek s hodnocením 99% detekce AI. WasitAI si nebyl tak jistý - detekoval obrázek vygenerovaný AI s jistotou pouze 86%. A Winston zcela selhal a přiřadil AI skóre 0,2%. Pro vygenerování obrázku jsem zadal Nano Bananovi tuto výzvu:

---

“Vygenerujte fotku Elona Muska, jak si vylévá velký kelímek limonády jako Big Gulp na košili a vyšiluje, zatímco vedle něj sedí rozesmátý Donald Trump. Jsou v tryskovém letadle. To je ta scéna. A fotka by měla vypadat realisticky, jako by byla pořízena fotoaparátem na momentky, a měla by obsahovat artefakty, jako je blesk fotoaparátu odrážející se od okna letadla a mimo letadlo. Je noc. Měla by vypadat hyperrealisticky.“

---

Kdykoli některý z těchto programů nedokáže rozpoznat umělou inteligenci, označí ji za pravou. Jakkoli je tento příklad obrázku z testu hloupý, není nic vtipného na tom, když si myslíte, že deepfake je pravý.

#7. "Still Alive" (generuje Nano Banana)

Připadá vám tento obrázek znepokojivý? K vytvoření tohoto deepfake jsem použil Nano Banana a dal mu svůj obrázek. Poté jsem mu zadal dlouhou výzvu, která mě měla dostat do situace, která naznačuje, že jsem byl unesen. Možná je to proto, že tato fotografie ukazuje já v kompromitující pozici. Co kdyby někdo něco takového vyrobil, poslal to mé matce a vyhrožoval, že mi ublíží, pokud mu nepošle peníze? Děsivé věci.

(Úplnou výzvu, kterou jsem k tomu použil, najdete v úplném souboru testovacích dat na konci tohoto článku.)

Naštěstí pro tento snímek, přestože vypadá velmi realisticky, tři z pěti detektorů je identifikovaly jako vytvořené umělou inteligencí.

AI or Not dosáhla silného skóre 99%, TruthScan 97% a Sight Engine 95%. Bohužel Winston a WasItAI klasifikovaly obrázek jako skutečný.

Měl bych upřesnit, že tyto testy nebyly provedeny na mém osobním účtu Gemini. Nano Banana mě nikdy nepožádala, abych prokázal, že jsem osoba na obrázku. Kdokoli si mohl stáhnout moji fotografii z internetu, vložit ji do programu Nano Banana a nechat jej vytvořit tento typ obrázku.

#8. "Abuse of a Ben" (generováno pomocí Nano Banana)

Seznamte se s Benem. Většinu času tráví řízením různých oddělení ve společnostech, ve kterých pracuje. Na obrázku výše je Benova (skutečná) švihácká firemní fotografie. Pokud to nepoznáte, Ben je profesionál. Ať už má jakékoli politické názory, nechává si je pro sebe a jeho pracovní rozhovory se týkají jen práce. Kdykoli však může být Benova podobizna použita k šíření politické propagandy nebo zpráv bez jeho souhlasu.

V poslední době se hodně píše o tom, jak se na internetu šíří videa generovaná umělou inteligencí, která zahrnují agenty ICE a protesty. Na základě všech dosavadních testů jsem dospěl k závěru, že vytvořit falešnou politickou propagandu pomocí AI je opravdu snadné. Rozhodl jsem se testovat znovu, tentokrát s využitím Bena.

S Benovým svolením jsem použil jeho fotku hlavy k vytvoření deepfake. Zde je obrázek vytvořený umělou inteligencí, který vytvořila společnost Nano Banana:

Trvalo to třicet sekund. Stačilo přetáhnout jeho fotku hlavy do Gemini a vyzvat ho, aby "zvedl nápis "Zrušte ICE"". Výstup z Nano Banana není tak fotorealistický jako ostatní, ale stále vypadá dostatečně autenticky, aby byl přesvědčivý.

Naštěstí čtyři z detektorů přesně identifikovaly obraz: TruthScan (99% AI), Was It AI (99% AI), Sight Engine (97% AI) a AI or Not (97% AI). Winston AI neuspěl a přidělil pouze skóre 5% AI.

#9. "Club Void" (generuje Midjourney)

Výše uvedený obrázek jsem vygeneroval pomocí aplikace Midjourney. Čím více jsem se na něj díval, tím více mě zneklidňoval. Estetika je temná a strašidelná. Zdá se, že zpoza objektu vystupuje stínová přítomnost. K vytvoření tohoto obrázku jsem použil funkci estetického odkazu aplikace Midjourney a jednoduše jsem mu zadal, aby to byla "dívka stojící v klubu a usmívající se. Ukázal jsem obrázek několika lidem a všichni si mysleli, že je skutečný.

Většina detektorů označila obrázek jako vytvořený umělou inteligencí. Programy TruthScan a Sight Engine jej označily skóre AI 99%, AI or Not 89%.

WasItAI si nebyl tak jistý jako detektory a klasifikoval snímek pouze s výsledkem 70% AI.

Detektor Winston AI naprosto selhal a udělil snímku skóre 1,56% AI.

#10 "Ice Box" (vygeneroval Midjourney)

Tento obrázek jsem vytvořil stejnou metodou uprostřed cesty jako v předchozím testu. Tentokrát bylo cílem vytvořit něco trochu tmavšího. Nejpřesnějším detektorem byl TruthScan, který snímek označil jako 99% AI. Programy Sight Engine a AI or Not oba správně detekovaly obrázek. Winston AI zcela selhal a WasItAI měl mnohem nižší skóre spolehlivosti než TruthScan, Sight Engine a AI or Not.

Měl bych říct, že v tomto případě by se mnou vytvořený obrázek dal použít nebo zarámovat dvěma způsoby. Na jedné straně by někdo mohl použít tento (nebo jakýkoli jiný typ média s politickou tematikou/občanskými nepokoji) v nějakém uměleckém nebo tvůrčím projektu, aby učinil prohlášení. V takovém případě se riziko zdá být nižší. Hlavní obava, kterou mám v souvislosti s touto kategorií médií generovaných umělou inteligencí, spočívá v tom, že je používají nekalé osoby, které tvrdí, že jsou skutečné.

Rekapitulace a výsledky: Nejlepší detektory obrazu s umělou inteligencí

Dobře, takže teď, když jsme zobrazili všechny testy, si je shrneme: Vygeneroval jsem 10 obrázků umělé inteligence

• Použil jsem ChatGPT, Nano Banana a Midjourney k vygenerování 10 obrázků AI.
• Otestoval jsem pět detektorů obrázků AI tak, že jsem jimi nechal projít všechny obrázky AI, které jsem vygeneroval.
• Detektor TruthScan prošel všemi testy a byl nejpřesnějším detektorem. AI or Not prošel 8 z 10 testů, což ukazuje na určitou spolehlivost. Sight Engine neprošel 3 z 10 testů a prokázal celkově spornou přesnost. Was It AI neuspěl ve 4 z 10 testů a jeho přesnost byla celkově nízká. Winston AI byl nejméně přesným detektorem obrázků AI, prošel pouze 3 z 10 testů a neustále špatně klasifikoval obrázky.

Závěrečné poznámky a údaje

Celkem jsem při psaní tohoto článku a důkladném testování strávil 25 hodin. Multimodální nástroje pro detekci UI se stále vyvíjejí, ale je jasné, že některé jsou přesnější než jiné. Po otestování všech nástrojů je nejpřesnější nástroj TruthScan. Detektor obrazu AI. Testy mluví samy za sebe.

Pokud byste chtěli získat přístup ke kopii CSV dat z testování, které jsem provedl v tomto článku, můžete ji nalézt zde. Tabulka dat, na kterou jsem odkázal, obsahuje všechny původní výzvy a výsledky detekce z testů uvedených v tomto článku.