Jak dobře dokážou AI detektory klasifikovat obsah?

Většina nástrojů pro generování obsahu pomocí umělé inteligence je založena na jazykových modelech GPT, které poskytuje OpenAI. Proto jsou modely, které se používají při vytváření obsahu, do jisté míry podobné. Nyní můžeme vytvářet, vylepšovat nebo upravovat texty nejen přímo v aplikaci ChatGPT, ale také v dokumentech notion.so nebo pomocí doplňku Grammarly.

V současnosti je stále větší množství obsahu, který je publikován online, vytvářen umělou inteligencí nebo s její pomocí. V důsledku toho se objevují nové způsoby ověřování původu obsahu: AI detektory. Rozhodli jsme se prozkoumat jejich spolehlivost a míru důvěryhodnosti.

Jak fungují AI detektory?

Nástroje pro detekci AI obsahu jsou v podstatě založeny na nových jazykových modelech, které byly vytrénovány na rozlišování mezi texty napsanými lidmi a texty vytvořenými umělou inteligencí. Tyto nástroje určují svá pravděpodobnostní hodnocení na základě perplexity (měření náhodnosti) a burstiness (měření variability perplexity) textu. Lidé mají tendenci psát s větší náhodností – například často střídáme delší věty s kratšími, méně složitými. Detektory obsahu s umělou inteligencí identifikují tyto charakteristiky prostřednictvím tréninku na milionech vzorových textů, které byly dříve kategorizovány jako napsané člověkem nebo AI.

Přestože modely umělé inteligence jako ChatGPT a jiné nástroje založené na GPT dokážou generovat obsah v různých jazycích, většina ověřovacích nástrojů podporuje především anglický jazyk. Jak tedy ověřit obsah v jiných jazycích?

Jednou z metod je například ověřování textů, které byly automaticky přeloženy nástroji, jako jsou DeepL nebo Google Translate. Je však nutné si uvědomit, že i tato metoda překladu vkládá do textů určité vzory, podle kterých jsou automaticky přeloženy, což ovlivňuje výsledné vyhodnocení detektoru. Některé detektory jsou ochotny ověřovat obsah v jiných jazycích i přesto, že jejich oficiální podpora je omezena pouze na angličtinu.

Každý detektor má také svá omezení týkající se délky obsahu, který může ověřit, ty závisí na tom, zda si vyberete bezplatnou nebo placenou verzi. Kromě toho používají různé metody hodnocení původu obsahu; některé detektory poskytují procentuální hodnotu, tzn. na kolik procent byl podle jejich vyhodnocení text vytvořen konkrétním zdrojem, zatímco jiné používají slovní hodnocení nebo binární škálu: ano nebo ne.

Nástroje, které jsme ověřili

Z množství řešení, která jsou dostupná na trhu, jsme si vybrali čtyři nejpopulárnější nástroje a otestovali je na vzorku 20 textů. Vybrali jsme 10 textů napsaných lidmi a 10 textů vytvořených AI, abychom vyhodnotili, jak by je tyto detektory klasifikovaly.

Do skupiny klasicky psaných textů jsme zařadili články, které byly kompletně napsány copywritery, (některé z nich byly napsány před rokem 2021, což vylučuje účast umělé inteligence na jejich psaní), úryvky z literatury (včetně dětských knih), zpravodajské články a instruktážní příručky. Obsah vytvořený umělou inteligencí zahrnoval úryvky z literatury vytvořené pomocí AI, například The Inner Life of an AI: A Memoir by ChatGPT a Bob the Robot, jakož i články vytvořené pomocí AI (včetně těch, které již byly publikovány online, ale navíc i ty, které byly čerstvě vytvořeny pomocí GPT-3.5 a GPT-4). Do analyzovaného vzorku obsahu jsme zahrnuli také polské texty spolu s jejich překlady pomocí DeepL a Google Translate. Všechny testy se uskutečnily na stejných fragmentech textu a vzhledem k rozdílným metodám klasifikace jsme výsledky zkoumali na základě jednotlivých nástrojů.

Níže uvádíme kompilaci textů napsaných copywritery:

A zde naleznete texty, které vytvořila umělá inteligence:

AI Text Classifier od OpenAI

AI Text Classifier od společnosti OpenAI, tvůrců modelů GPT, je nejpopulárnějším nástrojem pro detekci obsahu vytvořeného umělou inteligencí. Svá zjištění vyhodnocuje a vyjadřuje v podobě pravděpodobnosti, zda byl analyzovaný text vytvořen umělou inteligencí či nikoli. Využívá přitom celou řadu kategorií: „velmi nepravděpodobné“, „nepravděpodobné“, „není to jasné“, „pravděpodobné“ a „pravděpodobně vytvořené AI“. Jak můžete vidět, tato stupnice nabízí dostatečnou míru nuancí. Samotná společnost OpenAI v popisu nástroje uvádí, že výsledky nemusí být vždy přesné a to, že detektor může potenciálně nesprávně klasifikovat obsah vytvořený AI a obsah napsaný člověkem. Je důležité uvést, že model použitý pro trénování nástroje AI Text Classifier nezahrnoval studentské písemné práce, takže se nedoporučuje k ověřování takového typu obsahu.

Z 10 textů napsaných člověkem, nástroj AI Text Classifier správně určil 9 textů jako „velmi nepravděpodobné“ nebo „nepravděpodobné“, že byly vytvořeny pomocí AI. Větší problémy však má s kategorizací textů vytvořených AI. V tomto případě, AI Text Classifier často určil text vytvořený pomocí AI jako „není to jasné“, „nepravděpodobně vytvořený AI“.

Nástroj Originality.ai

Další populární a často používaný nástroj pro ověřování obsahu vytvořeného pomocí AI se nazývá Originality.ai. Jeho tvůrci tvrdí, že má efektivnost 95,93 %. Je to jediný nástroj na našem seznamu, který je zpoplatněn a účtuje si 0,01 dolaru za každých 100 ověřených slov. Nejmenší balíček stojí 20 dolarů. Kromě ověřování původu obsahu Originality.ai kontroluje i na plagiátorství.

Tento detektor využívá procenta k vyjádření jistoty, jakým způsobem byl obsah vytvořen. Original skóre 66 % neznamená, že text je z 66 % napsaný člověkem a z 34 % umělou inteligencí, ale spíše to, že tento nástroj si je na 66 % jistý, že obsah vytvořil člověk. Originality.ai vám zvýrazní červenou barvou ty části, o kterých se domnívá, že byly vytvořeny AI, a zelenou barvou takové části, o kterých je přesvědčen, že jsou výtvorem člověka. Zajímavé je to, že v textech, které byly nakonec kategorizovány jako napsané člověkem, je často většina nebo alespoň polovina obsahu zvýrazněna červenou barvou.

Originality.ai má někdy problém definitivně klasifikovat obsah psaný člověkem. Ze všech ověřených fragmentů byl pouze jeden ohodnocen se 100% jistotou jako napsaný člověkem. Výsledky pro zbývající texty se pohybovaly od 52 % do 92 % jistoty, že jde o obsah vytvořený člověkem.

Nástroj však o něco lépe ověřoval obsah vytvořený AI; v 7 z 10 textů byla jistota 100 % nebo 99 %, že obsah byl vytvořen umělou inteligencí. Pochybnosti se objevily tehdy, když šlo o obsah vytvořený AI v polštině a následně přeložený do angličtiny. Přestože článek byl vygenerován jedním ze starších modelů GPT (a byl zveřejněn na blogu ještě v září 2022) a obsahoval poměrně mnoho stylistických chyb, nástroj Originality.ai měl 92% jistotu, že polskou verzi článku napsal člověk. Když však pokračovaly další překlady, rovnováha se naklonila ve prospěch umělé inteligence: Originality.ai si byl na 57 % jistý, že obsah přeložený na DeepL byl vytvořen umělou inteligencí, a na 85 % jistý v případě verze Google Translate.

Text, který dělal nástroji Originality.ai největší problémy, byl článek z populární stránky Bankrate.com, kde obsah generuje AI a ověřují jej lidé. Šlo o jediný případ, kdy si byl tento nástroj na 88 % jistý, že článek napsal člověk, i když byl ve skutečnosti vytvořen pomocí umělé inteligence. Zdá se tedy, že klíč k „oklamání“ Originality.ai spočívá právě v pečlivé úpravě textů.

CopyLeaks

Celkové hodnocení obsahu v nástroji CopyLeaks je binární; možné výsledky jsou „Toto je text vytvořený člověkem“ a „Zjištěný AI obsah“. Podrobné ověření konkrétních segmentů lze zobrazit jen po přejetí kurzoru nad text. Nástroj vám pak ukáže pravděpodobnost, zda vybraný odstavec napsal člověk nebo AI.

Z deseti textů napsaných člověkem zjistil CopyLeaks ve dvou z nich obsah vytvořený pomocí AI. Pokud jde o obsah vytvořený umělou inteligencí, ten nástroj vyhodnotil podobně, buď byl vytvořen člověkem, nebo umělou inteligencí. Výsledky proto nejsou příliš spolehlivé a mohly by se také považovat za nepoužitelné. Je však překvapující, jak „citlivý“ je CopyLeaks na změny. V ověřovaných případech stačila jednoduchá změna vstupní výzvy nebo např. doplnění informace o čísle a názvu kapitoly, aby se výsledek hodnocení zcela změnil.

Content at Scale - AI DETEKTOR

Content at Scale primárně slouží jako nástroj pro automatické generování obsahu, přičemž funkce ověřování textů slouží jako doplňková funkce. Tvůrci nástroje tvrdí, že texty generované jejich systémem jsou nerozpoznatelné AI detektory. To vyvolává otázku: byl tento detektor navržen tak, aby potvrdil efektivnost jejich vlastního generátoru?

Společnost na své webové stránce poskytuje vzorový ukázkový text generovaný nástrojem Content at Scale. Podle jejich vlastního detektoru byl tento text vyhodnocen s 95% pravděpodobností, že byl napsán člověkem. Pro srovnání, nástroj AI Text Classifier usoudil, že je nepravděpodobné, že by šlo o text vytvořený AI. Nástroje Originality.ai a CopyLeaks se však nedaly tak snadno oklamat. Originality.ai ohodnotil text jako 100% vygenerovaný AI, zatímco CopyLeaks zjistil AI obsah. Jak lze vidět, různé detektory nabízejí opravdu různé perspektivy a výsledky.

Detektor Content at Scale si však vedl docela dobře při zjišťování obsahu napsaného člověkem. Při počtu 9 z 10 ověřených úryvků, pravděpodobnost, že jsou napsány člověkem, překročila 90 %.

Více se však tento nástroj potrápil s obsahem generovaným AI; v 6 z 10 případů ohodnotil texty jako vytvořené lidmi, ale i AI. Zbytek byl nesprávně určen jako napsaný člověkem.

Oklamání AI detektorů

Obsah generovaný AI se neobjeví online jen tak z ničeho nic. Prompty, na jejichž základě se generuje žádaný obsah, vždy vytváří člověk. Vyplývá z toho otázka: můžeme vymyslet způsoby, jak oklamat detektory AI obsahu a vytvářet obsah, který by unikl jejich detekčním schopnostem?

Internet je plný různých triků k vytvoření neodhalitelných promptů. Jedním z nich je například vysvětlit chatbotovi pojmy „perplexity“ a „burstiness“. Cílem je usměrnit umělou inteligenci tak, aby tyto faktory zohledňovala při generování nového textu. Abychom to sami otestovali, zadali jsme chatbotovi poháněnému modelem GPT-4 úkol vypracovat článek o nejlepších místech na lezení v okolí Paříže.

Výsledky byly opravdu zajímavé. Porovnali jsme výsledek originální verze textu a druhého pokusu, kde jsme pak chatbotovi objasnili kritéria hodnocení a usměrnili ho, jak má daný obsah působit lidštěji.:

Jediným nástrojem, který nebyl oklamán, byl Originality.ai. V obou případech jsme však úspěšně oklamali AI Text Classifier, který dospěl k závěru, že pravděpodobnost, že oba obsahy byly vytvořeny AI, byla nízká. Zajímavé je, že nástroje Content at Scale a CopyLeaks změnily své názory poté, co ChatGPT-4 vytvořil text, přičemž zohlednily pokyny k perplexity a burstiness.

Co způsobuje, že detektory jsou nespolehlivé?

Tyto detektory jsou navrženy tak, aby vyhledávaly předvídatelné prvky obsahu, známé jako perplexita. Čím je předvídatelnost nižší, tím větší je šance, že text byl napsán klasickým způsobem: člověkem. Avšak malé změny v promptech zadaných do chatbota, jako je ChatGPT, mohou přinést úplně jiný výsledek. Rovněž i drobné změny v kontrolovaném textu, (které mohou jen nepatrně změnit jejich významy), mohou změnit výsledné hodnocení, které tyto nástroje poskytnou.

Vezměme si například dětskou knihu Bob the Robot, která byla z 80 % vytvořena pomocí AI. Vydavatel připsal 20 % tvorby a úpravy knihy člověku. Úryvkem, který jsme ověřovali z hlediska způsobu vytvoření knihy, byla její první kapitola, která obsahovala 276 slov. V podstatě jsme dvakrát ověřovali tentýž text, jen s drobnou změnou: před obsah kapitoly jsme přidali text „Kapitola 1: Hvězdné město“. Následkem toho však nástroj Copyleaks.com zcela změnil své hodnocení původu knihy. V originálním textu kapitoly nástroj zjistil obsah vytvořený AI, ale tentýž text s informací o čísle a názvu kapitoly považoval za vytvořený člověkem.

Jak detektory reagují na přeložený obsah? Jako příklad jsme použili obsah napsaný copywriterem bez pomoci AI. Článek byl napsán v polštině. Přestože některé detektory tento jazyk nepodporují, i tak se pokusily ověřit jeho obsah bez označení chyb. Výsledky poskytnuté službou Originality.ai ukázaly při ověřování polského textu 77% jistotu, že obsah napsal člověk. Při překladu téhož textu pomocí překladače DeepL poskytl nástroj jen 67% jistotu, že jej napsal člověk. Tato jistota detektoru klesla až na 36 %, když byl text přeložen pomocí překladače Google Translate.

Zajímavostí je to, že nástroj CopyLeaks, který oficiálně podporuje obsah v polštině, správně klasifikoval všechny verze. Pravděpodobnost, že většinu textu napsal člověk (přičemž je třeba mít na paměti, že nástroj hodnotí jednotlivé části textu samostatně), byla 99,9 % pro polskou verzi, 89,8 % pro překlad od DeepL a 90,2 % pro verzi od Google Translate. Přestože rozdíly jsou malé, je zajímavé sledovat, že překlad od společnosti Google byl považován za bližší stylu psaní člověkem než druhý překlad od DeepL, který byl klasifikován jako AI text podle nástroje Originality.ai.
 

V čem se AI detektory obsahu liší od lidí?

Výzkumníci na Pensylvánské univerzitě ze School of Engineering and Applied Science zkoumali, jak lidé rozeznávají obsah vytvořený umělou inteligencí.
Dokážeme rozeznat rozdíly, a jaké faktory při posuzování bereme v úvahu?


Zdroj obrázku

U různých typů obsahu se zaměřujeme především na relevanci, která má obvykle nejsilnější vliv na naše hodnocení. V rámci obsahu vytvořeného AI zjišťujeme také chyby vyplývající z nedostatku logiky na základě zdravého rozumu, kterou AI nástroje nedokážou ověřit, a přítomnost protichůdných segmentů.

AI detektory zakládají svá hodnocení především na předvídatelnosti a náhodnosti textu, přičemž neberou v úvahu mnohé další faktory, na které upozornili účastníci studie. Vyzkoušeli jsme tento experiment sami na článku vytvořeném AI v září 2022, tedy ještě předtím, než se ChatGPT stal známým. Článek byl na jedné straně plný stylistických chyb, nelogických vět a nešikovných formulací, ale na druhé straně byl skutečně „originální“ a nápadně náhodný.

Text byl původně v polštině, proto jsme zopakovali proces automatického překladu prostřednictvím webových stránek DeepL a Google Translate. Pro jistotu jsme přezkoumali i originální text (prosím, berte v úvahu, že ne všechny nástroje podporují polštinu, ale i tak provádějí její hodnocení).

Zde jsou výsledky experimentu:

Z celkového experimentu vyplývá, že nástroj Originality.ai zvládl úlohu vyhodnotit přeložený text nejlépe, ale jeho výsledky nebyly jednoznačné. Mějte na paměti, že proces automatického překladu může do obsahu vnést „nepřirozené“ prvky, což může částečně vysvětlovat zvýšenou pravděpodobnost vnímání obsahu jako textu vytvořeného AI.

Závěr

Paradoxem nástrojů pro detekci obsahu vytvořeného AI je to, že jsme natolik skeptičtí vůči kvalitě textů vytvořených umělou inteligencí, že k jejich detekci potřebujeme další nástroj založený na umělé inteligenci. Zásadní otázky, které bychom si měli v tuto chvíli položit, jsou: Můžeme s naprostou jistotou určit, jak byl obsah vytvořen? Pokud je článek dobře napsaný a neobsahuje faktické chyby, záleží skutečně na způsobu, jakým byl vytvořen?

Existuje rozšířený názor, že obsah vytvořený umělou inteligencí je nekvalitní. Někteří lidé také říkají, že webové stránky budou za takto vytvořený obsah „penalizovány“. Přesto Bing a Google směřují právě k využívání umělé inteligence ve svých vyhledávačích, což naznačuje, že tyto společnosti vidí výhody takových řešení.

Žádný z nástrojů není neomylný. V našem experimentu si některé z nich vedly lépe při posuzování textů napsaných člověkem, zatímco jiné vynikaly při textech napsaných umělou inteligencí. Výsledky u některých textů se mezi nástroji výrazně lišily. Při ověřování vybraných úryvků jsme věděli, jak byly vytvořeny, ale kdybychom takový test provedli naslepo, výsledky by byly prostě nespolehlivé. Největším problémem při hodnocení těchto detektorů je nejistota, kdy poskytují správnou informaci a kdy ne. Při jejich používání ve skutečnosti nikdy nevíme, zda jim můžeme v konkrétním případě důvěřovat.

Následující článek je překladem z polského článku "AI content detectors – how do they deal with text classification?", který napsala Agata Gruszka, International SEO Manager společnosti WhitePress®