Aké dobré sú AI detektory v klasifikácii obsahu?
Väčšina nástrojov na generovanie obsahu pomocou umelej inteligencie je založená na jazykových modeloch GPT, ktoré poskytuje OpenAI. Preto sú modely, ktoré sa používajú pri vytváraní obsahu, do istej miery podobné. Teraz môžeme vytvárať, vylepšovať alebo upravovať texty nielen priamo v aplikácii ChatGPT, ale aj v dokumentoch notion.so alebo pomocou doplnku Grammarly.
V súčasnosti je čoraz väčšie množstvo obsahu, ktorý je publikovaný online, vytváraný umelou inteligenciou alebo s jej pomocou. V dôsledku toho sa objavujú nové spôsoby overovania pôvodu obsahu: AI detektory. Rozhodli sme sa preskúmať ich spoľahlivosť a mieru dôveryhodnosti.
Ako fungujú AI detektory?
Nástroje na detekciu AI obsahu sú v podstate založené na nových jazykových modeloch, ktoré boli vytrénované na rozlišovanie medzi textami napísanými ľuďmi a textami vytvorenými umelou inteligenciou. Tieto nástroje určujú svoje pravdepodobnostné hodnotenia na základe perplexity (meranie náhodnosti) a burstiness (meranie variability perplexity) textu. Ľudia majú tendenciu písať s väčšou náhodnosťou - napríklad často striedame dlhšie vety s kratšími, menej zložitými. Detektory obsahu s umelou inteligenciou identifikujú tieto charakteristiky prostredníctvom tréningu na miliónoch vzorových textov, ktoré boli predtým kategorizované ako napísané človekom alebo AI.
Hoci modely umelej inteligencie ako ChatGPT a iné nástroje založené na GPT dokážu generovať obsah v rôznych jazykoch, väčšina overovacích nástrojov podporuje predovšetkým anglický jazyk. Ako teda overiť obsah v iných jazykoch?
Jednou z metód je napríklad overovanie textov, ktoré boli automaticky preložené nástrojmi, ako sú DeepL alebo Google Translate. Je však nevyhnutné si uvedomiť, že aj táto metóda prekladu vkladá do textov určité vzory, podľa ktorých sú automaticky preložené, čo ovplyvňuje výsledné vyhodnotenie detektora. Niektoré detektory sú ochotné overovať obsah v iných jazykoch aj napriek tomu, že ich oficiálna podpora je obmedzená iba na angličtinu.
Každý detektor má tiež svoje obmedzenia týkajúce sa dĺžky obsahu, ktorý môže overiť, tie závisia od toho, či si vyberiete bezplatnú alebo platenú verziu. Okrem toho používajú rôzne metódy hodnotenia pôvodu obsahu; niektoré detektory poskytujú percentuálnu hodnotu, tzn., na koľko percent bol podľa ich vyhodnotenia text vytvorený konkrétnym zdrojom, zatiaľ čo iné používajú slovné hodnotenia alebo binárnu škálu: áno alebo nie.
Nástroje, ktoré sme overili
Z množstva riešení, ktoré sú dostupné na trhu, sme si vybrali štyri najpopulárnejšie nástroje a otestovali ich na vzorke 20 textov. Vybrali sme 10 textov napísaných ľuďmi a 10 textov vytvorených AI, aby sme vyhodnotili, ako by ich tieto detektory klasifikovali.
Do skupiny klasicky písaných textov sme zaradili články, ktoré boli kompletne napísané copywritermi, (niektoré z nich boli napísané pred rokom 2021, čo vylučuje účasť umelej inteligencie na ich písaní), úryvky z literatúry (vrátane detských kníh), spravodajské články a inštruktážne príručky. Obsah vytvorený umelou inteligenciou zahŕňal úryvky z literatúry vytvorenej pomocou AI, napríklad The Inner Life of an AI: A Memoir by ChatGPT a Bob the Robot, ako aj články vytvorené pomocou AI (vrátane tých, ktoré už boli publikované online, ale navyše aj tie, ktoré boli čerstvo vytvorené pomocou GPT-3.5 a GPT-4). Do analyzovanej vzorky obsahu sme zahrnuli aj poľské texty spolu s ich prekladmi pomocou DeepL a Google Translate. Všetky testy sa uskutočnili na tých istých fragmentoch textu a vzhľadom na rozdielne metódy klasifikácie sme výsledky skúmali na základe jednotlivých nástrojov.
Nižšie uvádzame kompiláciu textov napísaných copywritermi:
A tu nájdete texty, ktoré vytvorila umelá inteligencia:
AI Text Classifier od OpenAI
AI Text Classifier od spoločnosti OpenAI, tvorcov modelov GPT, je najpopulárnejším nástrojom na detekciu obsahu vytvoreného umelou inteligenciou. Svoje zistenia vyhodnocuje a vyjadruje v podobe pravdepodobnosti, či bol analyzovaný text vytvorený umelou inteligenciou alebo nie. Využíva pritom celý rad kategórií: "veľmi nepravdepodobné", "nepravdepodobné", "nie je to jasné", "pravdepodobné" a "pravdepodobne vytvorené AI". Ako môžete vidieť, táto stupnica ponúka dostatočnú mieru nuáns. Samotná spoločnosť OpenAI v popise nástroja uvádza, že výsledky nemusia byť vždy presné a to, že detektor môže potenciálne nesprávne klasifikovať obsah vytvorený AI a obsah napísaný človekom. Je dôležité uviesť, že model použitý na trénovanie nástroja AI Text Classifier nezahŕňal študentské písomné práce, takže sa neodporúča na overovanie takéhoto typu obsahu.
Z 10 textov napísaných človekom, nástroj AI Text Classifier správne určil 9 textov ako "veľmi nepravdepodobné" alebo "nepravdepodobné", že boli vytvorené pomocou AI. Väčšie problémy však má s kategorizáciou textov vytvorených AI. V tomto prípade, AI Text Classifier často určil text vytvorený pomocou AI ako "nie je to jasné", "nepravdepodobne vytvorený AI".
Nástroj Originality.ai
Ďalší populárny a často používaný nástroj na overovanie obsahu vytvoreného pomocou AI sa nazýva Originality.ai. Jeho tvorcovia tvrdia, že má 95,93 % efektívnosť. Je to jediný nástroj na našom zozname, ktorý je spoplatnený a účtuje si 0,01 doláru za každých 100 overených slov. Najmenší balík stojí 20 dolárov. Okrem overovania pôvodu obsahu Originality.ai kontroluje aj na plagiátorstvo.
Tento detektor využíva percentá na vyjadrenie istoty, akým spôsobom bol obsah vytvorený. Original skóre 66 % neznamená, že text je zo 66 % napísaný človekom a z 34 % umelou inteligenciou, ale skôr to, že tento nástroj si je na 66 % istý, že obsah vytvoril človek. Originality.ai vám zvýrazní červenou farbou tie časti, o ktorých sa domnieva, že boli vytvorené AI, a zelenou farbou také časti, o ktorých je presvedčený, že sú výtvorom človeka. Zaujímavé je to, že v textoch, ktoré boli nakoniec kategorizované ako napísané človekom, je často väčšina alebo aspoň polovica obsahu zvýraznená červenou farbou.
Originality.ai má niekedy problém definitívne klasifikovať obsah písaný človekom. Zo všetkých overených fragmentov bol iba jeden ohodnotený so 100% istotou ako napísaný človekom. Výsledky pre zvyšné texty sa pohybovali od 52 % do 92 % istoty, že ide o obsah vytvorený človekom.
Nástroj však o niečo lepšie overoval obsah vytvorený AI; v 7 z 10 textov bola istota 100 % alebo 99 %, že obsah bol vytvorený umelou inteligenciou. Pochybnosti sa objavili vtedy, keď išlo o obsah vytvorený AI v poľštine a následne preložený do angličtiny. Hoci článok bol vygenerovaný jedným zo starších modelov GPT (a bol uverejnený na blogu ešte v septembri 2022) a obsahoval pomerne veľa štylistických chýb, nástroj Originality.ai mal 92 % istotu, že poľskú verziu článku napísal človek. Keď však pokračovali ďalšie preklady, rovnováha sa naklonila v prospech umelej inteligencie: Originality.ai si bol 57 % istý, že obsah preložený na DeepL bol vytvorený umelou inteligenciou, a 85 % istý v prípade verzie Google Translate.
Text, ktorý robil nástroju Originality.ai najväčšie problémy, bol článok z populárnej stránky Bankrate.com, kde obsah generuje AI a overujú ho ľudia. Išlo o jediný prípad, keď si bol tento nástroj na 88 % istý, že článok napísal človek, aj keď bol v skutočnosti vytvorený pomocou umelej inteligencie. Zdá sa teda, že kľúč k "oklamaniu" Originality.ai spočíva práve v starostlivej úprave textov.
CopyLeaks
Celkové hodnotenie obsahu v nástroji CopyLeaks je binárne; možné výsledky sú "Toto je text vytvorený človekom" a "Zistený AI obsah". Podrobné overenie konkrétnych segmentov je možné zobraziť len po prejdení kurzora nad text. Nástroj vám potom ukáže pravdepodobnosť, či vybraný odsek napísal človek alebo AI.
Z desiatich textov napísaných človekom, CopyLeaks zistil v dvoch z nich obsah vytvorený pomocou AI. Pokiaľ ide o obsah vytvorený umelou inteligenciou, ten nástroj vyhodnotil podobne, buď bol vytvorený človekom, alebo umelou inteligenciou. Výsledky preto nie sú veľmi spoľahlivé a mohli by sa tiež považovať za nepoužiteľné. Je však prekvapujúce, aký "citlivý" je CopyLeaks na zmeny. V overovaných prípadoch stačila jednoduchá zmena vstupnej výzvy alebo napr. doplnenie informácie o čísle a názve kapitoly, aby sa výsledok hodnotenia úplne zmenil.
Content at Scale - AI DETEKTOR
Content at Scale primárne slúži ako nástroj na automatické generovanie obsahu, pričom funkcia overovania textov slúži ako doplnková funkcia. Tvorcovia nástroja tvrdia, že texty generované ich systémom sú nerozpoznateľné AI detektormi. To vyvoláva otázku: bol tento detektor navrhnutý tak, aby potvrdil efektívnosť ich vlastného generátora?
Spoločnosť na svojej webovej stránke poskytuje vzorový ukážkový text generovaný nástrojom Content at Scale. Podľa ich vlastného detektora bol tento text vyhodnotený s 95% pravdepodobnosťou, že bol napísaný človekom. Pre porovnanie, nástroj AI Text Classifier usúdil, že je nepravdepodobné, že by išlo o text vytvorený AI. Nástroje Originality.ai a CopyLeaks sa však nedali tak ľahko oklamať. Originality.ai ohodnotil text ako 100% vygenerovaný AI, zatiaľ čo CopyLeaks zistil AI obsah. Ako možno vidieť, rôzne detektory ponúkajú skutočne rôzne perspektívy a výsledky.
Detektor Content at Scale si však viedol celkom dobre pri zisťovaní obsahu napísaného človekom. Pri počte 9 z 10 overených úrývkov, pravdepodobnosť, že sú napísané človekom, prekročila 90 %.
Viac sa však tento nástroj potrápil s obsahom generovaným AI; v 6 z 10 prípadov ohodnotil texty ako vytvorené ľuďmi, ale aj AI. Zvyšok bol nesprávne určený ako napísaný človekom.
Oklamanie AI detektorov
Obsah generovaný AI sa neobjaví online len tak z ničoho nič. Prompty, na ktorých základe sa generuje žiadaný obsah, vždy vytvára človek. Vyplýva z toho otázka: môžeme vymyslieť spôsoby, ako oklamať detektory AI obsahu a vytvárať obsah, ktorý by unikol ich detekčným schopnostiam?
Internet je plný rôznych trikov na vytvorenie neodhaliteľných promptov. Jedným z nich je napríklad vysvetliť chatbotovi pojmy "perplexity" a "burstiness". Cieľom je usmerniť umelú inteligenciu tak, aby tieto faktory zohľadňovala pri generovaní nového textu. Aby sme to sami otestovali, zadali sme chatbotovi poháňanému modelom GPT-4 úlohu vypracovať článok o najlepších miestach na lezenie v okolí Paríža.
Výsledky boli naozaj zaujímavé. Porovnali sme výsledok originálnej verzie textu a druhého pokusu, kde sme potom chatbotovi objasnili kritériá hodnotenia a usmernili ho, ako má daný obsah pôsobiť ľudskejšie:
Jediným nástrojom, ktorý nebol oklamaný, bol Originality.ai.
V oboch prípadoch sme však úspešne oklamali AI Text Classifier, ktorý dospel k záveru, že pravdepodobnosť, že oba obsahy boli vytvorené IAI, bola nízka. Zaujímavé je, že nástroje Content at Scale a CopyLeaks zmenili svoje názory po tom, ako ChatGPT-4 vytvoril text, pričom zohľadnili usmernenia k perplexity a burstiness.
Čo spôsobuje, že detektory sú nespoľahlivé?
Tieto detektory sú navrhnuté tak, aby vyhľadávali predvídateľné prvky obsahu, známe ako perplexita. Čím je predvídateľnosť nižšia, tým je väčšia šanca, že text bol napísaný klasickým spôsobom: človekom. Avšak malé zmeny v promptoch zadaných do chatbota, ako je ChatGPT, môžu priniesť úplne iný výsledok. Takisto aj drobné zmeny v kontrolovanom texte, (ktoré môžu len nepatrne zmeniť ich významy), môžu zmeniť výsledné hondotenie, ktoré tieto nástroje poskytnú.
Vezmime si napríklad detskú knihu Bob the Robot, ktorá bola z 80 % vytvorená pomocou AI. Vydavateľ pripísal 20 % tvorby a úpravy knihy človeku. Úryvkom, ktorý sme overovali z hľadiska spôsobu vytvorenia knihy, bola jej prvá kapitola, ktorá obsahovala 276 slov. V podstate sme dvakrát overovali ten istý text, len s drobnou zmenou: pred obsah kapitoly sme pridali text "Kapitola 1: Hviezdne mesto". V dôsledku toho však nástroj Copyleaks.com úplne zmenil svoje hodnotenie pôvodu knihy. V originálnom texte kapitoly nástroj zistil obsah vytvorený AI, ale ten istý text s informáciou o čísle a názve kapitoly považoval za vytvorený človekom.
Ako detektory reagujú na preložený obsah? Ako príklad sme použili obsah napísaný copywriterom bez pomoci AI. Článok bol napísaný v poľštine. Hoci niektoré detektory tento jazyk nepodporujú, aj tak sa pokúsili overiť jeho obsah bez označenia chýb. Výsledky poskytnuté službou Originality.ai ukázali pri overovaní poľského textu 77 % istotu, že obsah napísal človek. Pri preklade toho istého textu pomocou prekladača DeepL poskytol nástroj len 67 % istotu, že ho napísal človek. Táto istota detektoru klesla až na 36 %, keď sa text preložil pomocou prekladača Google Translate.
Zaujímavosťou je to, že nástroj CopyLeaks, ktorý oficiálne podporuje obsah v poľštine, správne klasifikoval všetky verzie. Pravdepodobnosť, že väčšinu textu napísal človek (pričom treba mať na pamäti, že nástroj hodnotí jednotlivé časti textu samostatne), bola 99,9 % pre poľskú verziu, 89,8 % pre preklad od DeepL a 90,2 % pre verziu od Google Translate. Hoci rozdiely sú malé, je zaujímavé sledovať, že preklad od spoločnosti Google bol považovaný za bližší štýlu písania človekom ako druhý preklad od DeepL, ktorý bol klasifikovaný ako AI text podľa nástroja Originality.ai.
V čom sa AI detektory obsahu líšia od ľudí?
Výskumníci na Pensylvánskej univerzite zo School of Engineering and Applied Science skúmali, ako ľudia rozoznávajú obsah vytvorený umelou inteligenciou.
Dokážeme rozoznať rozdiely? Aké faktory pri posudzovaní berieme do úvahy?
Zdroj: https://arxiv.org/pdf/2212.12672.pdf
Pri rôznych typoch obsahu sa zameriavame predovšetkým na relevantnosť, ktorá má zvyčajne najsilnejší vplyv na naše hodnotenie. V rámci obsahu vytvoreného AI zisťujeme aj chyby vyplývajúce z nedostatku logiky na základe zdravého rozumu, ktorú AI nástroje nedokážu overiť, a prítomnosť protichodných segmentov.
AI detektory zakladajú svoje hodnotenia predovšetkým na predvídateľnosti a náhodnosti textu, pričom neberú do úvahy mnohé ďalšie faktory, na ktoré upozornili účastníci štúdie. Vyskúšali sme tento experiment sami na článku vytvorenom AI v septembri 2022, teda ešte predtým, ako sa ChatGPT stal známym. Článok bol na jednej strane plný štylistických chýb, nelogických viet a nešikovných formulácií, ale na druhej strane bol skutočne "originálny" a nápadne náhodný.
Text bol pôvodne v poľštine, preto sme zopakovali proces automatického prekladu prostredníctvom webových stránok DeepL a Google Translate. Pre istotu sme preskúmali aj originálny text (prosím, berte do úvahy, že nie všetky nástroje podporujú poľštinu, ale aj tak vykonávajú jej hodnotenie).
Tu sú výsledky experimentu:
Z celkového experimentu vyplýva, že nástroj Originality.ai zvládol úlohu vyhodnotiť preložený text najlepšie, ale jeho výsledky neboli jednoznačné. Majte na pamäti, že proces automatického prekladu môže do obsahu vniesť "neprirodzené" prvky, čo môže čiastočne vysvetľovať zvýšenú pravdepodobnosť vnímania obsahu ako textu vytvoreného AI.
Záver
Paradoxom nástrojov na detekciu obsahu vytvoreného AI je to, že sme natoľko skeptickí voči kvalite textov vytvorených umelou inteligenciou, že na ich detekciu potrebujeme ďalší nástroj založený na umelej inteligencii. Zásadné otázky, ktoré by sme si mali v tejto chvíli položiť, sú: Môžeme s absolútnou istotou určiť, ako bol obsah vytvorený? Ak je článok dobre napísaný a neobsahuje faktické chyby, záleží skutočne na spôsobe, akým bol vytvorený?
Existuje rozšírený názor, že obsah vytvorený umelou inteligenciou je nekvalitný. Niektorí ľudia tiež hovoria, že webové stránky budú za takto vytvorený obsah "penalizované". Napriek tomu Bing a Google smerujú práve k využívaniu umelej inteligencie vo svojich vyhľadávačoch, čo naznačuje, že tieto spoločnosti vidia výhody takýchto riešení.
Žiadny z nástrojov nie je neomylný. V našom experimente si niektoré z nich viedli lepšie pri posudzovaní textov napísaných človekom, zatiaľ čo iné vynikali pri textoch napísaných umelou inteligenciou. Výsledky pri niektorých textoch sa medzi nástrojmi výrazne líšili. Pri overovaní vybraných úryvkov sme vedeli, ako boli vytvorené, ale keby sme takýto test vykonali naslepo, výsledky by boli jednoducho nespoľahlivé. Najväčším problémom pri hodnoteniach týchto detektorov je neistota, kedy poskytujú správnu informáciu a kedy nie. Pri ich používaní v skutočnosti nikdy nevieme, či im môžeme v konkrétnom prípade dôverovať.
Nasledujúci článok je prekladom z poľského článku "AI content detectors – how do they deal with text classification?", ktorý napísala Agata Gruszka, International SEO Manager v spoločnosti WhitePress®