Koliko su AI detektori dobri u klasifikaciji sadržaja?
Većina alata za generiranje sadržaja umjetne inteligencije temelji se na GPT jezičnim modelima koje pruža OpenAI. Stoga su obrasci koje koriste u stvaranju sadržaja donekle slični. Sada možemo stvarati, poboljšavati ili uređivati tekstove ne samo izravno u aplikaciji ChatGPT, već i u notion.so dokumentima ili pomoću Grammarly ekstenzije.
Danas je sve veća količina sadržaja objavljenog na internetu generirana od strane ili uz pomoć umjetne inteligencije. Kao rezultat toga, pojavljuju se novi načini provjere podrijetla sadržaja: AI detektori. Odlučili smo istražiti njihovu pouzdanost i stupanj povjerenja koji im možemo dati.
Kako rade AI detektori?
Alati za otkrivanje sadržaja umjetne inteligencije u osnovi se temelje na novim jezičnim modelima koji su osposobljeni za razlikovanje tekstova koje su napisali ljudi od onih koje je stvorila umjetna inteligencija. Ovi alati određuju svoje procjene vjerojatnosti na temelju zbunjujućeg sadržaja (mjerenje nasumičnosti) i pucanja (mjerenje varijacije zbunjujućeg sadržaja) teksta. Ljudi imaju tendenciju da pišu nasumično - na primjer, često ispreplićemo duže rečenice s kraćim, manje složenim. AI detektori sadržaja identificiraju ove karakteristike kroz obuku na milijunima uzoraka tekstova, prethodno kategoriziranih kao rukotvorni ili umjetni.
Iako AI modeli poput ChatGPT-a i drugih alata temeljenih na GPT-u mogu generirati sadržaj na različitim jezicima, većina alata za provjeru prvenstveno podržava engleski. Dakle, kako provjeriti sadržaj na drugim jezicima?
Jedna od metoda je provjera tekstova koji su automatski prevedeni alatima kao što su DeepL ili Google Translate. Međutim, ključno je zapamtiti da ova metoda prijevoda također nameće određene obrasce tekstovima prema kojima se automatski prevode, utječući na procjenu detektora. Ipak, neki detektori voljni su provjeriti sadržaj na drugim jezicima, unatoč tome što je njihova službena podrška ograničena na engleski.
Svaki detektor također ima svoja ograničenja u pogledu duljine sadržaja koji može provjeriti, a koja ovise o tome koristi li se besplatna ili plaćena verzija. Štoviše, koriste različite metode za procjenu podrijetla sadržaja; neki daju postotak sigurnosti, po njihovom mišljenju, da je tekst generirao određeni izvor, dok drugi koriste verbalne procjene ili binarnu ljestvicu: da ili ne.
Alati koje smo provjerili
Iz niza rješenja dostupnih na tržištu, stavili smo četiri najpopularnija alata “pod mikroskop” i testirali ih pomoću uzorka od 20 tekstova. Odabrali smo 10 tekstova koje su napisali ljudi i 10 koje je generirala umjetna inteligencija kako bismo procijenili kako bi ih ovi alati klasificirali.
U skupinu tradicionalno pisanih tekstova uključili smo članke koje su u potpunosti napisali copywriteri (neki od njih su napisani prije 2021., što isključuje sudjelovanje umjetne inteligencije u njihovom pisanju), ulomke iz književnosti (uključujući dječje knjige), novinske članke i vodiče s uputama. Sadržaj generiran umjetnom inteligencijom uključivao je fragmente literature stvorene na ovaj način, poput The Inner Life of an AI: A Memoir autora ChatGPT i Bob the Robot, kao i članke proizvedene pomoću umjetne inteligencije (uključujući one koji su već objavljeni na internetu i one koji su tek objavljeni stvorio GPT-3.5 i GPT-4). Također smo uključili poljske tekstove zajedno s njihovim prijevodima DeepL-a i Google Translatea u naš analizirani uzorak sadržaja. Svi testovi provedeni su na istim tekstualnim fragmentima, a s obzirom na različite metode klasifikacije, ispitali smo rezultate od alata do alata.
U nastavku predstavljamo kompilaciju tekstova koje su napisali ljudi:
i one koje je generirala umjetna inteligencija:
AI Text Classifier tvrtke OpenAI
AI Text Classifier tvrtke OpenAI, kreatora GPT modela, najpopularniji je alat za otkrivanje sadržaja koji je stvorila umjetna inteligencija. Svoja saznanja ocjenjuje i izražava u smislu vjerojatnosti da je analizirani tekst stvorila umjetna inteligencija. To se radi pomoću niza kategorija: 'vrlo malo vjerojatno', 'malo vjerojatno', 'nejasno', 'moguće' i 'vjerojatno generirano umjetnom inteligencijom'. Kao što vidite, ova ljestvica nudi priličan stupanj nijansi. Sam OpenAI u opisu alata napominje da rezultati možda neće uvijek biti točni i da bi detektor potencijalno mogao pogrešno klasificirati i sadržaj koji je stvorila umjetna inteligencija i sadržaj koji su napisali ljudi. Važno je napomenuti da model korišten za obuku AI Text Classifier-a nije uključivao rad učenika, pa se ne preporučuje za provjeru takvog sadržaja.
Od 10 tekstova koje su napisali ljudi, AI Text Classifier ispravno je klasificirao 9 kao "vrlo malo vjerojatno" ili "malo vjerojatno" da ih je stvorila umjetna inteligencija. Međutim, više se bori s kategoriziranjem onih koje je generirala umjetna inteligencija. U ovom slučaju, alat često klasificira tekst kao "nejasan", "malo vjerojatan" ili "moguće" generiran umjetnom inteligencijom.
Originality.AI
Još jedan široko korišten alat za provjeru sadržaja stvorenog umjetnom inteligencijom zove se Originality. Njegovi kreatori tvrde da ima stopu učinkovitosti od 95,93%. To je jedini alat na našem popisu koji dolazi uz cijenu, naplaćujući 0,01 USD za svakih 100 potvrđenih riječi. Minimalni paket košta 20 dolara. Osim što provjerava podrijetlo sadržaja, Originality ga također provjerava na plagijat.
Originality koristi postotke kako bi odražavala sigurnost u to kako je sadržaj stvoren. Rezultat od 66% Izvornosti ne znači da je tekst 66% napisao čovjek, a 34% AI, već da je Originality 66% sigurn da je sadržaj stvorio čovjek. Alat ističe crvenom bojom dijelove za koje vjeruje da ih je generirala umjetna inteligencija, a zelenom bojom dijelove za koje vjeruje da su ljudski rad. Zanimljivo, čest je slučaj da je u tekstovima koji su u konačnici kategorizirani kao napisani od strane ljudi većina ili barem polovica sadržaja označena crvenom bojom.
Originality se ponekad bori da definitivno kategorizira sadržaj koji su napisali ljudi. Od svih provjerenih fragmenata samo je jedan ocijenjen sa 100% sigurnošću kao ljudski napisan. Rezultati za ostale tekstove kretali su se od 52 do 92% sigurnosti da je sadržaj ljudski.
Alat je napravio nešto bolji posao provjere sadržaja koji je generirao AI; u 7 od 10 tekstova, sigurnost da je sadržaj generirao AI bila je 100% ili 99%. Sumnje su se pojavile kada je riječ o sadržaju koji je umjetna inteligencija generirala na poljskom, a potom prevedena na engleski. Iako je članak generirao jedan od starijih GPT modela (i objavljen je na blogu u rujnu 2022.) i imao je dosta stilskih pogrešaka, Originality je bio 92% siguran da je poljsku verziju napisao čovjek. Ali kako su se prijevodi nastavljali, ravnoteža je prešla u korist AI: Originality je bila 57% sigurna da je sadržaj preveden DeepL-om generiran AI i 85% sigurna za verziju Google prevoditelja.
Tekst koji je zadao najviše problema Originalityju je članak s popularne stranice Bankrate.com, gdje je sadržaj generiran umjetnom inteligencijom i potvrđen od strane ljudi. Ovo je bio jedini slučaj u kojem je alat bio 88% siguran da je članak napisao čovjek, iako je zapravo stvoren uz pomoć umjetne inteligencije. Dakle, čini se da ključ "zavaravanja" Originalityja leži u pažljivom uređivanju teksta.
CopyLeaks
Ukupna ocjena sadržaja u CopyLeaksu je binarna; mogući rezultati su "Ovo je ljudski tekst" i "Otkriven AI sadržaj". Detaljnu provjeru za određene segmente moguće je vidjeti samo prelaskom miša iznad teksta. Alat će tada pokazati vjerojatnost da je odabrani odlomak napisao čovjek ili AI.
Od 10 tekstova koje je napisao čovjek, CopyLeaks je u dva otkrio sadržaj generiran umjetnom inteligencijom. Kad je riječ o sadržaju koji je generirala umjetna inteligencija, alat ga je procijenio kao sadržaj koji su otprilike jednako stvorili ljudi i umjetna inteligencija. Stoga rezultati nisu pouzdani i mogu se čak smatrati beskorisnim. Iznenađujuće je koliko je CopyLeaks "osjetljiv" na promjene. U provjerenim primjerima, jednostavna izmjena upita za unos ili dodavanje broja poglavlja i informacija o naslovu bila je dovoljna da se potpuno promijeni rezultat evaluacije.
Content at Scale - AI DETEKTOR
Content at Scale prvenstveno služi kao alat za automatsko generiranje sadržaja, uz funkciju provjere kao dodatnu značajku. Kreatori alata tvrde da AI detektori ne mogu otkriti tekstove koje generira njihov sustav. Ovo postavlja pitanje: je li detektor dizajniran da potvrdi učinkovitost generatora?
Tvrtka na svojoj web stranici daje primjer teksta koji je generirao Content at Scale. Prema njihovom vlastitom detektoru, procijenjeno je da ovaj tekst ima 95% vjerojatnosti da ga je napisao čovjek. Međutim, AI Text Classifier ocijenio je da je malo vjerojatno da je to djelo AI-ja. Originality i CopyLeaks, međutim, nije bilo tako lako prevariti. Originality je ocijenio da je tekst 100% generiran AI-jem, dok je CopyLeaks otkrio AI sadržaj. Kao što se vidi, različiti detektori nude različite perspektive.
Content at Scaleov detektor pokazao se prilično dobar u otkrivanju sadržaja koji je napisao čovjek. Za 9 od 10 verificiranih fragmenata, vjerojatnost da su ih napisali ljudi prelazi 90%.
Međutim, više se borio sa sadržajem generiranim umjetnom inteligencijom; u 6 od 10 slučajeva tekstove je ocijenio kao stvorene od strane ljudi i umjetne inteligencije. Ostali su netočno klasificirani kao ljudski napisani.
Prevariti detektore
Sadržaj generiran umjetnom inteligencijom ne pojavljuje se niotkuda. Iza poticaja koji ga stvaraju uvijek stoji čovjek. Dakle, postavlja se pitanje: možemo li osmisliti načine da prevarimo AI detektore sadržaja i generiramo sadržaj koji promiče njihovim sposobnostima detekcije?
Internet je pun raznih trikova za stvaranje neuhvatljivih upita. Jedan od njih je objasniti koncepte 'zbunjenosti' i 'rafalnosti' chatbotu. Ideja je usmjeriti AI da uzme u obzir ove čimbenike prilikom generiranja novog teksta. Da bismo to testirali, zadužili smo chatbot koji pokreće model GPT-4 da napiše članak o najboljim mjestima za penjanje u Parizu.
Rezultati su bili zanimljivi. Usporedili smo ishod izvorne tekstualne verzije i drugog pokušaja, gdje smo razjasnili kriterije ocjenjivanja za chatbota i usmjerili ga kako da sadržaj izgleda sličnije ljudskom:
Jedini alat koji nije prevaren bila je Originality. Međutim, u oba smo slučaja uspješno prevarili AI Text Classifier, koji je zaključio da je šansa da oba sadržaja generira AI mala. Zanimljivo je da su Content at Scale i CopyLeaks promijenili mišljenje nakon što je ChatGPT-4 izradio tekst, uzimajući u obzir smjernice o “zbunjujućem” i “rafalnom” tekstu.
Što čini detektore nepouzdanima?
Detektori su dizajnirani za traženje predvidljivih elemenata sadržaja, poznatih kao zbunjenost. Što je manja predvidljivost, to je veća šansa da je tekst napisan na tradicionalan način: od čovjeka. Međutim, baš kao što male promjene u upitima unesenim u chatbot kao što je ChatGPT mogu dati potpuno drugačiji rezultat, manja izmjena u tekstu koji se provjerava (koja može samo malo promijeniti njegovo značenje) može promijeniti procjenu koju daju ovi alati.
Uzmimo, na primjer, dječju knjigu Bob the Robot, koju je 80% generirala umjetna inteligencija. Izdavač je 20% kreacije pripisao ljudskom uređivanju teksta. Segment koji smo provjerili u smislu nastajanja knjige je njezino prvo poglavlje koje se sastoji od 276 riječi. U biti smo dva puta provjerili isti tekst, uz samo manju promjenu: dodali smo "Poglavlje 1: Zvjezdani grad" prije sadržaja poglavlja. Shodno tome, Copyleaks.com potpuno je promijenio svoju procjenu nastanka knjige. U čistom tekstu poglavlja, alat je detektirao sadržaj koji je generirala umjetna inteligencija, ali smatralo se da je isti tekst s informacijama o broju i naslovu poglavlja napisao čovjek.
Dakle, kako detektori reagiraju na prevedeni sadržaj? Kao primjer koristili smo sadržaj koji je napisao copywriter bez pomoći umjetne inteligencije. Članak je napisan na poljskom jeziku. Iako neki alati ne podržavaju ovaj jezik, oni i dalje pokušavaju provjeriti njegov sadržaj bez označavanja grešaka. Rezultati koje je pružio originality.ai pokazali su 77% sigurnosti da je sadržaj napisao čovjek prilikom provjere poljskog teksta. Isti tekst, preveden pomoću DeepL-a, dao je alatu samo 67% sigurnosti da ga je napisao čovjek. Ova sigurnost pada na 36% kada se tekst prevodi Google prevoditeljem.
Zanimljivo je da je drugi alat, Copyleaks, koji službeno podržava poljski sadržaj, ispravno klasificirao sve verzije. Vjerojatnost da je većinu teksta napisao čovjek (imajući na umu da alat zasebno procjenjuje pojedine dijelove teksta) bila je 99,9% za poljsku verziju, 89,8% za DeepL prijevod i 90,2% za Google Translate verziju. Iako su razlike male, intrigantno je da se Googleov prijevod smatra bližim ljudskom stilu pisanja od DeepL-a, koji je klasificiran suprotno prema Originalityju.
Kako se AI detektori sadržaja razlikuju od ljudskih?
Istraživači sa Fakulteta inženjerstva i primijenjenih znanosti na Sveučilištu u Pennsylvaniji istraživali su kako ljudi raspoznaju sadržaj generiran umjetnom inteligencijom. Jesmo li u stanju uočiti razlike i koje faktore uzimamo u obzir u svojoj prosudbi?
Source: https://arxiv.org/pdf/2212.12672.pdf
Za različite vrste sadržaja prvenstveno se fokusiramo na relevantnost, koja obično ima najjači utjecaj na našu ocjenu. Unutar sadržaja generiranog umjetnom inteligencijom također otkrivamo pogreške koje proizlaze iz nedostatka zdravorazumske logike, koju alati umjetne inteligencije ne mogu provjeriti, te prisutnosti proturječnih segmenata.
AI detektori prvenstveno temelje svoje procjene na predvidljivosti i nasumičnosti teksta, ne uzimajući u obzir mnoge druge faktore koje ističu sudionici studije. To smo testirali s člankom koji je stvorila umjetna inteligencija u rujnu 2022., prije nego što je ChatGPT postao poznat. Članak je s jedne strane prožet stilskim pogreškama, nelogičnim rečenicama i nespretnim frazama, ali je s druge strane doista 'originalan' i izrazito nasumičan.
Tekst je izvorno bio na poljskom, pa smo ponovili proces automatskih prijevoda putem DeepL-a i Google Translatea, a za dobru mjeru također smo ispitali izvorni tekst (imajte na umu da svi alati ne podržavaju poljski jezik, ali oni poduzimaju njegovu procjenu ).
Evo rezultata:
Kao što je vidljivo, Originality.ai se najbolje snašao u ocjenjivanju prevedenog teksta, ali njegovi rezultati nisu jednoznačni. Imajte na umu da proces automatskog prevođenja može unijeti 'neprirodan' element u sadržaj, što može djelomično objasniti povećanu vjerojatnost da će se sadržaj percipirati kao generiran umjetnom inteligencijom.
Zaključak
Paradoks AI alata za otkrivanje sadržaja je da imamo toliku razinu skepticizma o kvaliteti AI generiranih tekstova da nam je potreban još jedan AI alat za njihovo otkrivanje. Ključna pitanja koja bismo si trebali postaviti u ovom trenutku su: Možemo li sa apsolutnom sigurnošću utvrditi kako je neki sadržaj nastao? Ako je članak dobro napisan i ne sadrži činjenične pogreške, je li doista važan način na koji je napisan?
Rašireno je mišljenje da je sadržaj koji je stvorila umjetna inteligencija niske kvalitete. Neki također tvrde da će web stranice biti 'kažnjene' za sadržaj generiran na ovaj način. Ipak, Bing i Google kreću prema korištenju umjetne inteligencije u svojim tražilicama, sugerirajući da vide prednosti takvih rješenja.
Nijedan od alata nije nepogrešiv. U našem ispitivanju, neki su bili bolji u ocjenjivanju tekstova koje je napisao čovjek, dok su drugi briljirali s onima koje je napisala umjetna inteligencija. Rezultati za neke sadržaje značajno su se razlikovali između alata. Prilikom provjere odabranih izvadaka znali smo kako su nastali, ali da smo takav test proveli naslijepo, rezultati bi jednostavno bili nepouzdani. Najveći problem s procjenama ovih alata je neizvjesnost kada su točni, a kada pogrešni. Koristeći ih, uistinu nikada ne znamo možemo li im vjerovati u pojedinom slučaju.
Sljedeći članak je prijevod poljskog članka "AI content detectors - how do they deal with text classification?" napisala Agata Gruszka, međunarodna SEO menadžerica u WhitePress®