Колко добри са детекторите за изкуствен интелект при класифициране на съдържание?

Повечето инструменти за генериране на съдържание с изкуствен интелект се основават на езикови модели GPT, предоставени от OpenAI. Следователно моделите, които те използват при създаването на съдържание, са донякъде сходни. Вече можем да създаваме, подобряваме или редактираме текстове не само директно в приложението ChatGPT, но и в документи от вида notion.so или с помощта на приставката Grammarly.

Днес все повече съдържание, публикувано онлайн, се създава от или с помощта на изкуствен интелект. В резултат на това се появяват нови начини за проверка на произхода на съдържанието: Детектори на изкуствен интелект. Решихме да проучим тяхната надеждност и степента на доверие, което можем да им окажем.

Как работят детекторите за изкуствен интелект?

Инструментите за откриване на съдържание с изкуствен интелект се основават основно на нови езикови модели, които са обучени да правят разлика между текстове, написани от хора, и такива, създадени от изкуствен интелект. Тези инструменти определят своите вероятностни оценки въз основа на перплексията (измерване на случайността) и бързината (измерване на вариациите в перплексията) на текста. Хората са склонни да пишат с по-голяма случайност - например, често редуваме по-дълги изречения с по-кратки и по-малко сложни. Детекторите на съдържание с изкуствен интелект идентифицират тези характеристики чрез обучение върху милиони примерни текстове, предварително категоризирани като написани от хора или създадени от изкуствен интелект.

Въпреки че моделите на ИИ като ChatGPT и други инструменти, базирани на GPT, могат да генерират съдържание на различни езици, повечето инструменти за проверка поддържат предимно английски език. И така, как се проверява съдържание на други езици?

Един от методите е да се проверяват текстове, които са били автоматично преведени с помощта на инструменти като DeepL или Google Translate. Изключително важно е обаче да се помни, че този метод на превод също налага определени шаблони на текстовете, според които те се превеждат автоматично, което оказва влияние върху оценката на детектора. Въпреки това някои детектори са готови да проверяват съдържание на други езици, въпреки че официалната им поддръжка е ограничена до английски език.

Всеки детектор има и свои ограничения по отношение на дължината на съдържанието, което може да проверява, които зависят от това дали се използва безплатна или платена версия. Освен това те използват различни методи за оценка на произхода на съдържанието; някои предоставят процент на сигурност, че според тях текстът е генериран от конкретен източник, докато други използват вербални оценки или двоична скала: да или не.

Проверени инструменти

От наличните на пазара решения подложихме под микроскоп четирите най-популярни инструмента и ги тествахме с помощта на примерен набор от 20 текста. Избрахме 10 текста, написани от хора, и 10, генерирани от изкуствен интелект, за да оценим как тези инструменти биха ги класифицирали.

В партидата от традиционно написани текстове включихме статии, написани изцяло от копирайтъри (някои от тях са написани преди 2021 г., което изключва участието на изкуствен интелект в написването им), откъси от литература (включително детски книги), новинарски статии и наръчници. Съдържанието, генерирано от ИИ, включваше фрагменти от литература, създадени по този начин, като например "Вътрешният живот на един ИИ: мемоар" от ChatGPT и "Боб роботът", както и статии, създадени с помощта на изкуствен интелект (включително както вече публикувани онлайн, така и прясно създадени от GPT-3.5 и GPT-4). В анализираната извадка от съдържание включихме и текстове на полски език заедно с техните преводи от DeepL и Google Translate. Всички тестове бяха проведени върху едни и същи текстови фрагменти и предвид различните методи за класификация разгледахме резултатите поотделно за всеки инструмент.

По-долу представяме компилация от текстове, написани от хора: 

и такива, генерирани от изкуствен интелект: 

Класификатор на текст с изкуствен интелект от OpenAI

Класификаторът AI Text Classifier на OpenAI, създателите на моделите GPT, е най-популярният инструмент за откриване на съдържание, създадено от изкуствен интелект. Той оценява и изразява своите констатации по отношение на вероятността анализираният текст да е създаден от изкуствен интелект. Това се прави с помощта на редица категории: "много малко вероятно", "малко вероятно", "неясно", "вероятно" и "вероятно генериран от изкуствен интелект". Както можете да видите, тази скала предлага доста нюанси. Самата OpenAI отбелязва в описанието на инструмента, че резултатите може да не са винаги точни и че детекторът може потенциално да класифицира неправилно както съдържание, създадено от изкуствен интелект, така и съдържание, написано от хора. Важно е да се отбележи, че моделът, използван за обучението на класификатора на текст с ИИ, не е включвал студентски работи, така че не се препоръчва за проверка на такова съдържание.

От 10 текста, написани от човек, AI Text Classifier правилно класифицира 9 като "много малко вероятно" или "малко вероятно" да са създадени от изкуствен интелект. Той обаче се затруднява повече с категоризирането на тези, които са генерирани от изкуствен интелект. В този случай инструментът често класифицира текста като "неясен", "малко вероятен" или "вероятно", генериран от изкуствен интелект.

Оригиналност.AI

Друг широко използван инструмент за проверка на съдържание, създадено с помощта на изкуствен интелект, се нарича оригиналност. Създателите му твърдят, че той има 95,93% ефективност. Това е единственият инструмент в нашия списък, който е свързан с разходи, като се таксува по 0,01 USD за всеки 100 проверени думи. Минималният пакет струва 20 USD. Освен че проверява произхода на съдържанието, Originality го проверява и за плагиатство.
 

Оригиналността използва проценти, за да отрази своята увереност за това как е създадено съдържанието. Резултат 66% Оригиналност не означава, че текстът е написан 66% от човек и 34% от изкуствен интелект, а по-скоро, че Оригиналност е 66% сигурна, че съдържанието е създадено от човек. Инструментът подчертава в червено частите, за които смята, че са създадени от ИИ, и в зелено частите, за които е сигурен, че са дело на човек. Интересно е, че често се случва в текстове, които в крайна сметка са категоризирани като написани от човек, по-голямата част или поне половината от съдържанието да е подчертано в червено.

Оригиналността понякога се затруднява да категоризира окончателно написаното от човек съдържание. От всички проверени фрагменти само един беше оценен със 100% сигурност като написан от човек. Резултатите за останалите текстове варират от 52 до 92% сигурност, че съдържанието е написано от човек.

Инструментът се справя малко по-добре с проверката на съдържание, генерирано от изкуствен интелект; в 7 от 10 текста сигурността, че съдържанието е генерирано от изкуствен интелект, е 100% или 99%. Съмнения възникнаха, когато ставаше въпрос за съдържание, генерирано от ИИ на полски език и след това преведено на английски. Въпреки че статията е генерирана от един от по-старите модели на GPT (и е публикувана в блог още през септември 2022 г.) и има доста стилистични грешки, Originality беше 92% сигурен, че полската версия е написана от човек. Но с продължаването на преводите балансът се наклони в полза на ИИ: Оригиналността беше 57% сигурна, че съдържанието, преведено от DeepL, е генерирано от ИИ, и 85% сигурна за версията на Google Translate.

Изтичане на копие

Общата оценка на съдържанието в CopyLeaks е двоична; възможните резултати са "Това е човешки текст" и "Открито съдържание на изкуствен интелект". Подробната проверка за конкретни сегменти може да се види само чрез поставяне на курсора върху текста. След това инструментът ще посочи вероятността избраният параграф да е написан от човек или от изкуствен интелект.

От 10 текста, написани от хора, в два от тях CopyLeaks открива съдържание, генерирано от изкуствен интелект. Когато става въпрос за съдържание, генерирано от ИИ, инструментът го оценява като приблизително еднакво създадено от хора и ИИ. Следователно резултатите не са надеждни и дори могат да се считат за безполезни. Изненадващо е колко "чувствителен" е CopyLeaks към промените. В проверените примери обикновена промяна на подкана за въвеждане или добавяне на информация за номера на главата и заглавието бяха достатъчни, за да променят изцяло резултата от оценката.

Съдържание в мащаб - AI DETECTOR

Content at Scale служи предимно като инструмент за автоматично генериране на съдържание, а функцията за проверка е допълнителна функция. Създателите на инструмента твърдят, че текстовете, генерирани от тяхната система, са неоткриваеми от детекторите на изкуствен интелект. Това повдига въпроса: дали детекторът е създаден, за да потвърди ефективността на генератора?

Компанията предоставя примерен текст, генериран от Content at Scale, на своя уебсайт. Според техния собствен детектор този текст е оценен като текст с 95% вероятност да е написан от човек. Класификаторът на текстове с изкуствен интелект обаче прецени, че е малко вероятно той да е дело на изкуствен интелект. Компаниите Originality и CopyLeaks обаче не бяха толкова лесно заблудени. Originality оцени текста като 100% генериран от ИИ, докато CopyLeaks откри съдържание с ИИ. Както може да се види, различните детектори предлагат различни гледни точки.
 

Детекторът на Content at Scale се справи доста добре с откриването на съдържание, написано от човек. За 9 от 10 от проверените фрагменти вероятността да са написани от човек надхвърля 90%.

Той обаче се справяше по-трудно със съдържание, генерирано от изкуствен интелект; в 6 от 10 случая той оценяваше текстовете като създадени както от хора, така и от изкуствен интелект. Останалите бяха неправилно класифицирани като написани от хора.

Заблуждаване на детекторите

Съдържанието, генерирано от изкуствен интелект, не се появява от нищото. Зад подканите, които го създават, винаги стои човек. Така че възниква въпросът: можем ли да измислим начини за заблуждаване на детекторите на съдържание с изкуствен интелект и да генерираме съдържание, което се изплъзва от техните възможности за откриване?

В интернет е пълно с различни трикове за създаване на неоткриваеми подсказки. Един от тях е да обясните на чатбота понятията "недоумение" и "избухливост". Идеята е да насочите изкуствения интелект да вземе предвид тези фактори при генерирането на нов текст. За да изпробваме това, възложихме на чатбот, задвижван от модела GPT-4, да изготви статия за най-добрите места за катерене около Париж.

Резултатите бяха интересни. Сравнихме резултата от първоначалната версия на текста и втория опит, при който изяснихме критериите за оценка за чатбота и го насочихме как да направи съдържанието да изглежда по-човешко:

Единственият инструмент, който не беше измамен, беше Оригиналност. Въпреки това и в двата случая успешно заблудихме класификатора на текстове с изкуствен интелект, който заключи, че вероятността двете съдържания да са генерирани от изкуствен интелект е малка. Интересно е, че Content at Scale и CopyLeaks промениха мнението си, след като ChatGPT-4 изработи текста, като взе предвид указанията за обърканост и разкъсаност.

Какво прави детекторите ненадеждни?

Детекторите са проектирани така, че да търсят предвидими елементи на съдържанието, известни като перплексия. Колкото по-ниска е предсказуемостта, толкова по-голям е шансът текстът да е написан по традиционния начин: от човек. Въпреки това, точно както малки промени в подсказките, въведени в чатбот като ChatGPT, могат да доведат до напълно различен резултат, малка промяна в проверявания текст (която може само леко да промени смисъла му) може да промени оценката, дадена от тези инструменти.

Вземете например детската книжка "Роботът Боб", която е генерирана на 80 % с помощта на изкуствен интелект. Издателят приписва 20 % от създаването на текста на човешка редакция. Сегментът, който проверихме по отношение на начина на създаване на книгата, беше нейната първа глава, състояща се от 276 думи. По същество проверихме два пъти един и същ текст, само с една малка промяна: добавихме "Глава 1: Звезден град" преди съдържанието на главата. Вследствие на това Copyleaks.com промени изцяло оценката си за произхода на книгата. В чистия текст на главата инструментът откри съдържание, генерирано от изкуствен интелект, но същият текст с информация за номера и заглавието на главата беше сметнат за написан от човек. 

И така, как детекторите реагират на преведеното съдържание? Като пример използвахме съдържание, написано от копирайтър без помощта на изкуствен интелект. Статията беше написана на полски език. Въпреки че някои инструменти не поддържат този език, те все пак се опитват да проверят съдържанието му, без да сигнализират за грешки. Резултатите, предоставени от originality.ai, показаха 77% увереност, че съдържанието е написано от човек, когато проверявахме текста на полски език. Същият текст, преведен с помощта на DeepL, дава на инструмента само 67% сигурност, че е написан от човек. Тази увереност спада до 36%, когато текстът е преведен с помощта на Google Translate.

Интересно е, че друг инструмент, Copyleaks, който официално поддържа полско съдържание, класифицира правилно всички версии. Вероятността по-голямата част от текста да е написана от човек (като се има предвид, че инструментът оценява отделните части на текста поотделно) е 99,9% за полската версия, 89,8% за превода на DeepL и 90,2% за версията на Google Translate. Въпреки че разликите са незначителни, интригуващо е, че преводът на Google се счита за по-близък до човешкия стил на писане от превода на DeepL, който е класифициран противоположно на оригиналността.

По какво се различават детекторите за съдържание с изкуствен интелект от хората?

Изследователи от Факултета по инженерни и приложни науки към Университета на Пенсилвания проучиха как хората разпознават съдържанието, генерирано от изкуствен интелект. Успяваме ли да забележим разликите и какви фактори вземаме предвид при преценката си?

Source: https://arxiv.org/pdf/2212.12672.pdf 

За различните типове съдържание ние се фокусираме основно върху релевантността, която обикновено оказва най-силно влияние върху нашата оценка. В рамките на съдържанието, генерирано от изкуствен интелект, откриваме също така грешки, произтичащи от липсата на логика на здравия разум, която инструментите на изкуствения интелект не могат да проверят, както и от наличието на противоречиви сегменти.

Детекторите на ИИ основават оценките си предимно на предсказуемостта и случайността на текста, без да вземат предвид много други фактори, изтъкнати от участниците в проучването. Проверихме това със статия, създадена от изкуствен интелект през септември 2022 г., преди ChatGPT да стане нарицателно име. Статията е изпълнена със стилистични грешки, нелогични изречения и неудобни фрази, от една страна, но от друга, тя наистина е "оригинална" и забележително случайна.

Първоначално текстът беше на полски език, така че повторихме процеса на автоматичен превод чрез DeepL и Google Translate, а за добро разглеждане разгледахме и оригиналния текст (имайте предвид, че не всички инструменти поддържат полски език, но все пак предприемат неговата оценка).

Ето и резултатите:

Както се вижда, Originality.ai се справи най-добре със задачата да оцени преведения текст, но резултатите му не са еднозначни. Имайте предвид, че процесът на автоматичен превод може да внесе "неестествен" елемент в съдържанието, което може отчасти да обясни повишената вероятност съдържанието да се възприема като генерирано от изкуствен интелект.

Обобщение

Парадоксът на инструментите за откриване на съдържание с изкуствен интелект се състои в това, че сме толкова скептични по отношение на качеството на текстовете, генерирани от изкуствен интелект, че се нуждаем от друг инструмент, базиран на изкуствен интелект, за да ги откриваме. Ключовите въпроси, които трябва да си зададем в този момент, са: Можем ли да определим с абсолютна сигурност как е създадено дадено съдържание? Ако една статия е добре написана и не съдържа фактологични грешки, има ли значение начинът, по който е написана?

Съществува широко разпространено мнение, че съдържанието, създадено от изкуствен интелект, е с ниско качество. Някои също така твърдят, че уебсайтовете ще бъдат "санкционирани" за съдържание, създадено по този начин. И все пак Bing и Google се насочват към използването на изкуствен интелект в своите търсачки, което предполага, че виждат ползите от подобни решения.

Нито един от инструментите не е безпогрешен. В нашето изпитване някои от тях се справиха по-добре с оценяването на текстове, написани от хора, докато други се справиха отлично с тези, написани от изкуствен интелект. Резултатите за някои видове съдържание се различаваха значително между отделните инструменти. При проверката на избрани откъси знаехме как са създадени, но ако бяхме провели такъв тест на сляпо, резултатите просто щяха да бъдат ненадеждни. Най-големият проблем с оценките на тези инструменти е несигурността кога те са правилни и кога грешни. Използвайки ги, ние наистина никога не знаем дали можем да им се доверим в конкретния случай.
Следващата статия е превод на полската статия "Detektory treści AI - jak radzą sobie z klasyfikacją tekstu?", написана от Agata Gruszka, International SEO Manager в WhitePress®.