Yapay zeka algılayıcıları içerik sınıflandırmada ne kadar iyi?

Çoğu yapay zeka içerik üretim aracı OpenAI tarafından sağlanan GPT dil modellerine dayanmaktadır. Bu nedenle, içerik oluştururken kullandıkları kalıplar biraz benzerdir. Artık metinleri yalnızca doğrudan ChatGPT uygulamasında değil, aynı zamanda notion.so belgelerinde veya Grammarly eklentisini kullanarak da oluşturabilir, geliştirebilir veya düzenleyebiliriz.

Günümüzde, çevrimiçi yayınlanan içeriğin giderek artan bir miktarı yapay zeka tarafından veya yapay zeka yardımıyla oluşturulmaktadır. Sonuç olarak, içeriğin kaynağını doğrulamanın yeni yolları ortaya çıkmaktadır: Yapay zeka algılayıcıları. Bunların güvenilirliğini ve bunlara ne derece güvenebileceğimizi araştırmaya karar verdik.

Yapay zeka tespit araçları nasıl çalışır?

Yapay zeka içerik tespit araçları esasen insanlar tarafından yazılan metinler ile yapay zeka tarafından oluşturulan metinleri birbirinden ayırmak üzere eğitilmiş yeni dil modellerine dayanmaktadır. Bu araçlar olasılık değerlendirmelerini metnin karmaşıklığına (rastlantısallığın ölçümü) ve karşılaşma sıklığına (karmaşıklıktaki değişimin ölçümü) göre belirler. İnsanlar daha fazla rastlantısallıkla yazma eğilimindedir - örneğin, genellikle daha uzun cümleleri, daha kısa ve daha az karmaşık olanlarla serpiştiririz. Yapay zeka içerik algılayıcıları bu özellikleri, daha önce insan tarafından yazılmış veya yapay zeka tarafından oluşturulmuş olarak kategorize edilmiş milyonlarca örnek metin üzerinden eğitilme yoluyla belirler.

ChatGPT ve diğer GPT tabanlı araçlar gibi yapay zeka modelleri çeşitli dillerde içerik oluşturabilirken, çoğu doğrulama aracı öncelikle İngilizce’yi desteklemektedir. Peki diğer dillerdeki içerikler nasıl doğrulanır?

Bir yöntem, DeepL veya Google Translate gibi araçlar tarafından otomatik olarak çevrilen metinleri doğrulamaktır. Ancak bu çeviri yönteminin de otomatik olarak çevrilen metinlere belirli kalıplar yüklediğini ve tespit aracının değerlendirmesini etkilediğini unutmamak gerekir. Bununla birlikte, bazı algılayıcılar, resmi destekleri İngilizce ile sınırlı olmasına rağmen, diğer dillerdeki içerikleri doğrulamaya eğilimlidir.

Her algılayıcının doğrulayabileceği içeriğin uzunluğuna ilişkin sınırlamalar da vardır ve bu sınırlamalar ücretsiz ya da ücretli sürümün kullanılmasına bağlıdır. Ayrıca, içeriğin kaynağını değerlendirmek için farklı yöntemler kullanırlar; bazıları metnin belirli bir kaynak tarafından oluşturulduğuna dair bir kesinlik yüzdesi sağlarken, diğerleri sözlü değerlendirmeler veya ikili bir ölçek kullanır: evet veya hayır.

Doğruladığımız araçlar

Piyasada bulunan çeşitli çözümler arasından en popüler dört aracı mercek altına aldık ve 20 metinden oluşan örnek bir set kullanarak test ettik. Bu araçların metinleri nasıl sınıflandıracağını değerlendirmek için insanlar tarafından yazılmış 10 metin ve yapay zeka tarafından oluşturulmuş 10 metin seçtik.

Geleneksel olarak yazılmış metinler grubuna, tamamen metin yazarları tarafından yazılmış makaleleri (bunlardan bazıları 2021'den önce yazılmıştır, bu da yapay zekanın yazımlarına katkısını hariç tutmaktadır), edebiyattan alıntılar (çocuk kitapları dahil), haber makalelerini ve eğitici kılavuzları dahil ettik. Yapay zeka tarafından üretilen içerik, ChatGPT tarafından yazılan ‘Bir Yapay Zekanın Yaşamı: Bir Anı ve Robot Bob’ gibi oluşturulan edebiyat metinlerinin yanı sıra yapay zeka kullanılarak üretilen makaleleri (hem halihazırda çevrimiçi olarak yayınlananlar hem de GPT-3.5 ve GPT-4 tarafından yeni oluşturulanlar dahil) içeriyordu. Ayrıca, analiz edilen içerik örneğimize Lehçe metinleri ve onların DeepL ve Google Translate tarafından çevrilmiş hallerini de dahil ettik. Tüm testler aynı metin parçaları üzerinde gerçekleştirildi ve farklı sınıflandırma yöntemleri göz önüne alındığında, sonuçları araçlar bazında inceledik.

Aşağıda, insanlar tarafından yazılmış metinlerden bir derlemeye yer verdik:

ve yapay zeka tarafından üretilmiş olanlar:

OpenAI tarafından geliştirilen Yapay Zeka Metin Sınıflandırıcı

GPT modellerinin yaratıcısı OpenAI'nin AI Metin Sınıflandırıcısı, yapay zeka tarafından oluşturulan içeriği tespit etmek için kullanılan en popüler araçtır. Bulgularını, analiz edilen metnin yapay zeka tarafından oluşturulma olasılığı açısından değerlendirir ve ifade eder. Bu, bir dizi kategori kullanılarak yapılır: 'ihtimali çok düşük', 'ihtimali düşük', 'belirsiz', 'muhtemelen' ve 'muhtemelen yapay zeka tarafından oluşturulmuş'. Gördüğünüz gibi, bu ölçek oldukça fazla ayrıntı sunuyor. OpenAI, aracın açıklamasında sonuçların her zaman doğru olmayabileceğini ve dedektörün hem yapay zeka tarafından oluşturulan hem de insan tarafından yazılan içeriği potansiyel olarak yanlış sınıflandırabileceğini belirtiyor. Yapay Zeka Metin Sınıflandırıcısı’nı eğitmek için kullanılan modelin öğrenci çalışmalarını içermediğini, bu nedenle bu tür içeriği doğrulamak için önerilmediğini belirtmek önemlidir.

Yapay Zeka Metin Sınıflandırıcısı, insan tarafından yazılmış 10 metinden 9'unu yapay zeka tarafından oluşturulmuş olma ihtimali 'çok düşük' veya 'düşük' olarak doğru şekilde sınıflandırdı. Ancak, yapay zeka tarafından üretilenleri kategorize etmekte daha fazla zorlanıyor. Bu durumda araç, metni sıklıkla 'belirsiz', 'ihtimali düşük' veya 'muhtemelen' yapay zeka tarafından oluşturulmuş olarak sınıflandırıyor.

Originality.AI

Yapay zeka ile oluşturulan içeriği doğrulamak için yaygın olarak kullanılan bir başka araç da Originality olarak adlandırılıyor. Geliştiricileri %95,93 etkinlik oranına sahip olduğunu iddia ediyor. Listemizde doğrulanan her 100 kelime için 0,01 dolar ücret alan tek araçtır. Minimum paket ücreti 20 dolar. Originality içeriğin kaynağını doğrulamanın yanı sıra intihal taraması da yapıyor.

Originality, içeriğin nasıl oluşturulduğuna dair kesinliğini yansıtmak için yüzdeler kullanır. %66 Orijinallik puanı, metnin %66'sının bir insan, %34'ünün ise yapay zeka tarafından yazıldığı anlamına gelmez; Originality'nin, içeriğin bir insan tarafından oluşturulduğuna %66 oranında emin olduğu anlamına gelir. Araç, yapay zeka tarafından oluşturulduğuna inandığı kısımları kırmızı renkle, insan ürünü olduğundan emin olduğu kısımları ise yeşil renkle vurgular. İlginç bir şekilde, nihai haliyle insan tarafından yazılmış olarak kategorize edilen metinlerde, içeriğin çoğunun veya en azından yarısının kırmızıyla vurgulanması sıklıkla karşılaşılan bir durumdur.

Originality bazen insan tarafından yazılmış içeriği kesin olarak kategorize etmekte zorlanıyor. Doğrulanan tüm parçalardan sadece bir tanesi %100 kesinlikle insan yazımı olarak değerlendirilmiştir. Geri kalan metinler için sonuçlar, içeriğin insan tarafından yazıldığına dair %52 ila %92 arasında değişmektedir.

Araç, yapay zeka tarafından oluşturulan içeriği doğrulama konusunda biraz daha iyi bir iş çıkardı; 10 metinden 7'sinde içeriğin yapay zeka tarafından oluşturulduğuna dair kesinlik %100 veya %99'du. Yapay zeka tarafından Lehçe olarak oluşturulan ve daha sonra İngilizceye çevrilen içerik söz konusu olduğunda şüpheler ortaya çıktı. Makale eski GPT modellerinden biri tarafından oluşturulmuş (ve Eylül 2022'de bir blogda yayınlanmış) ve epeyce biçimsel hata içeriyor olsa da, Originality, Lehçe versiyonun insan tarafından yazıldığından %92 oranında emin oldu. Ancak çeviriler devam ettikçe, denge yapay zeka yönünde değişti. Originality, DeepL tarafından çevrilen içeriğin yapay zeka tarafından üretildiğinden %57 oranında emin olurken, Google Translate versiyonu için bu oran %85 oldu.

Originality'ye en çok sorun çıkaran metin, içeriğin yapay zeka tarafından oluşturulduğu ve insanlar tarafından doğrulandığı popüler Bankrate.com sitesindeki bir makaleydi. Bu, aracın aslında yapay zeka yardımıyla oluşturulmuş olmasına rağmen makalenin insan tarafından yazıldığından %88 oranında emin olduğu tek durumdu. Dolayısıyla, Originality'yi "kandırmanın" yolu metnin dikkatli bir şekilde düzenlenmesinde yatıyor gibi görünüyor.

CopyLeaks

CopyLeaks'teki genel içerik derecelendirmesi ikilidir; olası sonuçlar "Bu insan tarafından oluşturulmuş bir metin" ve "Yapay Zeka İçeriği Tespit Edildi" şeklindedir. Belirli bölümler için ayrıntılı doğrulama yalnızca metnin üzerine gelindiğinde görüntülenebilir. Araç daha sonra seçilen paragrafın bir insan tarafından yazılmış veya yapay zeka tarafından oluşturulmuş olma ihtimalini gösterecektir.

CopyLeaks, insan tarafından yazılmış 10 metinden ikisinde yapay zeka tarafından oluşturulmuş içerik tespit etti. Yapay zeka tarafından oluşturulan içerik söz konusu olduğunda, araç bunu insan ve yapay zeka tarafından eşit olarak oluşturulmuş olarak değerlendirdi. Bu nedenle, sonuçlar güvenilir değil ve hatta yararsız olarak kabul edilebilir. CopyLeaks'in değişikliklere karşı bu kadar "hassas" olması şaşırtıcı. Doğrulanan örneklerde, girdi komutunda yapılan basit bir değişiklik veya bölüm numarası ve başlık bilgilerinin eklenmesi, değerlendirme sonucunu tamamen değiştirmek için yeterliydi.

Content at Scale - Yapay Zeka Algılayıcı

Content at Scale öncelikle otomatik içerik üretimi için bir araç olarak hizmet veriyor, doğrulama işlevi ise ek bir özellik. Aracın geliştiricileri, kendi sistemleri tarafından üretilen metinlerin yapay zeka algılayıcıları tarafından tespit edilemediğini iddia etmektedir. Bu da şu soruyu gündeme getiriyor: Algılayıcı, oluşturucunun etkililiğini doğrulamak için mi tasarlandı?

Şirket, web sitesinde Content at Scale tarafından oluşturulan örnek bir metin sunuyor. Kendi dedektörlerine göre, bu metnin insan tarafından yazılmış olma olasılığı %95 olarak değerlendirilmiştir. Ancak, Yapay Zeka Metin Sınıflandırıcısı bunun yapay zeka işi olma ihtimalinin düşük olduğuna karar verdi. Fakat, Originality ve CopyLeaks bu kadar kolay kandırılmadı. Originality, metni %100 yapay zeka tarafından oluşturulmuş olarak değerlendirirken, CopyLeaks yapay zeka içeriğini tespit etti. Görüldüğü gibi, farklı algılayıcılar farklı bakış açıları sunmaktadır.

Content at Scale'in algılayıcısı, bir insan tarafından yazılmış içeriği tespit etmede oldukça başarılı oldu. Doğrulanan 10 parçadan 9'unun insan tarafından yazılmış olma olasılığı %90'ı geçti.

Ancak, yapay zeka tarafından oluşturulan içerikte daha fazla zorlandı; 10 durumdan 6'sında metinleri hem insanlar hem de yapay zeka tarafından oluşturulmuş olarak değerlendirdi. Geri kalanlar ise yanlışlıkla insan tarafından yazılmış olarak sınıflandırıldı.

Algılayıcıları kandırmak

Yapay zeka tarafından üretilen içerik kendiliğinden ortaya çıkmaz. İçeriği oluşturan komutların arkasında her zaman bir insan vardır. Bu durumda şu soru ortaya çıkıyor: Yapay zeka içerik algılayıcılarını kandırmanın ve onların algılama yeteneklerini aşan içerikler oluşturmanın yollarını bulabilir miyiz?

İnternet, tespit edilemeyen komut istemleri oluşturmak için çeşitli taktiklerle dolu. Bunlardan biri, sohbet robotuna 'metnin karmaşıklığı' ve 'karşılaşma sıklığı' kavramlarını açıklamaktır. Buradaki amaç, yapay zekayı yeni metin oluştururken bu faktörleri dikkate alması için yönlendirmektir. Bunu test etmek için GPT-4 modeliyle çalışan bir sohbet robotuna Paris çevresindeki en iyi tırmanma noktaları hakkında bir makale yazma komutu verdik.

Sonuçlar ilginçti. Orijinal metin versiyonu ile sohbet robotu için değerlendirme kriterlerini netleştirdiğimiz ve içeriğin nasıl daha insani görüneceği konusunda ona rehberlik ettiğimiz ikinci bir denemenin sonuçlarını karşılaştırdık:Kandırılamayan tek araç Originality oldu. Ancak her iki durumda da Yapay Zeka Metin Sınıflandırıcısı’nı başarılı bir şekilde kandırdık ve her iki içeriğin de yapay zeka tarafından üretilme ihtimalinin düşük olduğu sonucuna vardık. İlginç bir şekilde, Content at Scale ve CopyLeaks, ChatGPT-4 metni hazırladıktan metnin karmaşıklığı ve karşılaşma sıklığı ilgili yönergeleri dikkate alarak fikirlerini değiştirdi.

Algılayıcıları güvenilmez yapan şey nedir?

Dedektörler, içerikte metnin karmaşıklığı olarak bilinen öngörülebilir unsurları aramak üzere tasarlanmıştır. Öngörülebilirlik ne kadar düşükse, metnin geleneksel bir şekilde, yani bir insan tarafından yazılmış olma ihtimali o kadar yüksektir. Bununla birlikte, ChatGPT gibi bir sohbet robotuna girilen komutlardaki küçük değişikliklerin tamamen farklı bir sonuç verebilmesi gibi, kontrol edilen metindeki küçük bir değişiklik (anlamını yalnızca biraz değiştirebilir) bu araçlar tarafından verilen değerlendirmeyi etkileyebilir.

Örneğin, %80'i yapay zeka tarafından üretilen Robot Bob adlı çocuk kitabını ele alalım. Yayıncı, eserin %20'sini insan tarafından düzenlenmesine atfetmiştir. Kitabın nasıl oluşturulduğuna dair doğruladığımız bölüm, 276 kelimeden oluşan ilk bölümüydü. Aslında aynı metni sadece küçük bir değişiklikle iki kez doğruladık: bölümün içeriğinin önüne "Bölüm 1: Yıldız Şehri"ni ekledik. Sonuç olarak, Copyleaks.com kitabın kaynağına ilişkin değerlendirmesini tamamen değiştirdi. Bölümün temiz metninde, araç, yapay zeka tarafından oluşturulan içeriği tespit etti, ancak bölüm numarası ve başlığı hakkında bilgi içeren aynı metin insan tarafından yazılmış olarak kabul edildi.Peki, algılayıcılar çevrilmiş içeriğe nasıl tepki veriyor? Örnek olarak, bir metin yazarı tarafından yapay zeka yardımı olmadan yazılan içeriği kullandık. Makale Lehçe yazılmıştı. Bazı araçlar bu dili desteklemese de, yine de herhangi bir hatayı tespit etmeden içeriği doğrulamaya çalışıyor. Originality.ai tarafından sağlanan sonuçlar, Lehçe metni doğrularken içeriğin insan tarafından yazıldığına dair %77 kesinlik gösterdi. Aynı metin DeepL kullanılarak çevrildiğinde araç, bir insan tarafından yazıldığına dair yalnızca %67 kesinlik verdi. Metin Google Translate tarafından çevrildiğinde bu kesinlik %36'ya düşmekte.

İlginç bir şekilde, Lehçe içeriği resmi olarak destekleyen bir başka araç olan Copyleaks, tüm versiyonları doğru bir şekilde sınıflandırdı. Metnin çoğunun insan tarafından yazılmış olma olasılığı (aracın, metnin her bir bölümünü ayrı ayrı değerlendirdiği göz önünde bulundurulduğunda) Lehçe versiyon için %99,9, DeepL çevirisi için %89,8 ve Google Translate versiyonu için %90,2'di. Aradaki farklar küçük olsa da, Google'ın çevirisinin, DeepL'e göre insan yazım tarzına daha yakın olarak değerlendirilmesi ilgi çekiciydi, ki bu metinler Originality tarafından tam tersi şekilde sınıflandırıldı.

Yapay zeka içerik algılayıcılarının insanlardan farkı nedir?

Pennsylvania Üniversitesi Mühendislik ve Uygulamalı Bilimler Fakültesi'nden araştırmacılar, insanların yapay zeka tarafından üretilen içerikleri nasıl ayırt ettiğini araştırdı. Farklılıkları tespit edebiliyor muyuz ve karar verirken hangi faktörleri göz önünde bulunduruyoruz?

Kaynak: https://arxiv.org/pdf/2212.12672.pdf 

Çeşitli içerik türleri için, öncelikle değerlendirmemiz üzerinde tipik olarak en güçlü etkiye sahip olan uygunluğa odaklanıyoruz. Yapay zeka tarafından oluşturulan içerikte, yapay zeka araçlarının doğrulayamadığı bir mantık eksikliğinden ve çelişkili bölümlerin varlığından kaynaklanan hataları da tespit ediyoruz.

Yapay zeka algılayıcıları, değerlendirmelerini öncelikle metnin öngörülebilirliği ve rastlantısallığına dayandırmakta, çalışmanın katılımcıları tarafından vurgulanan diğer birçok faktörü dikkate almamaktadır. Bunu, ChatGPT henüz yaygın bir isim haline gelmeden önce, Eylül 2022'de yapay zeka tarafından oluşturulan bir makale ile test ettik. Makale bir yandan biçimsel hatalar, mantıksız cümleler ve garip ifadelerle doluyken, diğer yandan gerçekten de 'orijinal' ve özellikle raslantısaldı.

Metnin orijinali Lehçeydi, bu nedenle DeepL ve Google Translate aracılığıyla otomatik çeviri sürecini tekrarladık ve iyi bir ölçüm için orijinal metni de inceledik (tüm araçların Lehçe dilini desteklemediğini, ancak değerlendirmeyi gerçekleştirdiklerini unutmayın).

İşte sonuçlar: Görüldüğü üzere, Originality.ai çevrilen metni değerlendirme görevini en iyi şekilde yerine getirmiştir, ancak sonuçları kesin değildir. Otomatik çeviri sürecinin içeriğe 'doğal olmayan' bir unsur katabileceğini ve bunun da içeriğin yapay zeka tarafından üretilmiş olarak algılanma olasılığını kısmen artırabileceğini unutmayın.

Özet

Yapay zeka içerik tespit araçlarının paradoksu, yapay zeka tarafından üretilen metinlerin kalitesi hakkında o kadar şüpheci olmamızdır ki, bunları tespit etmek için başka bir yapay zeka tabanlı araca ihtiyaç duyarız. Bu noktada kendimize sormamız gereken en önemli sorular şunlardır: Bir içeriğin nasıl oluşturulduğunu kesin olarak belirleyebilir miyiz? Bir makale iyi yazılmışsa ve herhangi bir hata içermiyorsa, yazılma şekli gerçekten önemli midir?

Yapay zeka tarafından oluşturulan içeriğin düşük kaliteli olduğuna dair yaygın bir inanış var. Bazıları da web sitelerinin bu şekilde oluşturulan içerikler için 'cezalandırılacağını' savunuyor. Ancak Bing ve Google'ın arama motorlarında yapay zeka kullanımına yönelmesi, bu tür çözümlerin faydalarını gördüklerini gösteriyor.

Araçların hiçbiri hatasız değildir. Denememizde, bazıları insan tarafından yazılan metinleri değerlendirmede daha başarılı olurken, diğerleri yapay zeka tarafından oluşturulan metinlerde daha başarılı oldu. Bazı içerikler için sonuçlar, araçlar arasında önemli ölçüde farklılık gösterdi. Seçilen bölümleri doğrularken, nasıl oluşturulduklarını biliyorduk, ancak böyle bir testi kör bir şekilde yapmış olsaydık, sonuçlar güvenilmez olurdu. Bu araçların değerlendirmeleriyle ilgili en büyük sorun, ne zaman doğru ne zaman yanlış olduklarının belirsizliğidir. Bu araçları kullanırken, belirli bir durumda onlara güvenip güvenemeyeceğimizi gerçekten asla bilemeyiz.

Aşağıdaki makale WhitePress® Uluslararası SEO Müdürü Agata Gruszka tarafından yazılan "Detektory treści AI - jak radzą sobie z klasyfikacją tekstu?" başlıklı Lehçe makalenin çevirisidir.