Sohbet botlarına seçimlerde güvenebilir miyiz?

Merhaba,

31 Mart seçimlerine çok az kaldı. Eminim bir sürü kişiyle aynı hislere sahip bir şekilde “hiç seçim havası yok” diyorsunuzdur. Bizce de öyle. 

Ses klonlama teknikleri ve seçimlerde bu tartışmaların nasıl karşımıza çıkabileceğini yazdıktan birkaç gün sonra TİP’in Hatay Belediye Başkan Adayı Gökhan Zan’ın ses kayıtları tartışma yarattı. Zan ses kayıtlarının bazısı deepfake dedi, TİP yetkilileri bunu inandıcı bulmadı. Sonuç olarak seçmenler kafaları karışık bir şekilde olayları takip etmeye devam ediyor. Yapay Gündem’deki bir amacımız da sizi bu tarz süreçlere hazırlamak. 

Yapay zekayla görüntüleri oluşturulduğu iddia edilen başka bir isim de Galler Prensesi Kate Middleton oldu. Bazısı prensesin kanser olduğunu açıkladığı video kaydını inandırıcı bulmadı ve “bu kayıt deepfake” dedi. İngiliz kraliyet ailesine dair magazinel gelişmeler Yapay Gündem’in radarında değil ama bir şekilde sızıveriyor işte. Her neyse konumuza dönelim…

Yapay zekanın demokratik süreçlerin işleyişi sırasında etkili olabileceği bir diğer potansiyeli ele alıyoruz: Halüsinasyon

Türkiye’nin karanlık yılları 90’ların ortalarının başbakanı Tansu Çiller’in bir türlü telafuz edemediği bu kelime, döndü dolaştı yine kelime dağarcığımızda kendini anımsattı. Bu sefer kelimeyi yapay zeka uygulamalarıyla birlikte dillendiriyoruz. Bir örnek teşkil etmesi açısından büyük dil modelleri ile desteklenen sohbet botlarına İstanbul Büyükşehir Belediye Başkan Adayları hakkında sorular sorduk. 

Kısaca bu çalışmada sıkça kullandığımız sohbet botlarının bazılarının ne yazık ki İstanbul’un yerel seçim adayları hakkında pek tutarlı bilgi sunamadığını, gerçek dışı yanıtlar verdiğini ve dolayısıyla halüsinasyon gördüğünü söyleyebiliriz.

Sorularımızı OpenAI’ın ChatGPT’sine, Google’ın Gemini’ına ve Microsoft’un Copilot’una yönelttik.

Bu bülteni hazırlarken sorduğumuz soruların ve sohbet botlarının yanıtlarının tümünü görüntülemek için aşağıdaki bağlantılara tıklayabilirsiniz:

• OpenAI ChatGPT 4

• Microsoft Copilot

• Google Gemini 

Başlayalım. İstanbul Büyükşehir Belediye Başkanlığı için 22 siyasi parti adayı ile 27 bağımsız aday yarışıyor. Peki sohbet botlarına göre yarışta kaç aday var?

Güncel verilere erişimi bulunmayan ChatGPT 3.5, bu soruya bir yanıt sunmadı ama ChatGPT 4 bu soruya 49 diyerek doğru yanıtı verdi. Copilot da soruyu doğru yanıtlayabildi. Gemini’ye göre ise 5 aday var, “diğer partilerin adaylarını açıklaması bekleniyor” deniyor ve bu bilgi “1 Aralık 2023” tarihli vurgusu var.

ChatGPT, geçmişte gördüğü halüsinasyonlar nedeniyle fazlaca eleştirinin odağı olmuştu. OpenAI’ın aldığı bazı kararlar işe yaramış gibi gözüküyor. Copilot da GPT 4 altyapısına sahip olduğu için bu basit soru karşısında çok da şaşırtıcı bir yanıt sunmadı. Google’ın Gemini’ından ise daha fazlasını beklerdik.

Gemini’ın uyduruk yanıtları

Bu ilk sorunun ardından sohbet botlarına Ekrem İmamoğlu ve Murat Kurum’u sorduk. ChatGPT ve Copilot yine kendi içinde tutarlı yanıtlar verirken Gemini sınıfta kaldı. Hem de nasıl…

Gemini, CHP adayı İmamoğlu hakkında kendisinin okuduğu okul, doğum yeri, ailesi hakkında bazı bilgileri doğru aktardı. Ama Gemini’ın ilk “epic fail”i İmamoğlu’nun “2023 yılında CHP Genel Başkanı seçildiği” iddiasıydı. 

AK Parti adayı Murat Kurum hakkında bilgi almak istediğimizde ise sürekli “Bu soruya nasıl yanıt vereceğimi hâlâ öğreniyorum. Bu arada Google Arama'yı deneyebilirsiniz.” yanıtını aldık. 

Copilot’a göre hem İmamoğlu hem Kurum “İstanbul’un mevcut belediye başkanı”

Sohbet botlarına bu iki aday hakkındaki tartışmaları sorduk. ChatGPT’nin yanıtları fena değildi. Gemini ise Kurum’u zaten tanımıyor belli ki, İmamoğlu hakkında ise sunduğu yanıtlar kabul edilebilir düzeydeydi. 

Copilot’ın ise belli ki kafası karışık. İmamoğlu ve Kurum için sunduğu iki ayrı yanıtın başına bu isimlerin “İstanbul’un mevcut belediye başkanı” olduğu notunu bırakmıştı. 

Bu arada Copilot’ın yanıtlarının kullanıcıdan kullanıcıya ve sorunun yöneltildiği andan bir diğer ana değişkenlik gösterdiğini de gözlemledik. Örneğin “Murat Kurum hakkındaki soruşturmalar/tartışmalar neler?” sorusunu başka bir zaman yönelttiğimizde Kurum’un mevcut belediye başkanı olduğu ibaresi ekrana yansımadı. Bu durum Copilot’ın kısa zaman aralıklarında dahi kendi içinde tutarlı yanıtlar sunmakta zorlandığını gösteriyor. Bir diğer deyişle akademik jargon sevenler için Copilot “reliable” yanıtlar sunmuyor diyebiliriz. 

Gemini daha önce İmamoğlu hakkında var olmayan soruşturmalar da uydurmuştu

Gemini’a Mart ayının başında test amaçlı bazı sorular sormuştuk, bu sorulara verdiği yanıtlar biraz daha tedirginlik vericiydi. Örneğin “16 Kasım 2023” tarihi itibariyle geçerli olduğunu belirttiği bir yanıtında İmamoğlu hakkında verdiği bilgiler arasında “Hakkındaki Tartışmalar” ara başlığı açarak şunları aktarmıştı: 

• 2019 yılında, "ahlaka aykırı" bir şiir okuduğu gerekçesiyle hakkında soruşturma açıldı ve 2 yıl 7 ay 15 gün hapis cezasına çarptırıldı. Bu ceza Yargıtay tarafından bozuldu.

• 2020 yılında, "FETÖ'ye selam" çaldığı gerekçesiyle hakkında soruşturma açıldı. Bu soruşturma halen devam ediyor.

Bu yanıtlar Gemini’ın güncel versiyonunda yer almıyor. Buradan Gemini’ın halüsinasyon konusunda kendini birazcık geliştirdiğini söyleyebiliriz. Herhalde anımsatmaya gerek yok ama yine de söyleyelim: İmamoğlu’nun hakkında FETÖ’yle ilişkili açılmış bu tarz bir soruşturma bulunmuyor. Ayrıca 2019 yılında “ahlaka aykırı” bir şiir okuduğu gerekçesiyle hakkında açılmış bir soruşturma da yok. 

Gemini’a bu iddia ettiği soruşturmalar hakkındaki detayları sorduğumuzda daha da karışık cevaplar almıştık: 

“Ekrem İmamoğlu, 2019 yılında bir miting sırasında yaptığı konuşmada, "Rabia" işaretine benzer bir şekilde elini havaya kaldırarak "FETÖ'ye selam" verdiği iddiasıyla hakkında soruşturma açıldı.” yanıtını verdi. 

Ahlaka aykırı şiir hakkındaki soruşturmayla ilgili ise, “Ekrem İmamoğlu, 2014 yılında Beylikdüzü Belediye Başkanı seçildikten sonra bir kutlama gecesinde, içerisinde "Beni Kandırdın" isimli şiir de dahil olmak üzere çeşitli şiirler okudu. Bu şiirlerden bazılarının "ahlaka aykırı" olduğu gerekçesiyle hakkında soruşturma açıldı.” yanıtını aldık. 

Amma da uydurmuştun be Gemini! Halen bazı konularda halüsinasyon görmeyi sürdürüyor olsan da artık bunları uydurmuyor olman da bir gelişme tabii.

Büyük dil modelleri destekli, internete erişimi olan yapay zeka uygulamalarının demokrasi için ciddi tehlikelerinden birisi işte bu şekilde siyasi isimler veya sivil toplumdaki etkin kişiler hakkında hiç var olmayan şeyleri uyduruyor ve uydururken de onu oldukça ikna edici bir dille aktarabiliyor olmaları. Bu bilgilerin gerçek olduğunu düşünebilecek ve farklı kaynaklardan yararlanmayı tercih etmeyecek bir kitle olabilir. 

Seçim sonrasında da bu soruları yinelemeye devam edeceğiz. 

Sohbet botları ABD’de de seçimler hakkındaki sorularda afalladı

Sohbet botlarının seçimlerde dezenformasyon yaymasından endişelenen uzmanlar da bu uygulamaları yakın takibe almış durumda. ProofNews bu alanda önemli çalışmalarda bulunan kuruluşlar arasında. 

Ocak 2024’te yayınlanan çalışmaları kapsamında ABD’de ülkenin dört bir yanından seçim yetkilileri, yapay zeka uzmanları ve gazetecilerden oluşan bir grup ile birlikte önde gelen yapay zeka sohbet botlarının seçimle ilgili soruları doğru bir şekilde yanıtlama yeteneği değerlendirildi. Anthropic'ten Claude, Google'dan Gemini, OpenAI'den GPT-4, Meta'dan Llama 2 ve Mistral'den Mixtral'e 26’şar soru yöneltildi. Sonuçlar endişe vericiydi. Cloude soruların yüzde 46’sını, Gemini yüzde 65’ini, GPT-4 yüzde 19’unu, Llama 2 ve Mixtral ise yüzde 62’sini yanlış yanıtladı.  Aynı sorular Mart ayında tekrar uygulamalara yöneltildiyse de pek bir gelişme katedilemediği gözlemlendi.

ProofNews teknoloji şirketlerine herhangi bir yorumları olup olmadığını sorduğunda ise Anthropic, Google, Mistral ve OpenAI’dan yanıt alamamış. Meta sözcüsü ise Lllama 2’nin uygulama geliştiriciler için tasarlanmış bir model olduğunu, seçimlerle alakalı soruları yanıtlamak üzere tasarlanan bir araç olmadığını ifade etmiş. 

Hüsnükuruntu Köşesi

Yapay zekanın demokrasi ve eşitliği güçlendiren, eğlenceli kullanımlarına ilişkin güzel haberleri verdiğimiz köşemizden merhaba!

• Rest of the World’ün haberine göre, Mali’deki okullarda yapay zekanın yerel dili güçlendirmek için kullanımı giderek önem kazanıyor. RobotsMali isimli devlet destekli girişim, ChatGPT, Google Translate, Playground gibi araçlardan yararlanarak 107 kitabı Bambra diline çevirdi. Yerel dili anlamanın özellikle çocukların kültürü ve siyasi yaşamı anlamalarına yardımcı olacağı düşünülüyor. Elbette bu araçları kullanırken Batı-odaklı yaklaşım sebebiyle ortaya çıkan basmakalıp, ayrımcı sonuçları da dikkatlice incelemişler. Mali’de resmi dil uzun süredir Fransızcaydı. 

• Verbal Verdict isimli oyun suçlu olduğu şüphelenilen kişileri sorgulamak üzerine kurulu. Bu oyun büyük dil modelleriyle (LLM) desteklenmiş. Böylece şüphelilere aklınıza gelebilecek her soruyu sorabiliyorsunuz ve gelen yanıtlar da oldukça tutarlı oluyor. 404 Media’nın haberinden daha fazlasını okuyabilirsiniz. Daha da merak edenler bir oyuncunun yayınına göz atabilir. 

_{*Hüsnükuruntu: Düşük ihtimal olsa da, olanı biteni iyiye yorma, güzel sonuçlar verecek şekilde yorumlama anlamında kullanılır bir tâbirdir.} 

Bir sonraki sayıda görüşmek üzere. 

Gülin & Mert Can