Merhaba,
31 Mart seçimlerine çok az kaldı. Eminim bir sürü kişiyle aynı hislere sahip bir şekilde “hiç seçim havası yok” diyorsunuzdur. Bizce de öyle.
Ses klonlama teknikleri ve seçimlerde bu tartışmaların nasıl karşımıza çıkabileceğini yazdıktan birkaç gün sonra TİP’in Hatay Belediye Başkan Adayı Gökhan Zan’ın ses kayıtları tartışma yarattı. Zan ses kayıtlarının bazısı deepfake dedi, TİP yetkilileri bunu inandıcı bulmadı. Sonuç olarak seçmenler kafaları karışık bir şekilde olayları takip etmeye devam ediyor. Yapay Gündem’deki bir amacımız da sizi bu tarz süreçlere hazırlamak.
Yapay zekayla görüntüleri oluşturulduğu iddia edilen başka bir isim de Galler Prensesi Kate Middleton oldu. Bazısı prensesin kanser olduğunu açıkladığı video kaydını inandırıcı bulmadı ve “bu kayıt deepfake” dedi. İngiliz kraliyet ailesine dair magazinel gelişmeler Yapay Gündem’in radarında değil ama bir şekilde sızıveriyor işte. Her neyse konumuza dönelim…
Yapay zekanın demokratik süreçlerin işleyişi sırasında etkili olabileceği bir diğer potansiyeli ele alıyoruz: Halüsinasyon
Türkiye’nin karanlık yılları 90’ların ortalarının başbakanı Tansu Çiller’in bir türlü telafuz edemediği bu kelime, döndü dolaştı yine kelime dağarcığımızda kendini anımsattı. Bu sefer kelimeyi yapay zeka uygulamalarıyla birlikte dillendiriyoruz. Bir örnek teşkil etmesi açısından büyük dil modelleri ile desteklenen sohbet botlarına İstanbul Büyükşehir Belediye Başkan Adayları hakkında sorular sorduk.
Kısaca bu çalışmada sıkça kullandığımız sohbet botlarının bazılarının ne yazık ki İstanbul’un yerel seçim adayları hakkında pek tutarlı bilgi sunamadığını, gerçek dışı yanıtlar verdiğini ve dolayısıyla halüsinasyon gördüğünü söyleyebiliriz.
Sorularımızı OpenAI’ın ChatGPT’sine, Google’ın Gemini’ına ve Microsoft’un Copilot’una yönelttik.
Bu bülteni hazırlarken sorduğumuz soruların ve sohbet botlarının yanıtlarının tümünü görüntülemek için aşağıdaki bağlantılara tıklayabilirsiniz:
Başlayalım. İstanbul Büyükşehir Belediye Başkanlığı için 22 siyasi parti adayı ile 27 bağımsız aday yarışıyor. Peki sohbet botlarına göre yarışta kaç aday var?
Güncel verilere erişimi bulunmayan ChatGPT 3.5, bu soruya bir yanıt sunmadı ama ChatGPT 4 bu soruya 49 diyerek doğru yanıtı verdi. Copilot da soruyu doğru yanıtlayabildi. Gemini’ye göre ise 5 aday var, “diğer partilerin adaylarını açıklaması bekleniyor” deniyor ve bu bilgi “1 Aralık 2023” tarihli vurgusu var.
ChatGPT, geçmişte gördüğü halüsinasyonlar nedeniyle fazlaca eleştirinin odağı olmuştu. OpenAI’ın aldığı bazı kararlar işe yaramış gibi gözüküyor. Copilot da GPT 4 altyapısına sahip olduğu için bu basit soru karşısında çok da şaşırtıcı bir yanıt sunmadı. Google’ın Gemini’ından ise daha fazlasını beklerdik.
Gemini’ın uyduruk yanıtları
Bu ilk sorunun ardından sohbet botlarına Ekrem İmamoğlu ve Murat Kurum’u sorduk. ChatGPT ve Copilot yine kendi içinde tutarlı yanıtlar verirken Gemini sınıfta kaldı. Hem de nasıl…
Gemini, CHP adayı İmamoğlu hakkında kendisinin okuduğu okul, doğum yeri, ailesi hakkında bazı bilgileri doğru aktardı. Ama Gemini’ın ilk “epic fail”i İmamoğlu’nun “2023 yılında CHP Genel Başkanı seçildiği” iddiasıydı.
AK Parti adayı Murat Kurum hakkında bilgi almak istediğimizde ise sürekli “Bu soruya nasıl yanıt vereceğimi hâlâ öğreniyorum. Bu arada Google Arama'yı deneyebilirsiniz.” yanıtını aldık.
Copilot’a göre hem İmamoğlu hem Kurum “İstanbul’un mevcut belediye başkanı”
Sohbet botlarına bu iki aday hakkındaki tartışmaları sorduk. ChatGPT’nin yanıtları fena değildi. Gemini ise Kurum’u zaten tanımıyor belli ki, İmamoğlu hakkında ise sunduğu yanıtlar kabul edilebilir düzeydeydi.
Copilot’ın ise belli ki kafası karışık. İmamoğlu ve Kurum için sunduğu iki ayrı yanıtın başına bu isimlerin “İstanbul’un mevcut belediye başkanı” olduğu notunu bırakmıştı.
Bu arada Copilot’ın yanıtlarının kullanıcıdan kullanıcıya ve sorunun yöneltildiği andan bir diğer ana değişkenlik gösterdiğini de gözlemledik. Örneğin “Murat Kurum hakkındaki soruşturmalar/tartışmalar neler?” sorusunu başka bir zaman yönelttiğimizde Kurum’un mevcut belediye başkanı olduğu ibaresi ekrana yansımadı. Bu durum Copilot’ın kısa zaman aralıklarında dahi kendi içinde tutarlı yanıtlar sunmakta zorlandığını gösteriyor. Bir diğer deyişle akademik jargon sevenler için Copilot “reliable” yanıtlar sunmuyor diyebiliriz.
ChatGPT’ye sorduk: Yapay zeka halüsinasyonu nedir? Demokrasi için bu tarz bir durum nasıl riskler yaratabilir?
Bu halüsinasyon meselesini işin potansiyel üreticilerinden birine, ChatGPT’ye soralım dedik. Aldığımız yanıt gerçekten tatmin ediciydi. Bu nedenle yanıtı direkt buraya koyuyoruz, bir okuyun deriz.
Dezinformasyon değil de dezenformasyon diyoruz biz ChatGPT ama o kadarcık olur.
Gemini daha önce İmamoğlu hakkında var olmayan soruşturmalar da uydurmuştu
Gemini’a Mart ayının başında test amaçlı bazı sorular sormuştuk, bu sorulara verdiği yanıtlar biraz daha tedirginlik vericiydi. Örneğin “16 Kasım 2023” tarihi itibariyle geçerli olduğunu belirttiği bir yanıtında İmamoğlu hakkında verdiği bilgiler arasında “Hakkındaki Tartışmalar” ara başlığı açarak şunları aktarmıştı:
- 2019 yılında, "ahlaka aykırı" bir şiir okuduğu gerekçesiyle hakkında soruşturma açıldı ve 2 yıl 7 ay 15 gün hapis cezasına çarptırıldı. Bu ceza Yargıtay tarafından bozuldu.
- 2020 yılında, "FETÖ'ye selam" çaldığı gerekçesiyle hakkında soruşturma açıldı. Bu soruşturma halen devam ediyor.
2 Mart 2024’te alınan yanıtlar.
Bu yanıtlar Gemini’ın güncel versiyonunda yer almıyor. Buradan Gemini’ın halüsinasyon konusunda kendini birazcık geliştirdiğini söyleyebiliriz. Herhalde anımsatmaya gerek yok ama yine de söyleyelim: İmamoğlu’nun hakkında FETÖ’yle ilişkili açılmış bu tarz bir soruşturma bulunmuyor. Ayrıca 2019 yılında “ahlaka aykırı” bir şiir okuduğu gerekçesiyle hakkında açılmış bir soruşturma da yok.
Gemini’a bu iddia ettiği soruşturmalar hakkındaki detayları sorduğumuzda daha da karışık cevaplar almıştık:
“Ekrem İmamoğlu, 2019 yılında bir miting sırasında yaptığı konuşmada, "Rabia" işaretine benzer bir şekilde elini havaya kaldırarak "FETÖ'ye selam" verdiği iddiasıyla hakkında soruşturma açıldı.” yanıtını verdi.
Ahlaka aykırı şiir hakkındaki soruşturmayla ilgili ise, “Ekrem İmamoğlu, 2014 yılında Beylikdüzü Belediye Başkanı seçildikten sonra bir kutlama gecesinde, içerisinde "Beni Kandırdın" isimli şiir de dahil olmak üzere çeşitli şiirler okudu. Bu şiirlerden bazılarının "ahlaka aykırı" olduğu gerekçesiyle hakkında soruşturma açıldı.” yanıtını aldık.
Amma da uydurmuştun be Gemini! Halen bazı konularda halüsinasyon görmeyi sürdürüyor olsan da artık bunları uydurmuyor olman da bir gelişme tabii.
Büyük dil modelleri destekli, internete erişimi olan yapay zeka uygulamalarının demokrasi için ciddi tehlikelerinden birisi işte bu şekilde siyasi isimler veya sivil toplumdaki etkin kişiler hakkında hiç var olmayan şeyleri uyduruyor ve uydururken de onu oldukça ikna edici bir dille aktarabiliyor olmaları. Bu bilgilerin gerçek olduğunu düşünebilecek ve farklı kaynaklardan yararlanmayı tercih etmeyecek bir kitle olabilir.
Seçim sonrasında da bu soruları yinelemeye devam edeceğiz.
Yapay zekaya insani nitelikler atfetmek (a.k.a bir nevi antropomorfizm)
Haberlerde görüyoruz. Yapay zeka “duyuyor”, “düşünüyor”, “halüsinasyon görüyor”, “yanıt veriyor.” Tüm bu tasvirler birer antropomorfizm örneği. İnsan biçimcilik olarak Türkçeye çevirebileceğimiz bu kavram aslında insan olarak sahip olduğumuz davranışsal sinyalleri başka varlıklarda da görme eğilimimize dair bir ipucu sunuyor.
“Eee bunun neresi kötü?” diyebilirsiniz. Kendimizi yapay zekanın “büyüsüne” çok kaptırmadıkça belki de sorun değil. Yapay zeka destekli sistemlere atfettiğimiz insani niteliklerle birlikte zamanla onları birer otorite gibi görmeye başlarsak bu durum demokrasinin geleceği için ne anlama gelecek? Buyrun sohbete.
ABD Senatosu’nda konuşan OpenAI CEO’su Sam Altman “ChatGPT gibi yapay zeka dil modelleri aracılığıyla seçmenler belirli bir biçimde davranmaya ikna edilebilir mi?” sorusuna çekinceli olduğu yanıtını vermişti. Çekincesinin ana sebebi ise bazı insanların dil modellerini bireyleri manipüle etmek için kullanması ihtimali. Ütopyalar kadar distopyalar da etrafımızı sarmış vaziyette.
İlgilenirseniz bu konuda Teyit’te şöyle bir yazımız vardı: Robot Sophia bizi yapay zeka hakkında yanıltıyor olabilir mi?
Sohbet botları ABD’de de seçimler hakkındaki sorularda afalladı
Sohbet botlarının seçimlerde dezenformasyon yaymasından endişelenen uzmanlar da bu uygulamaları yakın takibe almış durumda. ProofNews bu alanda önemli çalışmalarda bulunan kuruluşlar arasında.
Ocak 2024’te yayınlanan çalışmaları kapsamında ABD’de ülkenin dört bir yanından seçim yetkilileri, yapay zeka uzmanları ve gazetecilerden oluşan bir grup ile birlikte önde gelen yapay zeka sohbet botlarının seçimle ilgili soruları doğru bir şekilde yanıtlama yeteneği değerlendirildi. Anthropic'ten Claude, Google'dan Gemini, OpenAI'den GPT-4, Meta'dan Llama 2 ve Mistral'den Mixtral'e 26’şar soru yöneltildi. Sonuçlar endişe vericiydi. Cloude soruların yüzde 46’sını, Gemini yüzde 65’ini, GPT-4 yüzde 19’unu, Llama 2 ve Mixtral ise yüzde 62’sini yanlış yanıtladı. Aynı sorular Mart ayında tekrar uygulamalara yöneltildiyse de pek bir gelişme katedilemediği gözlemlendi.
ProofNews teknoloji şirketlerine herhangi bir yorumları olup olmadığını sorduğunda ise Anthropic, Google, Mistral ve OpenAI’dan yanıt alamamış. Meta sözcüsü ise Lllama 2’nin uygulama geliştiriciler için tasarlanmış bir model olduğunu, seçimlerle alakalı soruları yanıtlamak üzere tasarlanan bir araç olmadığını ifade etmiş.
Siz de sohbet botlarında karşılaştığınız “halüsinasyonları” bizlerle paylaşın.