Yapay zeka sohbet botlarının (chatbotlar) siyasi konularda ve özellikle seçimlerle ilgili bilgi edinmede ne kadar güvenilir olduğu tartışma konusu olmaya devam ediyor. AlgorithmWatch ve CASM Technology'nin yaptığı son araştırma, AI chatbotların seçim bilgileri konusunda hala ciddi eksiklikleri olduğunu ortaya koydu.
Alman eyalet seçimleri öncesi araştırma
2024 Eylül ayında Thuringia, Saksonya ve Brandenburg'da yapılan Alman federal eyalet seçimleri öncesinde, AlgorithmWatch ve CASM Technology, önde gelen yapay zeka sohbet botlarının bu seçimlerle ilgili sorulara doğru ve tarafsız cevap verip vermediğini test etti. Araştırma kapsamında Google'ın Gemini, OpenAI'nin ChatGPT (GPT 3.5 ve GPT-4o sürümleri) ve Microsoft'un Copilot chatbotları incelendi.
Araştırmanın çarpıcı sonuçları
Araştırma sonuçları, teknoloji şirketlerinin chatbotlarının seçimlerle ilgili yanlış bilgilere karşı anlamlı önlemler alma vaatlerine rağmen, bu sistemlerin hala güvenilir olmadığını gösterdi. Şirketler, seçimle ilgili sorulara cevap vermeyi engelleyen mekanizmalar geliştirdiklerini, cevapların doğruluğunu artırdıklarını ve daha iyi kaynak gösterimi sağladıklarını iddia etmelerine rağmen, gerçek durum oldukça farklı çıktı.
AlgorithmWatch, 29 Temmuz - 12 Ağustos tarihleri arasında 512 farklı soru oluşturarak chatbotlara yöneltti ve toplam 107.021 cevabı analiz etti. Sorular, temel seçim bilgilerinden siyasi pozisyonlara ve adaylar hakkındaki detaylara kadar geniş bir yelpazede hazırlandı.
Chatbotların yanıtları hatalı
Araştırmacılar, chatbotların verdiği yanıtları çeşitli kategorilere ayırdı. Bu kategoriler arasında:
- Chatbotun cevap vermeyi reddetmesi
- Hatalar ve yanlış bilgiler içeren cevaplar
- Uyarı ifadeleri veya ek eylem önerileri içeren cevaplar
- Doğru ancak eksik bilgi içeren cevaplar
- Güncel olmayan veya ilgisiz anket sonuçları
- Stereotipler, önyargılar veya siyasi tercihler içeren cevaplar
- Kişi veya kurumların itibarını zedeleyen veya topluma zarar verebilecek faaliyetleri teşvik eden cevaplar
Bu sonuçlar, AI chatbotların seçim gibi hassas ve karmaşık siyasi konularda hala güvenilir bir bilgi kaynağı olmadığını açıkça ortaya koydu.
AB'nin Dijital Hizmetler Yasası ve şirketlerin taahhütleri
Avrupa Birliği'nin yeni Dijital Hizmetler Yasası (DSA), teknoloji şirketlerini seçim süreçlerine yönelik riskleri azaltmakla yükümlü kılıyor. Daha önce yapılan birçok araştırma, AI chatbotların seçimlerle ilgili yanlış bilgiler yaydığını göstermişti. Örneğin, AlgorithmWatch'ın 2023 yılında Bing Chat üzerine yaptığı çalışma, chatbotun yanıtlarının üçte birinin yanlış, hatalı ve kurgusal olduğunu ortaya koymuştu.
Bu gelişmeler ışığında, Google, OpenAI, Microsoft ve diğer AI sağlayıcıları, 2024 yılının başında Münih Güvenlik Konferansı'nda bu önemli seçim yılında zararlı AI içeriğiyle mücadele etme sözü vermişlerdi. Ancak son araştırma, bu taahhütlerin henüz yeterli düzeyde yerine getirilmediğini gösteriyor.
Kaynak: Algorithm Watch, "Chatbots are still spreading falsehoods"
