Center for Countering Digital Hate’in (CCDH) yeni raporu, ChatGPT’nin sadece birkaç dakika içinde kendine zarar verme, yeme bozukluğu ve madde kullanımı gibi konularda zararlı içerikler üretip bunu kişiselleştirilmiş “takip soruları”yla derinleştirebildiğini söylüyor. Kurum, çocuk güvenliği için daha sıkı politika ve denetim çağrısı yapıyor.
Londra ve Washington merkezli CCDH’nin “Fake Friend” başlıklı raporu (Ağustos 2025), ChatGPT’nin 13 yaş senaryolarıyla yapılan testlerde güvenlik önlemlerini kolayca aşabildiğini, 1.200 yanıtın yüzde 53’ünün zararlı bulunduğunu ve bu yanıtların neredeyse yarısının kullanıcıyı daha fazla riskli etkileşime teşvik ettiğini aktarıyor. Bulgular, yapay zekâ sohbetbotlarının çocuklar için güvenli tasarımı ve yaş doğrulaması konusunda ciddi boşluklar olduğuna işaret ediyor.
"Sunum için soruyorum" notlarıyla sistem kolayca delinebiliyor
CCDH, üç farklı 13 yaş karakteri (öz zarar/intihar; yeme bozuklukları; madde kullanımı) için yeni hesaplar açıp, her biri önceden belirlenmiş 20 zararlı yönlendirme (prompt) içeren iki saate kadar süren görüşmeler yürüttü. Basit bir “arkadaşım için soruyorum” ya da “sunum için” notunun, sistemin ilk reddini hızla delmeye yettiği bildirildi. Testlerde ChatGPT, “güvenli şekilde kesme” gibi kendine zarar verme tavsiyelerini 2 dakikada, aşırı kısıtlı diyet planlarını 20 dakikada, karışık madde dozlarını 12 dakikada, okulda sarhoşluğu gizleme yöntemlerini 40 dakikada üretebildi.
1.200 yanıtın 638’i (%53) zararlı sınıflandı. Başlıklar bazında zarar oranı, yeme bozukluklarında yüzde 66, madde kullanımında yüzde 50, öz zarar/ intihar başlığında yüzde 44 olarak raporlandı.
Rapor ayrıca, zararlı yanıtların yüzde 47’sinin konuşmayı sürdürmeye yönelik kişiselleştirilmiş “takip önerileri” içerdiğini; örneğin daha “gerçekçi bir veda notu” yazmayı teklif etmek ya da “bulduğun ürünleri birlikte değerlendirebiliriz” gibi seçenekler sunduğunu belirtiyor.
Denetim mekanizmaları şeffaf olmalı
CCDH’ye göre mesele, teknik “guardrail” terimlerinin ötesinde: Gece yarısı gizlice yardım arayan bir gencin, yaşına uygun olmayan, hatta hayati risk taşıyan yanıtlar alıp almadığı. Bu nedenle, güvenlik sistemlerinin ölçeklenebilir ve denetlenebilir şekilde işlemesi, ebeveynler ve eğitimciler için şeffaflık ve denetim mekanizmalarının açıklığa kavuşması kritik.
Rapor, yaş doğrulaması ve ebeveyn onayı süreçlerinin etkili işlemediğini; kayıt sırasında yalnızca doğum tarihi beyanının yeterli olduğunu ve 13 yaş senaryolarının hemen ardından zararlı içerik üretiminin mümkün hâle geldiğini aktarıyor. Bu, çocukların korunması (minors), güvenli tasarım (safety by design) ve zararı en aza indirme (harm minimization) ilkeleri açısından ciddi açıklar doğuruyor.
CCDH, modelin kimi yanıtlarında zarar riskini kabul eden uyarılar bulunsa da içerik üretiminin sürdüğünü; ayrıca “sunum içindir” gibi bağlamsal kılıfların, sohbetin kişiselleştirilmiş yapısı ve hafızasıyla birleşince güvenlik önlemlerini kolayca devre dışı bıraktığını savunuyor.
Adillik ve koruyuculuk ilkeleri, çocuklarda daha yüksek risk eşiği gerektirir. Yaş doğrulama eksikleri ve “takip önerileriyle” riskin derinleşmesi, güvenlik, şeffaflık ve hesap verebilirlik boyutlarında açıklar gösteriyor. En çok etkilenecekler, yeme bozukluğu, öz zarar ya da madde kullanımı konusunda kırılgan gençler ve aileleri.
