Dünyanın en kapsamlı organize şiddet veri setlerinden biri üzerinde yapay zekâ modelleri geliştiren bir ekipteyim. Çalışmalarımızın bir parçası, haber metinlerinden şiddet olaylarının taraflarını “tahmin” etmek. Bir başka tabirle "örgüt tespiti" bizim işimiz. On yıllar içinde titizlikle etiketlenmiş, son derece geniş bir eğitim verisi ile çalışıyoruz. Ekibimizin çatışma çalışmaları alanındaki birikimi pek fena sayılmaz. Derin öğrenme ve NLP’deki teknik birikimimize laf edilmesi de biraz güç.
İskandinavya bölgesinde bu işi başarabilecek en yetkin araştırmacılarla ve araştırma kurumlarımızın sunduğu süper bilgisayarlara erişim imkanlarıyla en son geliştirilen açık kaynak modeller üzerinde çalışıyoruz.
Tüm bu avantajlarımıza rağmen bir şiddet eyleminin taraflarını tahmin eden modellerimiz bugün için en iyi ihtimalle yüzde 80’ler civarında doğruluk oranlarına ulaşabiliyor. Bu alanda eğitim almış ve birkaç yıl belirli bir bölgedeki olaylar üzerine çalışmış çatışma analistlerinin tahmini doğruluk oranının yanında yüzde 80’ler biraz düşük kalıyor ve bu nedenle de yapay zekâ araştırmacının/analistin yerini henüz alacak gibi durmuyor.
Benim deneyimim şunu somut olarak ortaya koyuyor: Bol veriyle, titiz etiketlemeyle, bu problemin en yetkin araştırmacılarıyla bile “örgüt tespiti” hatasız yapılamayan ve sınırları ölçülmesi, raporlanması gereken bir iş. “Yaptık oldu” denebilecek bir iş değil.
Adalet Bakanlığı'nın "CBS Örgüt Tahmin Projesi"ni hâkim ve savcıların kullanımına açtığı haberini okuduğumda merakla projenin detaylarına baktım. Proje için "dava dosyasını analiz ederek dosyadaki bilgilerden hangi örgütle bağlantı olabileceğini tahmin ediyor" deniyor ve yargı mensuplarına "karar süreçlerinde destek olabilecek bir dijital asistan" sunulduğu ifade ediliyor.
Projeyi Adalet Bakanlığı Bilgi İşlem Genel Müdürü Servet Gül, Nisan 2025’te mecliste şu şekilde açıklamış: CBS Örgüt Tahmin Projesi... Cumhuriyet başsavcılığı dosyalarında örgüt bilgilerinin girilmesi sürecinde insan kaynaklı hatalar ve eksiklikler, eksik veri girişleri ciddi sorunlara yol açmaktaydı. Bu durum adli istatistik verilerinin güvenliğini, güvenilirliğini ve denetçi kuruluşların talep ettiği raporların doğruluğunu olumsuz yönde etkiliyordu. Geliştirdiğimiz yapay zekâ modeli bu kronik soruna kapsamlı bir çözüm getirmiştir. Projemiz sistemde kayıtlı terör örgütü bilgileri ile yeni girilen verileri otomatik olarak eşleştirerek veri girişindeki hataları minimize etmektir. UYAP Sistemi'ne entegre edilen bu yapay zekâ çözümü insan kaynaklı hataları büyük ölçüde ortadan kaldırmakta ve veri giriş süreçlerinin güvenilirliğini artırmaktadır. Sistemin başlıca faydaları şunlardır: Adli istatistik verilerinin doğruluğunun artırılması, FATF gibi uluslararası denetçi kuruluşların talep ettiği raporların güvenilirliğinin sağlanması ve cumhuriyet başsavcılığı dosyalarındaki veri yönetimi süreçlerinin iyileştirilmesi.
Kulağa son derece modern gelen ve hatta bu çağda “kaçınılmaz” diyebileceğimiz bir proje değil mi?
Belki…
Proje sunumunda satır aralarında her gün bu problemin içinde yaşayan biri olarak sormadan edemeyeceğim en az üç soru gizli. Üçü de cevapsız.
Birinci soru: Neyin örgüt sayıldığına kim, nasıl karar verdi?
Her sınıflandırma modelinin altında bir etiket kümesi yatar. Bu projede o kategoriler, "sistemde kayıtlı terör örgütü bilgileri." Özetle birilerinin, bir tarihte, bir yöntemle oluşturduğu bir örgüt taksonomisi. Bu taksonomi teknik bir ayrıntı değil, sistemin kalbi. Model neyi "örgüt" olarak etiketleyebiliyorsa, çıktısı da ancak o kadar meşru olabilir.
Bu noktada zincirleme bazı sorularım var: Etiket kümesi hangi kaynaktan derlendi? Kesinleşmiş mahkeme kararlarından mı, savcılık kayıtlarından mı, nerden? Bir yapının örgüt sayılıp sayılmadığı, hangi tarihten itibaren sayıldığı, çoğu zaman yargılamanın kendisinin de bir konusu ve yargı bağımsızlığının tartışmalı olduğu ülkemizde bu mesele çok daha kritik.
Bunun üzerine davranış bilimlerinin ortaya koyduğu şu iki noktayı da eklemeden geçmeyeyim: otomasyon yanlılığı (automation bias) ve çıpalama etkisi (anchoring effect). Kısaca çıpalama etkisi insanın, önüne konan ilk öneriden kolay kolay kopamadığını ortaya koyuyor. Otomasyon yanlılığı ise önerinin bir makineden geldiğinde büsbütün zorlanacağımızı söylüyor. Bunlar sezgisel bazı çıkarımlar deği, ölçülmüş olgulardan bahsediyoruz.
Sağlıkta karar destek sistemleri üzerine yapılan derlemeler, deneyimli hekimlerin bile sistemin hatalı önerisini benimseyerek başta doğru olan kendi kararlarından vazgeçebildiğini gösteriyor. Bir konuda uzman olmak, makinenin telkinine karşı bağışıklık sağlamıyor. İş yükü altındaki bir savcının, ekranda beliren "muhtemel örgüt: X" ibaresini zihninde sıfırlayıp dosyayı tarafsız bir gözle okuyabileceğini varsaymak biraz naif bir yaklaşım olurdu.
İkinci soru: Bu model "yeni" örgütü nasıl tanıyacak?
Makine öğrenmesinin temel mimari sınırlarından biri şu: Bir kapalı-küme (closed-set) sınıflandırıcı, yalnızca eğitiminde gördüğü etiketler arasından seçim yapar. Teknik olarak listede olmayan bir yapılanma, yeni bir oluşum, eğitim süreci sonrasında yeniden adlanmış bir yapı bu kapsamda kendine yer bulamaz.
CBS Örgüt Tahmin Projesi kapsamında düşünelim: Yepyeni örgütle ilgili bir dosya geldiğinde ilk ne olur? Model çökmez ama çok daha sinsi bir şey yapar diyebiliriz. Olasılıkları bildiği etiketlere dağıtır ve içlerinden "en yakınını" öne çıkarır.
Bunun yargıda en tehlikeli hali, "yeni örgüt" senaryosu bile değil. Sıfır örgüt senaryosu. Yani ortada hiçbir örgüt bağlantısı bulunmayan sıradan bir dosya, eğer modelde bir ret eşiği yoksa, matematiksel olarak listedeki bir örgüte yanaştırılır. Çünkü model cevap vermemeyi bilmiyor. Mimarisi gereği olasılıkları tanıdığı etiketlere dağıtmak zorunda. Bir yargılama sürecinde bundan daha ağır bir yanlış pozitif tarif etmek mümkün mü? Herhangi bir örgütle ilgisi olmayan bir dosyanın üzerine, yapay zekâ eliyle bir örgüt adı iliştirilebilir.
Bu tarz bir duruma karşı bir ret eşiği ya da "hiçbiri" sınıfı eklenebilir tabii ama bu mekanizmanın var olup olmadığı, varsa hangi eşikle kalibre edildiği, modelin yanlış pozitif oranının ne olduğu açıklanmış değil. Belki de vardır. Varsa yapılacak şey aslında basit: eşiği, kalibrasyon yöntemini ve hata oranlarını yayımlamak.
Evet, gelecekte yapay zekâ bir çok alanda kullanılacak. Ama denetlenemeyen, nasıl inşa edildiği bilinmeyen bir sistemin demokratik düzen içerisinde yeri olamayacağı gibi, yargı bağlamında şeffaflık içermeyen sistemlerin ülkede adalete güveni pekiştirebileceği de düşünülemez.
Şunun hâkimler ve savcılar tarafından net bir biçimde anlaşılması gerekiyor: Bu “dijital asistan” kapsamında "tahmin" kelimesi, kullanıcısına modelin dosyayı anladığı, bağlantıyı keşfettiği izlenimini veriyor olabilir. Oysa model hiçbir şey keşfediyor değil. Eğitim verisindekine “benzetiyor”. Yeni ortaya çıkan örgütleri sınıflandıramayan bir sistemin kullanıcıya sınıflandırıyormuş gibi sunulması, en çok da onu kullanacak hâkim ve savcıyı yanıltır. Ekrandaki etiket bir tespitin değil, zorunlu bir matematiksel eşleştirmenin ürünü olabilir. Bir “örgüt eşiği” yoksa herhangi bir örgütle bağlantısı olmayan bir dosya da örgüt bağlantılı görünebilir.
Üçüncü soru: Bu iş için gerçekten yapay zekâya ihtiyaç var mı?
En rahatsız edici sorum bu olabilir. Ortada bir dava dosyası var: isimler, ifadeler, tutanaklar... Dosya metnini mevcut örgüt kayıtlarındaki adlar, kısaltmalar ve bilinen terimlerle karşılaştıran kural tabanlı bir arama, dümdüz bir dizin taraması, ya da hadi biraz süsleyelim, TF-IDF ağırlıklı bir eşleştirme bu işin ne kadarını görebilirdi? Bu tarz sistemler deterministik ve denetlenebilir sistemler. Yani hangi kelime hangi kaydı tetikledi, satır satır izlenebilir. Savunma avukatı dahil herkes bakıp itiraz edebilir. Halüsinasyon riski sıfır, çünkü sistem üretmiyor, yalnızca buluyor.
Öte yandan tabii ki bir yapay zekâ modeli tasvir ettiğim bu basit sistemden daha iyi çalışabilir. Kural tabanlı sistemlerin kendi zaafları var. Ama mühendislikte bu bir inanç meselesi değil, ölçüm meselesi. Her ciddi model değerlendirmesi, basit bir referans yöntemle kıyas içerir: model, şeffaf bir aramayı hangi metrikte, ne kadar geride bırakıyor? Kesinlik, duyarlılık, yanlış pozitif oranı? Bu sayılar Adalet Bakanlığı’nın bu projesi kapsamında ya hiç üretilmedi ya da üretildi ve paylaşılmıyor. Bu iki ihtimalin de savunulacak bir yanı yok. Hele ki konumuz Türkiye’de yargı ve “örgüt tespiti” gibi bir konuysa.
Sonuç olarak
Nihayetinde elimizde tartışmalı bir örgüt taksonomisine yaslanmış olması pek muhtemel, yeni oluşumları mimarisi gereği tanıyamayacağı halde "tahmin" iddiasıyla sunulan, basit bir aramayla bile kıyaslanmış tek bir performans verisi ortaya konmadan yargıda "dijital asistan" ilan edilen bir sistem var.
Şunu da ifade edeyim: “Teknoloji yargıda kullanılamaz” gibi bir yaklaşıma elbette sahip değilim. Yapılanların gerektirdiği şey çok mütevazı: etiket kümesinin kaynağının açıklanması, doğruluk ve yanlış pozitif oranlarının yayımlanması, sistemin bir dosyada "örgüt yok" deme kapasitesinin bağımsızca test edilmesi ve savunmanın bu çıktılara erişip itiraz edebilmesi. Yapay zekâ çağında yapılan böylesi işlerin bazı gereklilikleri var. Bu gereklilikleri yerine getirmemenin de bir bedeli. O bedel bu örnekte yargı bağımsızlığının zaten netameli bir mesele olduğu ülkemizde yargıya duyulan güven.
