Yapay Zekâ Modeli Tarafsız, Verisi Değil

Karşılık ve değerleme tahminlerini yapay zekâ modellerine devreden şirketler çoğalıyor. Algoritma taraflılığı muhasebe tahminlerini nasıl sistematik biçimde saptırır, denetim standartları buna hangi araçlarla cevap verir — ve daha sinsi bir senaryo: ya şirket, tahmini yapay zekâya yaptırdığını denetçiye hiç söylemezse?

Yapay zekâ modellerini insan hatasını ortadan kaldırmak için kuruyoruz. Yorgunluk yok, unutkanlık yok, iyimserlik yok. Ama gözden kaçan bir şey var: yapay zekâ modeli, geçmiş verinin içindeki önyargıyı da öğreniyor ve onu ölçekleyerek geleceğe taşıyor. İnsan yanıldığında bir dosya hatalı olur; yapay zekâ modeli yanıldığında bütün portföy aynı yönde sapar.

Standardın kavram seti bu riski çoktan tanımlamış

Muhasebe tahmini, kesin ölçüm yöntemi bulunmayan parasal büyüklüktür: şüpheli alacak karşılığı, beklenen kredi zararı, gerçeğe uygun değer, dava karşılıkları. TMS 8'in (Muhasebe Politikaları, Muhasebe Tahminlerinde Değişiklikler ve Hatalar) beklentisi net: tahmin, mevcut şartların ve işletmenin geleceğine dair en gerçekçi verilerin yansıması olmalıdır. BDS 540 (Muhasebe Tahminlerinin ve İlgili Açıklamaların Bağımsız Denetimi) ise denetçiye bu tahminlerin nasıl sorgulanacağını söyler.

BDS 540'ın kavram setinde dikkat çeken bir tanım var: yönetimin taraflılığı — tahminin yansız olmaması hâli. Standart bunu hile riskiyle bağlantılı bir kavram olarak kurar. İnce bir ayrım da ekler: tek bir dönemdeki taraflılık göstergesi, tek başına yanlışlık oluşturmaz. Ama birden fazla dönemde hep aynı yönde sapan bir örüntü görüldüğünde, iş kasıtlı taraflılık şüphesine ve BDS 240'a (denetçinin hileye ilişkin sorumlulukları) döner.

Standart yazılırken bu taraflılığın kaynağı insan yargısıydı: kârı yönetmek isteyen bir yönetici, iyimser bir bütçe, savunulan bir varsayım. Bugün aynı taraflılık başka bir yere taşınıyor — yapay zekâ modelinin ağırlıklarına.

Yapay zekâ modeli önyargıyı öğrenir, sonra otomatikleştirir

Bankacılık ve sigortacılıkta kredi risk skorlaması ile karşılık hesaplamalarının yapay zekâ ve makine öğrenmesi modellerine devri hızlanıyor. TFRS 9'un (Finansal Araçlar) beklenen kredi zararı yaklaşımı zaten ileriye dönük, hesaplama modeline dayalı bir tahmin ister; bu da alanı otomasyona doğal olarak açık hâle getiriyor. Denetim tarafında da tablo farklı değil: Big4'ün Helix ve Clara gibi platformları analitiği denetimin merkezine çekti.

Sorun yapay zekâ modelinin kendisinde değil, öğrendiği geçmişte. Kriz yıllarının verisini aşırı öğrenen (overfitting) bir yapay zekâ modeli, her müşteride temerrüt gölgesi görür ve karşılıkları şişirir. Yalnızca sakin dönem verisiyle eğitilen yapay zekâ modeli ise iyimserdir; karşılıkları eksik hesaplar. İki durumda da ortaya çıkan tutar, TMS 8'in istediği "mevcut şartların en gerçekçi yansıması" olmaktan çıkar. Ve kritik nokta şu: bu sapma rastgele değil, sistematiktir. Yapay zekâ modeli her dönemde, her müşteride aynı yöne çeker.

Bu da bizi BDS 540'ın az önceki ayrımına geri getirir. Dönemler boyunca aynı yönde sapan tahmin örüntüsü, standardın kasıtlı taraflılık şüphesi için tarif ettiği tablonun ta kendisidir — bu kez niyet olmadan, kod eliyle üretilmiş hâli. Kimse kârı yönetmek istememiştir; ama sonuç, kârı yöneten bir mekanizmadır.

Peki yapay zekâ modelinin varlığını size kim söyleyecek?

Buraya kadar yazdıklarımın örtük bir varsayımı var: şirketin, tahmini bir yapay zekâ modeliyle ürettiğini denetçiyle paylaşacağı. Bankalarda ve sigorta şirketlerinde bu varsayım büyük ölçüde geçerli; yapay zekâ modeli kullanımı düzenleyici gözetim altında ve belgeli. Orta ölçekli bir şirkette ise tablo farklı. Bir mali işler ekibi, karşılık hesabını üretken yapay zekâya yaptırıp sonucu "kendi hesapladık" diye sunabilir. Çoğu zaman kötü niyetle bile değil; pratik bir kısayol olarak.

Bu senaryo, taraflılıktan daha temel bir sorun yaratır. BDS 540 denetçiden işe, yönetimin tahmini nasıl oluşturduğunu anlamakla başlamasını ister: yöntem, veri, varsayımlar. Bu anlayış yanlış bir anlatıya dayanıyorsa, sonrasındaki bütün prosedürler var olmayan bir süreci test eder. Görünüşte titiz bir denetim, kurgu bir sürecin üzerine inşa edilmiş olur. BDS 580'in (Yazılı Beyanlar) mantığı gereği yönetimden beyan alırsınız; ama beyan, kanıtın yerine geçmez. Dış teyit üzerine yazdığım yazıdaki ilke burada da geçerli: beyana değil, ize güvenin.

Pratikte bunun tek panzehiri yeniden üretilebilirlik. Tahmini kim yaptıysa, aynı sonucu denetçinin karşısında adım adım yeniden üretebilmeli: ara hesaplar, kullanılan veri dosyaları, formüllerin izi. Ekip kendi tahminini açıklayamıyorsa, hesabın arkasındaki izi gösteremiyorsa, bu bir taraflılık göstergesinden önce bir kanıt sorunudur — ve tahminin kaynağına dair soru işaretini büyütür.

Denetçinin araçları hazır, kullanmak gerek

İyi haber: BDS 540'ın araç çantası bu risklere büyük ölçüde cevap veriyor. Geriye dönük gözden geçirme, önceki dönem tahminlerinin gerçekleşmelerle kıyaslanmasını ister — model dünyasındaki adıyla backtesting. Standart ayrıca tahminin dayandığı verinin doğru, tam ve ihtiyaca uygun olmasının test edilmesini, yapay zekâ modeli kullanıldığında modelin geçerliliğinin doğrulanmasını ve gerektiğinde denetçinin kendi bağımsız nokta tahminini veya tahmin aralığını geliştirmesini öngörür.

Uygulamada karşılaştığımız bir vaka bunu iyi anlatır: yönetimin modelden aldığı nokta tahmini, denetçinin kanıta dayalı geliştirdiği aralığın tamamen dışında kalmıştı. Girdiler sorgulandığında, modelin kredi riskini düşük değerlendirdiği ortaya çıktı ve tahmin revize edildi. Modelin matematiği kusursuzdu; verisi taraflıydı.

İtimat Global'de kendi sistemlerimizi kurarken de aynı ilkeyi uyguluyoruz: yapay zekâ modelinin çıktısı kanıt değil, girdidir. Atlas'tan gelen bir sonuç bile bağımsız bir akıl süzgecinden geçmeden çalışma kâğıdına oturmaz.

Pratikte önerdiklerim:

• Tahmin sürecine dair sorgulamaya yapay zekâ ve model kullanımını açıkça ekleyin; cevabı yazılı beyana bağlayın ama beyanla yetinmeyin.
• Tahmini üretenden hesabı yeniden üretmesini isteyin; yeniden üretilemeyen tahmini kanıt eksikliği olarak işaretleyin.
• Yapay zekâ modeli beyan edildiyse eğitim verisinin dönem kapsamını sorun: kriz yılları dahil mi, yalnızca onlar mı dahil?
• Geriye dönük gözden geçirmeyi modelin çıktısı düzeyinde yapın; tahmin-gerçekleşme farklarının yönünü dönemler arası izleyin.
• Yapay zekâ modelinin parametrelerini yılda bir kez bağımsız bir teste tabi tutun; yüksek belirsizlikli kalemlerde kendi tahmin aralığınızı geliştirin, gerekiyorsa BDS 620 (Uzman Çalışmalarının Kullanılması) kapsamında uzmandan yararlanın.

CFO tarafı için de mesaj benzer: yapay zekâ modellerinin yönetişimi artık bilgi işlem konusu değil, finansal raporlama güvencesinin parçası. Ekibinizin yapay zekâya yaptırdığı bir hesabı "kendi çalışmamız" diye sunması, denetim masasında bir verimlilik hikâyesi değil, güven sorunu olarak okunur.

Yönetimin taraflılığını yüz yüze görüşmede sezebilirsiniz; algoritmanın taraflılığı ancak veriyle sorgulanır. Önümüzdeki dönemde tahmin denetiminin asıl sorusu şu olacak: yapay zekâ modelinin söylediğini mi denetliyoruz, öğrendiğini mi — ve modelin varlığından haberimiz var mı?