Algoritmalar gittikçe artan bir şekilde sağlık hizmetleri, adalet hizmetleri, reklamcılık ve diğer birçok alanda karar almanın merkezine yerleşiyor. Bu dil öğrenen algoritmalar çoğaldıkça, onları tasarlayanların içlerine kodladıkları yanlılıkların farkında olması kaçınılmazdır

Örtük yanlılıklar[1] insan dillerinin doğruluğu kanıtlanmış ve kötücül özellikleridir. Kimi zaman hiç farkına bile varmadığımız bu ilişkiler, nispeten zararsız da olabilir: Örneğin çiçekleri olumlu kelimelerle, böcekleriyse olumsuz kelimelerle ilişkilendiriyoruz. Ancak bunlar insan önyargısını da kodluyor olabilir. Örneğin; Avrupalı Amerikan isimleriyle olumlu kelimeleri ilişkilendirirken, Afrikalı Amerikan isimleriyle olumsuz kelimeleri ilişkilendiriyoruz.

Princeton’daki bilgisayar bilimcilerinin yaptığı yeni bir araştırmaya göre insan dillerini öğrenen bilgisayarlar da kaçınılmaz bir şekilde bu insan yanlılıklarını öğrenecekler. Taslak makalelerinde araştırmacılar yaygın dil öğrenme algoritmasını İngilizce kelimeler arasındaki ilişkileri çıkarsamak için nasıl kullandıklarını anlatıyorlar. Sonuçlar geleneksel psikoloji araştırmalarında ortaya çıkanlara benzer ve birçok farklı başlıktaki yanlılıkları gösterdi. Aslında, yazarlar bilgisayar modelini kullanarak sınadıkları her bir örtük yanlılığı tekrarlamayı başardı.

Örneğin, erkek isimlerini “yönetim” ve “maaş” gibi kelimelerle daha güçlü bir şekilde ilişkilendiren bir toplumsal cinsiyet yanlılığı belirlendi. Kadın isimleriyse “ev” ve “aile” gibi kelimelerle daha güçlü bir şekilde ilişkilendirilmişti.

Princeton araştırmasının yazarları makine öğrenmesi olarak bilinen yöntemi de sınadılar. Bu, Google’ın arama arabiriminin, Apple’ın Siri’sinin ve insan diliyle etkileşim kuran diğer benzer birçok çeşit yazılımın kullandığı bir çeşit algoritmadır.

Makine öğrenmesi algoritmaları yalnızca örnekler aracılığıyla öğrenebilirler. Bu özel araştırmada, araştırmacılar algoritmayı internetten elde edilmiş İngilizce dilindeki metinlere ait olan neredeyse bir trilyon kelimeyi kullanarak eğitmişler. Algoritma bariz bir biçimde herhangi bir yanlılık arayışında değildi. Aksine kelimelerin anlamını, birbirleriyle olan yakınlıklarından türetti. Algoritmanın öğrendiği ilişkiler, bir bakıma, İngilizce dilinin, en azından çevrimiçi kullanıldığı şekliyle, aslına uygun bir yapısıydı.

Bu durumu daha inandırıcı bir şekilde açıklayabilmek için yazarlar farklı meslek isimleriyle (“doctor”, “teacher”, vb.), kadını belirten kelimelerin (“female”, “woman”, vb.) arasındaki ilişkilerin gücünü karşılaştırdılar. Şaşılacak derecede, bu basit ilişkiler, oldukça kesin bir şekilde bu mesleklerin her birinde çalışan kadın sayısını öngörüyor. Tavuk ve yumurta sorunsalını bir kenara bırakırsak, meslekler veya işler hakkında hiçbir şey bilmeyen bir algoritmanın insan toplumsal örgütlenmesinin önemli bir boyutunu etkin bir şekilde yeniden inşa etmesi dikkat çekicidir.

Kadınların çeşitli mesleklerdeki istihdam düzeyleri, meslek isimleriyle kadınlarla güçlü bir şekilde ilişkili kelime grupları arasındaki ilişki gücüyle fazlasıyla ilintiliydi (Caliskan-Islam vd.).

Makine öğrenmesi algoritmaları güçlerini örnek güdümlü eğitim sürecinden alıyorlar. Maalesef, bu süreç ayrıca algoritmalara yanlı olmamalarını basitçe öğretemeyeceğiniz anlamına da geliyor. Eski moda, insan tarafından programlanan bilgisayar yazılımlarından farklı olarak, kişinin “bu tekil şeyi yapma” demek üzere kullanabileceği bir düğme yok. Teoride, algoritmayı yanlı olmayan dil örnekleriyle eğitmek mümkün, ancak bir şekilde bunlardan yeterince örnek hazırlanabilse de, bu hazırlanan örnekler bir bakıma algoritmayı bizi yanlış anlayacak şekilde eğitmek anlamına da gelecektir.

Algoritmalar gittikçe artan bir şekilde sağlık hizmetleri, adalet hizmetleri, reklamcılık ve diğer birçok alanda karar almanın merkezine yerleşiyor. Bu dil öğrenen algoritmalar çoğaldıkça, onları tasarlayanların içlerine kodladıkları yanlılıkların farkında olması kaçınılmazdır. Bu yılın başlarında, ProPublica suç sanıklarına “risk puanları” veren sistemlerdeki ırkçı eğilimi gösteren provokatif bir hikaye yayımladı. Her ne kadar bu belirli puanlar daha geleneksel istatistiksel modellere dayanıyor gibi gözükse de, yine de algoritmik yanlılıkların nasıl da gerçek dünyada bir zarara dönüşebileceğini gösteriyorlar. Yanlı risk puanları siyahların, kendileriyle benzer konumdaki beyaz birine göre hapishanede daha fazla zaman geçirecekleri anlamına gelebilir.

Bu sorunların çözümü, muhtemelen algoritmayı daha ideal bir İngilizce konuşacak şekilde (veya daha ideal bir dünyaya inanacak şekilde) eğitmek yerine, ilgili algoritmanın yer aldığı herhangi bir karar almada hesap verilebilirlik katmanları gerektiren “algoritmik hesap verilebilirlik” (pdf) konusunu güvence altına almaktır.

ProPublica’nın analizinde yaptığı gibi algoritmadan bağımsız olarak sonuçların değerlendirilmesi, makinenin yanlılığını denetleme olarak hizmet edebilir. Sonuçların gerçekten yanlı olduğu durumlarda, telafi etmek için sonuçların geçersiz kılınması gerekli olabilir. Bu, algoritmalara sızan yanlılıkları yok etmek için bir çeşit “gerçekten doğru çalışana kadar öyle çalışıyormuş gibi gösterme” stratejisidir.

[Quartz’taki 29 Ağustos tarihli İngilizce orijinalinden Tahir Emre Kalaycı tarafından Sendika.Org için çevrilmiştir.]

 

[1] Prejudice ve implicit bias kavramları arasındaki farka dikkat çekmek gerekiyor. Türkçe’ye her ikisi de önyargı olarak çevrilen bu kavramlardan implicit bias bilişsel yanlılığı ifade etmek için kullanılırken prejudice daha çok belirli bir gruba karşı olumsuz (veya bazen olumlu) yanlılığın sözel, davranışsal veya duygusal eylemini, çıktısını ifade etmek için kullanılıyor (ç.n.).