Geri Dön

An empirical investigation on improving fairness testing for machine learning models

Makine öğrenme modelleri için adalet testlerinin geliştirilmesi üzerine ampirik bir araştırma

PDF İndir

  1. Tez No: 854324
  2. Yazar: UMUTCAN KARAKAŞ
  3. Danışmanlar: DOÇ. DR. AYŞE TOSUN KÜHN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 67

Özet

Teknolojinin durmaksızın değişen ve evrilen dünyasında, makine öğrenimi, adeta bir dönüm noktası niteliğinde yenilikçi bir kavram olarak karşımıza çıkıyor. Bu teknoloji, sağlık, finans, eğlence, ticaret gibi farklı sektörlerde sadece varlığını göstermekle kalmıyor, aynı zamanda karar alma süreçlerini ve insanların yaşam deneyimlerini kökten değiştiriyor. Fakat, makine öğreniminin aldığı bu kritik rol, özellikle önyargı problemlerini de beraberinde getiriyor. Bu da bu modellerin daha sorumlu ve kontrollü bir şekilde yönetilmesinin önemini gösteriyor. Makine öğrenimi sistemlerinin içerdiği önyargılar, algoritmaların ürettiği sonuçların adaletsiz ve yanıltıcı olmasına yol açabilir, bu durum da potansiyel haksızlıklara ve doğruluk eksikliğine neden olabilir. Örneğin, tarihsel verilere dayalı önyargılar yüzünden, işe alım sürecinde kullanılan bir sistem, istemsizce belli bir grup insanı diğerlerine göre avantajlı konuma getirebilir, bu durum cinsiyet, etnik köken veya sosyal statü gibi alanlarda toplumsal eşitsizliklerin perçinlenmesine neden olabilir. Ayrıca, kullanılan verilerin çeşitliliği yeterince temsil edilmediğinde, bir sağlık teşhis aracı, belirli etnik veya ırksal gruplar için yanlış veya yanıltıcı sonuçlar üretebilir. Bu ve benzeri durumlar, makine öğrenimi sistemlerinin günlük yaşam üzerindeki derin etkilerini gözler önüne seriyor ve bu sistemlerin adil ve dengeli bir şekilde işletilmesinin hayati önemini vurguluyor. Geçmişteki makine öğrenimi adilliği stratejileri, genellikle tüm olası veri noktaları ve kombinasyonlarının belirlenmesine ve bunların düzeltilmesine odaklanmış, fakat bu yaklaşım çoğunlukla uç durumları ele alarak gerçek dünya senaryolarının karmaşıklığını yansıtmada yetersiz kalmıştır. Bu metodoloji, kendi içinde önemli kazanımlar sunsa da, tam anlamıyla eksiksiz değildir. Yalnızca belirli durumlar üzerinde yoğunlaşmak, daha yaygın ve geniş kapsamlı etkilere sahip olabilecek önyargıları göz ardı edebilir ve bu da algoritmalardaki gizli eşitsizliklerin devam etmesine yol açabilir. RSFair, bu sorunun çözümünde devrim niteliğinde bir yaklaşım sunarak, dikkati nadir veya aşırı durumların üzerinden alıp daha temsilci ve yaygın veri durumlarına yönlendiriyor. Bu yenilikçi teknik, gündelik durumlarla karşılaşılan genel önyargıları belirlemeyi ve sistemik sorunlara daha geniş ve bütüncül bir bakış açısı getirmeyi amaçlıyor. Ana düşünce, makine öğrenimindeki önyargı spektrumunun daha geniş bir şekilde ele alınabilmesi için, yaygın senaryolardaki önyargının derinlemesine anlaşılması ve bu yolla düzeltilmesi suretiyle daha sağlam ve kapsayıcı bir temel oluşturulması gerektiğidir. RSFair, makine öğrenimi algoritmalarının daha adil ve dengeli olmasını sağlamak amacıyla, veri temsiliyeti ve algoritmik önyargının düzeltilmesi konularında kritik öneme sahip teknikler geliştiriyor. Bu, veri bilimcilerin ve araştırmacıların, algoritmaların toplum üzerindeki etkilerini daha iyi anlamalarına ve makine öğrenimi modellerini daha adil, şeffaf ve hesap verebilir bir şekilde geliştirmelerine olanak tanıyan bir süreçtir. Böylece, teknolojinin sunduğu fırsatlardan herkesin adil bir şekilde yararlanması ve algoritmaların toplumsal önyargıları pekiştirmek yerine, daha inklüzif ve eşitlikçi bir topluma katkıda bulunması hedeflenmektedir. RSFair metodolojisinin benimsediği yaklaşım, büyük ve karmaşık veri kümelerini daha yönetilebilir ve işlevsel boyutlara indirgerken, yeni oluşturulan veri setinin, ana veri setinin kritik özelliklerini doğru bir şekilde yansıtmasını sağlayan iki temel tekniğe dayanır: Orthogonal Matching Pursuit (OMP) ve K-Singular Value Decomposition (K-SVD). OMP, ana veri setinden stratejik olarak seçilen veri noktalarını kullanarak bir nevi sözlük oluşturur. Bu süreç, orijinal veri setinin tamamını ayrıntılı olarak ele almak yerine, onu temsil edebilecek anahtar veri parçacıklarını belirleyerek, veri setinin daha kompakt bir hale getirilmesini hedefler. Söz konusu sözlük, sadece veri boyutlarını azaltmakla kalmaz, aynı zamanda büyük veri setinin kritik özelliklerini, potansiyel önyargılarını ve temel desenlerini de kapsar. Veri noktalarının bu stratejik seçimi, temsil ettikleri karmaşıklığı korurken, veri işleme ve analizinde büyük ölçekli kolaylıklar sağlar. Bu, özellikle büyük veri kümelerinin yönetilmesi ve anlaşılması için hayati öneme sahiptir çünkü hatalı veya yanlış temsil edilen veriler, tüm analiz sürecini tehlikeye atabilir. Öte yandan, K-SVD, OMP tarafından oluşturulan sözlük üzerinde daha derin bir düzeyde çalışır. K-SVD, iteratif bir optimizasyon tekniğidir ve her döngüde, sözlük ögeleri üzerinde hassas ayarlamalar yaparak bu sözlüğü sürekli olarak rafine eder. Bu süreç, sözlüğün ana veri setinin temel özelliklerini ne kadar doğru yansıttığını güvence altına almayı amaçlar. Her iterasyon, sözlüğün doğruluğunu ve dolayısıyla tüm makine öğrenimi modelinin güvenilirliğini artırır. RSFair yaklaşımında, OMP ve K-SVD sadece izole edilmiş teknikler olarak işlev görmekle kalmaz; aynı zamanda birbirleriyle sinerjik bir ilişki içinde çalışırlar. OMP tarafından sağlanan başlangıç sözlüğü, sistemin sağlam bir temel üzerine inşa edilmesini sağlar. Ancak, K-SVD'nin sürekli iyileştirme süreci, bu temelin zaman içinde ana veri setinin değişen veya güncellenen yönlerini doğru bir şekilde yansıtacak şekilde ayarlanmasını garanti eder. Bu, özellikle dinamik veri kümelerinin kullanıldığı durumlarda, modelin güncelliğini ve doğruluğunu koruması açısından kritik öneme sahiptir. Bu çalışmada, iki ana araştırma sorusunu ele almayı amaçladık: 1. RSFair, ayrımcı girdileri bulmada ne kadar etkili? 2. Oluşturulan test girdileri, modelin adillik düzeyini iyileştirmek için ne kadar faydalı? İlk soruyu ele alırken, geleneksel rastgele örnekleme yönteminin yerine OMP ve K-SVD'yi denemeye karar verdik. Bu, RSFair'in performansını AEQUITAS ve rastgele örnekleme yöntemleriyle kapsamlı bir şekilde karşılaştırmamızı sağladı. İkinci soru için ise, arama aşamasında ortaya çıkan ayrımcı noktaları kullanarak başlangıçtaki modelin adillik düzeyini iyileştirdik. Bu işlem, AEQUITAS, rastgele örnekleme ve RSFair için eksiksiz bir şekilde tekrarlandı, bu da sonuçların kapsamlı bir karşılaştırma analizini yapmamıza olanak tanıdı. RSFair'in uygulanması, makine öğrenimi algoritmalarının adalet ve eşitlik ilkelerine daha uygun hale getirilmesi yolunda büyük bir ilerleme anlamına gelir. Bu yaklaşım, algoritmaların oluşturulma şeklini ve çeşitli durumlar karşısında nasıl tepki verdiklerini daha iyi anlamamızı sağlar. Bu, toplumun farklı kesimlerinin teknolojiden adil bir şekilde faydalanabilmesini güvence altına almak için kritik önem taşır. Sonuç olarak, RSFair, makine öğrenimi ve yapay zeka alanlarında önyargıları azaltma ve adil uygulamaları teşvik etme konusunda kapsamlı bir çözüm sunar. Bu metodoloji, sadece teknik bir iyileştirme değil, aynı zamanda bu teknolojilerin sosyal etkilerini düşünerek etik bir ilerleme olarak da değerlendirilebilir.

Özet (Çeviri)

The usage of machine learning has become a more common practice in our lives, so the effects of machine learning can be seen in various sectors such as healthcare, finance, entertainment, and commerce. Thus ML models started taking more crucial roles in influencing decisions and molding experiences. However, the power of machine learning doesn't come without challenges, especially with the issues with fairness. Bias in machine learning systems can skew results, leading to potential inaccuracies or injustices. For instance, a recruitment system might, due to historical data biases, favor one demographic over another, inadvertently perpetuating gender or ethnic disparities. Similarly, a healthcare diagnostic tool might provide unreliable results for certain racial groups if the data it's trained on doesn't account for diversity. Such examples of unfair machine learning behaviors show the crucial need for fairness in these systems. Previous approaches for improving the fairness performance of ML models have focused on the detection and correction of a wide range of data points scattered all over the feature space which generally leads to unrealistic or extreme cases. However, this method has flaws, focusing on those extreme data points can result in missing more common fairness issues, which makes the approach less effective. RSFair is a new approach that shifts the focus from unrealistic or extreme cases to more representative and realistic data instances. This technique aims to detect more common unfair behaviors with the idea that understanding and removing bias in common scenarios will solve the majority of fairness problems in return. In the methodology of RSFair, two primary techniques are employed: Orthogonal Matching Pursuit (OMP) and K-Singular Value Decomposition (K-SVD). These methods are used for sampling a representative set of data points out of a large dataset while keeping its essential characteristics. OMP reconstructs the dataset by the selection of the atom from the dictionary which is the most correlated with the goal signal. This dictionary doesn't includes every single element from the original dataset. Instead, it uses a strategic compilation of atoms that, when combined, represents the full scope of the original dataset. This can also be thought of as trying to recreate the original data set with minimum error, while this error will be reduced and optimized in the K-SVD process by updating the dictionary atoms. This process involves a careful and systematic approach, ensuring that the most representative data points are selected for the dictionary. K-SVD, on the other hand, continually refines the dictionary. It does this through an iterative process, where the dictionary is updated after each cycle. Each iteration aims to optimize the dictionary further, reinforcing its accuracy and reliability as a smaller mirror of the larger dataset. In the RSFair method, OMP and K-SVD are not standalone processes but are collaborative and complementary. The initial dictionary creation by OMP is crucial as it establishes a solid foundation. Still, it's the continuous optimization through K-SVD that ensures this foundation remains robust and reflective of the original dataset. In this study, we've focused on two main research questions: RQ1. How effective is RSFair in finding discriminatory inputs? RQ2. How useful are the generated test inputs to improve the fairness of the model? Addressing the first question, we decided to try out OMP and K-SVD, for creating a representative sampling. to use for discriminatory point detection. This facilitated a comprehensive comparison of RSFair's performance relative to the AEQUITAS and random sampling methodologies. As for the second question, we utilized the discriminatory points uncovered during the search phase to improve the fairness of the initial model. This procedure was replicated for AEQUITAS, random sampling, and RSFair, for the comparative analysis of the outcomes. The introduction of RSFair represents a meaningful advancement in efforts to enhance fairness in machine learning outcomes. By turning attention away from the extreme cases and considering common problems, it's possible to achieve a better understanding of how bias influences these systems.

Benzer Tezler

  1. Tez No

    535121

    Empirical investigation on the determinants of organic food purchasing behavior

    Organik gıda satın alma davranışının belirleyicileri üzerine ampirik bir inceleme

    ÖZGE DİNÇ CAVLAK

    Doktora

    İngilizce

    İngilizce

    2019

    İşletmeOrta Doğu Teknik Üniversitesi

    İşletme Bilim Dalı

    PROF. DR. ÖZLEM ÖZDEMİR

  2. Tez No

    670144

    Investigating sustainable supply chain management practices and performance: An empirical analysis from food industry

    Sürdürülebilir tedarik zinciri yönetim uygulamalarının ve performansın incelenmesi: Gıda sektöründen deneysel bir araştırma

    GİZEM GÜNDOĞDU

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    İşletmeMarmara Üniversitesi

    İşletme (İngilizce) Ana Bilim Dalı

    PROF. DR. BERİL DURMUŞ

  3. Tez No

    526713

    Tedarik zinciri entegrasyonunun operasyonel performans üzerindeki etkisi: Somali uluslararası ticaret işletmelerinde bir araştırma

    The impact of supply chain integration on operational performance: A reseach of somali international trading enterprises

    ABDISAMAD ABDIRAHMAN OMAR ABDISAMAD ABDIRAHMAN OMAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    İşletmeAkdeniz Üniversitesi

    Uluslararası Ticaret ve Lojistik Ana Bilim Dalı

    DOÇ. DR. RAMAZAN ERTURGUT

  4. Tez No

    488893

    Otomotiv yetkili servisinde müşteri memnuniyeti odaklı süreç iyileştirme çalışması: Bir uygulama örneği

    Customer satisfaction focused process improvement work in automotive authorized service: A practice example

    İLHAMİ ALPASLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    İşletmeİstanbul Medeniyet Üniversitesi

    İşletme Ana Bilim Dalı

    YRD. DOÇ. DR. EROL MUZIR

  5. Tez No

    59946

    Beden eğitimi ve spor yüksek okullarındaki öğrencilerde değerler sisteminin araştırılması

    An Investigation on the values systems among the university and high school students of physical education and sport

    HÜLYA GÜRKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    1997

    SporDokuz Eylül Üniversitesi

    Beden Eğitimi ve Spor Ana Bilim Dalı

    DOÇ. DR. HATİCE ÇAMLIYER

Geri Dön