Multi-perspective analysis and systematic benchmarking for binary-classification performance evaluation instruments
İkili sınıflandırma başarım değerlendirme araçları için çok perspektifli analiz ve sistematik kıyaslama
- Tez No: 582347
- Danışmanlar: DOÇ. DR. TUĞBA TAŞKAYA TEMİZEL, PROF. DR. ŞEREF SAĞIROĞLU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Makine öğrenmesi, Performans değerlendirme, Yapay zeka, Machine learning, Performance evaluation, Artificial intelligence
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, ikili sınıflandırma başarım değerlendirme araçlarının analizi ve kıyaslanması için yeni yöntemler önermektedir. Literatürden tespit edilen kritik sorunları ele alan çalışma, terminolojiyi açıklığa kavuşturmakta ve araçları ilk kez ölçü, ölçüt ve yeni bir kategori olarak gösterge şeklinde ayırt etmektedir. Çok perspektifli çözümleme; iki yeni araçla beraber kanonik biçim, geometri, ikilik, tümleme, bağımlılık ve seviyelendirme gibi yeni kavramları resmî tanımlarla tanıtmaktadır. Ayrıca, Doğruluk Engeli adında yeni bir gösterge önerilmekte ve etüt edilen makine öğrenmesi sınıflandırma çalışmaları üzerinden değerlendirilmektedir. Tüm önerilen kavramları 50 başarım aracı için gösteren bir keşif tablosu tasarlanmış ve tablonun sahaya özgü ölçütler gibi gerçek kullanım durumları gösterilmiştir. Tez, meta-ölçütler (ölçütler hakkında ölçütler) ve metrik uzayı gibi yeni kavramlarla ölçütlerin gürbüzlüğünü değerlendirmek ve karşılaştırmak için 3 aşamadan oluşan sistematik bir kıyaslama yöntemi önermektedir. 13 ölçütün kıyaslanması; doğruluk, F1 ve normalleştirilmiş karşılıklı bilgi gibi yaygın kullanılan ölçütlerde kayda değer sorunları ortaya çıkarmakta ve Matthews Korelasyon Katsayısını en gürbüz ölçüt olarak belirlemektedir. Kıyaslama yöntemi, literatür ile karşılaştırılarak etraflı bir şekilde değerlendirilmiştir. Tez çalışmasında gürbüz olmayan ölçütlerin kullanımından kaynaklanan yayın önyargısı ve doğrulama sapması da resmî bir şekilde gösterilmektedir. Son olarak tez; kesin ve öz başarım değerlendirme, raporlama ve karşılaştırma konusunda önerilerde bulunmaktadır. Geliştirilen yazılım kütüphanesi, analiz/kıyaslama platformu, görselleştirme ve ölçüt hesaplama/gösterge araçları ve veri kümeleri çevrimiçi olarak yayımlanmıştır. Bu çalışmanın, ikili sınıflandırma başarım değerlendirme alanını temelden yeniden kurması ve kolaylaştırması yanında başarım değerlendirmesinde en gürbüz ve nesnel araç kullanımı ile sorumlu açık araştırmaya katkıda bulunması beklenmektedir.
Özet (Çeviri)
This thesis proposes novel methods to analyze and benchmark binary-classification performance evaluation instruments. It addresses critical problems found in the literature, clarifies terminology and distinguishes instruments as measure, metric, and as a new category indicator for the first time. The multi-perspective analysis introduces novel concepts such as canonical form, geometry, duality, complementation, dependency, and leveling with formal definitions as well as two new basic instruments. An indicator named Accuracy Barrier is also proposed and tested in re-evaluating performances of surveyed machine-learning classifications. An exploratory table is designed to represent all the concepts for over 50 instruments. The table's real use cases such as domain-specific metrics reporting are demonstrated. Furthermore, this thesis proposes a systematic benchmarking method comprising 3 stages to assess metrics' robustness over new concepts such as meta-metrics (metrics about metrics) and metric-space. Benchmarking 13 metrics reveals significant issues especially in accuracy, F1, and normalized mutual information conventional metrics and identifies Matthews Correlation Coefficient as the most robust metric. The benchmarking method is evaluated with the literature. Additionally, this thesis formally demonstrates publication and confirmation biases due to reporting non-robust metrics. Finally, this thesis gives recommendations on precise and concise performance evaluation, comparison, and reporting. The developed software library, analysis/benchmarking platform, visualization and calculator/dashboard tools, and datasets were also released online. This research is expected to re-establish and facilitate classification performance evaluation domain as well as contribute towards responsible open research in performance evaluation to use the most robust and objective instruments.
Benzer Tezler
- A multi-perspective analysis of collaborative filtering performance: Metrics, topologies, and algorithms
İşbirlikçi filtreleme performansının çok boyutlu analizi: Metrikler, topolojiler ve algoritmalar
MERT ARDA ASAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNCE KEZİBAN ORMAN
- Dağıtım merkezi depolarına ilişkin hiyerarşik depo tasarım metodolojisi ve konvansiyonel/otomatik depo karar problemine ilişkin analitik bir model
Hierarchical warehouse design methodology and an analytical model for conventional/automatic warehouse decision problem for distribution centers
İSMAİL KARAKIŞ
Doktora
Türkçe
2014
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT BASKAK
- Derin öğrenme modellerinin transfer öğrenme ile farklı veri setleri üzerindeki performanslarının karşılaştırılması
Comparative performance analysis of deep learning models on different datasets using transfer learning
GÜLAHMET YILDIZ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURCU ÇARKLI YAVUZ
- Akıllı sürdürülebilir şehir değerlendirmesine yönelik bir model önerisi
A model proposal for smart sustainable city assessment
FATMA SENA KARAL
Doktora
Türkçe
2026
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYBERK SOYER
- Bitki ekstraktlarıyla zenginleştirilmiş polimer esaslı hidrojel yara örtüsü geliştirilmesi ve karakterizasyonu
Development and characterization of polymer-based hydrogel wound dressings enriched with plant extracts
MUHAMMET KAMİL KERİM
Yüksek Lisans
Türkçe
2026
BiyomühendislikSakarya ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. MAHMUT ÖZACAR