Multi-perspective analysis and systematic benchmarking for binary-classification performance evaluation instruments
İkili sınıflandırma başarım değerlendirme araçları için çok perspektifli analiz ve sistematik kıyaslama
- Tez No: 582347
- Danışmanlar: DOÇ. DR. TUĞBA TAŞKAYA TEMİZEL, PROF. DR. ŞEREF SAĞIROĞLU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 158
Özet
Bu tez, ikili sınıflandırma başarım değerlendirme araçlarının analizi ve kıyaslanması için yeni yöntemler önermektedir. Literatürden tespit edilen kritik sorunları ele alan çalışma, terminolojiyi açıklığa kavuşturmakta ve araçları ilk kez ölçü, ölçüt ve yeni bir kategori olarak gösterge şeklinde ayırt etmektedir. Çok perspektifli çözümleme; iki yeni araçla beraber kanonik biçim, geometri, ikilik, tümleme, bağımlılık ve seviyelendirme gibi yeni kavramları resmî tanımlarla tanıtmaktadır. Ayrıca, Doğruluk Engeli adında yeni bir gösterge önerilmekte ve etüt edilen makine öğrenmesi sınıflandırma çalışmaları üzerinden değerlendirilmektedir. Tüm önerilen kavramları 50 başarım aracı için gösteren bir keşif tablosu tasarlanmış ve tablonun sahaya özgü ölçütler gibi gerçek kullanım durumları gösterilmiştir. Tez, meta-ölçütler (ölçütler hakkında ölçütler) ve metrik uzayı gibi yeni kavramlarla ölçütlerin gürbüzlüğünü değerlendirmek ve karşılaştırmak için 3 aşamadan oluşan sistematik bir kıyaslama yöntemi önermektedir. 13 ölçütün kıyaslanması; doğruluk, F1 ve normalleştirilmiş karşılıklı bilgi gibi yaygın kullanılan ölçütlerde kayda değer sorunları ortaya çıkarmakta ve Matthews Korelasyon Katsayısını en gürbüz ölçüt olarak belirlemektedir. Kıyaslama yöntemi, literatür ile karşılaştırılarak etraflı bir şekilde değerlendirilmiştir. Tez çalışmasında gürbüz olmayan ölçütlerin kullanımından kaynaklanan yayın önyargısı ve doğrulama sapması da resmî bir şekilde gösterilmektedir. Son olarak tez; kesin ve öz başarım değerlendirme, raporlama ve karşılaştırma konusunda önerilerde bulunmaktadır. Geliştirilen yazılım kütüphanesi, analiz/kıyaslama platformu, görselleştirme ve ölçüt hesaplama/gösterge araçları ve veri kümeleri çevrimiçi olarak yayımlanmıştır. Bu çalışmanın, ikili sınıflandırma başarım değerlendirme alanını temelden yeniden kurması ve kolaylaştırması yanında başarım değerlendirmesinde en gürbüz ve nesnel araç kullanımı ile sorumlu açık araştırmaya katkıda bulunması beklenmektedir.
Özet (Çeviri)
This thesis proposes novel methods to analyze and benchmark binary-classification performance evaluation instruments. It addresses critical problems found in the literature, clarifies terminology and distinguishes instruments as measure, metric, and as a new category indicator for the first time. The multi-perspective analysis introduces novel concepts such as canonical form, geometry, duality, complementation, dependency, and leveling with formal definitions as well as two new basic instruments. An indicator named Accuracy Barrier is also proposed and tested in re-evaluating performances of surveyed machine-learning classifications. An exploratory table is designed to represent all the concepts for over 50 instruments. The table's real use cases such as domain-specific metrics reporting are demonstrated. Furthermore, this thesis proposes a systematic benchmarking method comprising 3 stages to assess metrics' robustness over new concepts such as meta-metrics (metrics about metrics) and metric-space. Benchmarking 13 metrics reveals significant issues especially in accuracy, F1, and normalized mutual information conventional metrics and identifies Matthews Correlation Coefficient as the most robust metric. The benchmarking method is evaluated with the literature. Additionally, this thesis formally demonstrates publication and confirmation biases due to reporting non-robust metrics. Finally, this thesis gives recommendations on precise and concise performance evaluation, comparison, and reporting. The developed software library, analysis/benchmarking platform, visualization and calculator/dashboard tools, and datasets were also released online. This research is expected to re-establish and facilitate classification performance evaluation domain as well as contribute towards responsible open research in performance evaluation to use the most robust and objective instruments.
Benzer Tezler
- Dağıtım merkezi depolarına ilişkin hiyerarşik depo tasarım metodolojisi ve konvansiyonel/otomatik depo karar problemine ilişkin analitik bir model
Hierarchical warehouse design methodology and an analytical model for conventional/automatic warehouse decision problem for distribution centers
İSMAİL KARAKIŞ
Doktora
Türkçe
2014
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT BASKAK
- Prevention and detection of intrusions in wireless sensor networks
Kablosuz algılayıcı ağlarda izinsiz girişlerin önlenmesi ve tespiti
İSMAİL BÜTÜN
Doktora
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversity of South FloridaElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. RAVI SANKAR
- Türkiye'de kripto para seçimini etkileyen kriterlerin ve alternatiflerin AHP yöntemi ile belirlenmesi
Determination of the criteria and alternatives affecting the choice of crypto currency in Turkey using the AHP method
BUSE BULUT
Yüksek Lisans
Türkçe
2023
EkonometriManisa Celal Bayar ÜniversitesiEkonometri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RANA ŞEN DOĞAN
- Plânlı konut yerleşimlerinde açık mekân kurgusu ile ilişkili yaşantı potansiyellerinin incelenmesi: Ataköy örneği
The research on the life potentials related to open space organization in planned housing settlements: The case of Atakoy
BURAK MANGUT
Doktora
Türkçe
2021
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. FATMA AHSEN ÖZSOY
- An assessment model for participatory architecture: The example of the Solidarity Architecture Exhibition groups
Katılımcı mimarlığı değerlendirme modeli: Dayanışma Mimarlığı Sergisi grupları örneği
ALİ KEMAL TERLEMEZ
Doktora
İngilizce
2022
MimarlıkÖzyeğin ÜniversitesiTasarım, Teknoloji ve Toplum Bilimi Ana Bilim Dalı
PROF. DR. ORHAN HACIHASANOĞLU