Automatic performance evaluation of information retrieval systems using data fusion
Veri birleştirme yöntemleri kullanarak bilgi erişim sistemlerinin performansının otomatik olarak değerlendirilmesi
- Tez No: 139319
- Danışmanlar: PROF. DR. ALTAY GÜVENİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: otomatik performans değerlendirme, veri birleştirme, bilgi erişim sistemleri, sosyal refahlık fonksiyonları, sistem performans tahmini, TREC. iv, automatic performance evaluation, data fusion, information retrieval system, social welfare functions, system performance prediction, TREC. in
- Yıl: 2003
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 111
Özet
ÖZET VERİ BİRLEŞTİRME YÖNTEMLERİ KULLANARAK BİLGİ ERİŞİM SİSTEMLERİNİN PERFORMANSININ OTOMATİK OLARAK DEĞERLENDİRİLMESİ Rabia Nuray Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Prof. Dr. H. Al tay Güvenir Ağustos, 2003 Deneysel olarak bir bilgi erişim sisteminin (arama motorunun) etkinliğinin ölçümü belgeler, bir sorgu kümesi ve her sorguya ilişkin bir küme belgeden oluşan bir test koleksiyonu gerektirir. İnsanlar tarafından yapılan değerlendirmeleri pahalı ve özneldir. Buna ek olarak veri tabanları ve kullanıcıların ilgi alanları çok çabuk değişmektedir. Bu nedenle arama motorlarının performansını otomatik olarak değerlendirecek bir yönteme büyük gereksinim duyulmaktadır. Ayrıca son çalışmalar insan değerlendirmelerindeki faklılığın sistemlerin bağıl performansını etkilemediğini göstermiştir. Bu gözlemlere dayanarak, bu tezde veri birleştirme yöntemlerini kullanarak insan değerlendirmelerini otomatik değerlendirmeler ile değiştirmeyi öneriyor, kullanıyor, ve yeni bir yöntem sunuyoruz ve bu yöntemin birçok Text Retrieval Conference (TREC)' de uygulamasının sonuçlarını gerçek insan değerlendirmeleri ile anlamlı ve pozitif uyuşumunu ayrıntılı gösteren istatistiksel değerlendirmelerini gösteriyoruz. Bu tezin önemli katkıları şunlardır: (1) veri birleştirme algoritmalarını literatürde ilk defa kullana bir otomatik değerlendirme yöntemi (2) özdevinimli yöntem ile insan değerlendirmeleri arasında yüksek uyuşum amaçlayan sistem seçme yöntemleri (3) önerilen bu yöntemin bulduğu duyarlık değerlerinin gerçek duyarlık değerlerine güçlü uyuşumunun olduğu gerçeğinden kaynaklanan birkaç farklı pratik faydalar ve yeniliklerdir.
Özet (Çeviri)
ABSTRACT AUTOMATIC PERFORMANCE EVALUATION OF INFORMATION RETRIEVAL SYSTEMS USING DATA FUSION Rabia Nuray M.S. in Computer Engineering Supervisor: Prof. Dr. jh. Altay Güvenir August, 200b The empirical investigation of the effectiveness of information retrieval systems (search engines) requires a test collection composed of a set of documents, a set of query topics and a set of relevance judgments indicating which documents are relevant to which topics. The human relevance judgments are expensive and subjective. In addition to this databases and user interests change quickly. Hence there is a great need of automatic way of evaluating the performance of search engines. Furthermore, recent studies show that differences in human relevance assessments do not affect the relative performance of information retrieval systems. Based on these observations, in this thesis, we propose and use data fusion to replace human relevance judgments and introduce an automatic evaluation method and provide its comprehensive statistical assessment with several Text Retrieval Conference (TREC) systems which shows that the method results correlates positively and significantly with the actual human based evaluations. The major contributions of this thesis are: (1) an automatic information retrieval performance evaluation method that uses data fusion algorithms for the first time in the literature, (2) system selection methods for data fusion aiming even higher correlation among automatic and human-based results, (3) several practical implications stemming from the fact that the automatic precision values are strongly correlated with those of actual information retrieval systems.
Benzer Tezler
- Hakem atama otomasyonu için bir karar destek sistemi: Doğal dil işleme ve veri-güdümlü optimizasyon ile bütünleşik bir yaklaşım
A decision support system for reviewer assignment automation: An integrated approach with natural language processing and data-driven optimization
MELTEM AKSOY
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEDA YANIK ÖZBAY
PROF. DR. MEHMET FATİH AMASYALI
- İngilizce'den Türkçe'ye istatistiksel bilgisayarlı çeviri sistemlerinde alan uyarlaması ile başarının artırılması
Evaluation of domain adaptation approaches on English-to-Turkish statistical machine translation systems
EZGİ YILDIRIM
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Hava kirliliği konusunda çevre bilgi sistemi tasarımı ve gerçekleştirilmesi pilot projesi
Design of an information system about air pollution
HARUN İYİDİKER
- Developing tools to support the search needs of news readers and news writers
Haber okuyucuları ve yazarlarının haber arama ihtiyaçları için araçlar geliştirilmesi
KENAN FAYOUMİ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ REYYAN YENİTERZİ
- İmalat stratejileri ve imalat teknolojisi seçiminde uzman sistem yaklaşımı
Manufacturing strategies and an expert system approach to selecting manufacturing technology
İBRAHİM ÇİL
Doktora
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. RAMAZAN EVREN