Geri Dön

Learning to rank with incomplete judgements

Tamamlanmamış kararlar ile sıralama öğrenme

  1. Tez No: 397215
  2. Yazar: HİKMET BAHADIR ŞAHİN
  3. Danışmanlar: YRD. DOÇ. DR. EMİNE YILMAZ, DOÇ. DR. DENİZ YURET
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2015
  8. Dil: Türkçe
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 69

Özet

Sıralamayı öğrenme alanındaki araştırmalar eğitim veri kümesinin verildiğini farzeden gelişmiş öğrenme algoritmalarına dayanmaktadır. Ancak eğitim veri kümesinin kalitesi sıralamayı öğrenme başarımını etkiler. Sorgu ile sonuç arasındaki ilişki kararını elde etmenin maliyeti ve bütçe kısıtı göz önüne alındığında, bir eğitim veri kümesi ancak sınırlı sayıda ilişki kararı içerebilir. Bütçenin sınırlı olduğu bir durumda, kararlama için sarfedilen çabanın çeşitli sorgular için önceliklendirilmesi ve bilgi erişim sistemlerinin etkili ve verimli bir şekilde değerlendirilmesi konusunda birçok araştırma vardır. Ancak, tamamlanmamış kararların sıralamayı öğrenmedeki etkileri hakkında çok az araştırma yapılmıştır. Varolan araştırmalarda, herhangi bir amaç metriği ve tamamlanmamış kararları oluşturan örnekleme dağılımı için uygulanabilir çözüm bulunmamaktadır. Bu çalışmada, her sorgu için az sayıda karar barındıran eğitim veri kümelerinin daha iyi nasıl kullanılabileceğine ve bu kümeleri kullanarak nasıl dahha iyi sıralama başarımı elde edebileceğine odaklandık. Bu amaçla, katmanlama örnekleme yöntemi kullanarak tamamlanmamış kararlar oluşturduk. Bu kararları kullanarak, StatAP yöntemi ile amaç fonksiyonu olan ortalama kesinlik değerlendirme metriğinin tarafsız tahminini hesapladık. Ardından, gerçek ve tahmini amaç metriklerinin LambdaMART algoritması ile eniyi değerlerini bulduk. Tahmini ortalama kesinlik modelinin tamamlanmamış kararlar kullandığımızda, gerçek ortalama kesinlik modeline göre daha iyi başarım elde ettiğini gösterdik. Ortaya sunduğumuz yöntemin herhangi bir veri kümesi için uygulanabilir olduğunu gösterebilmek amacıyla, yöntemimizi iki farklı veri kümesinde test ettik.

Özet (Çeviri)

Research in learning to rank has been placed on developing sophisticated learning algorithms mainly, assuming the training set as a given. However, the quality of the training set directly affects the quality of the learned ranking systems. Considering the expense of obtaining relevance judgements and the budget constraint, one can get limited number of judgements to construct a training set. Much research has been devoted to distribute the judgement effort across different queries, and efficient and effective evaluation of retrieval systems given a limited judgement budget. However, little research has been done regarding the effect of incomplete judgements in learning-to-rank and available studies do not propose a solution to the problem that can be applicable given any objective metric and any sampling distribution that used to generate the incomplete judgements. In this work, we focus on how to better utilize training sets with shallow (less) judgements per query and obtain better ranking performance using such training sets. For this aim, we generate the incomplete judgements using stratified sampling strategy and use StatAP method to compute unbiased estimates of the objective evaluation metric, i.e. mean average precision (MAP), given these judgements. Then, we use LambdaMART algorithm to train a ranking model by using the estimated and actual objective metrics. By using two different datasets, we show that estimated MAP performs significantly better than actual MAP as the training objective in learning to rank when judgements are incomplete.

Benzer Tezler

  1. Open-set object recognition

    Açık-set nesne tanıma

    SALMAN MOHAMMAD

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SHERVIN RAHIMZADEH ARASHLOO

  2. Erken evre meme kanseri hastaların sağkalım sürelerinin ve olasılıklarının, geleneksel sağkalım yöntemleri ile makine ögrenmesi tekniklerinin R paket programında karşılaştırılması

    Comparison of survival periods and probabilities of early stage breast cancer patients with traditional survival methods and machine learning techniques in the R package program

    SİNAN UZUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    BiyoistatistikMarmara Üniversitesi

    Biyoistatistik Ana Bilim Dalı

    PROF. DR. GÜLNAZ NURAL BEKİROĞLU

  3. Efficient deep learning approaches for signal and image analysis applications

    Sinyal ve görüntü analizi uygulamaları için verimli derin öğrenme yaklaşımları

    ONUR CAN KOYUN

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    PROF. DR. BEHÇET UĞUR TÖREYİN

  4. İlköğretim 8. sınıf öğrencilerinin matematik kaygısı ile lgs başarısı ilişkisinin ve matematik kaygısının nedenlerinin incelenmesi

    Investigating the relationship between mathematics anxiety and lgs achievement and the causes of mathematics anxiety in 8th grade elementary school students

    AYNUR GÜVEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimOndokuz Mayıs Üniversitesi

    Matematik ve Fen Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MEVLÜDE DOĞAN

  5. Learning to rank

    Sıralama öğrenimi

    YASİN OZAN KILIÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIşık Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. OLCAY TANER YILDIZ