Geri Dön

Learning citation-aware representations for scientific papers

Bilimsel makalelerin alıntı yapılarını dikkate alan gösterimlerin öğrenimi

  1. Tez No: 890362
  2. Yazar: EGE YİĞİT ÇELİK
  3. Danışmanlar: DOÇ. DR. SELMA TEKİR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 69

Özet

Doğal Dil İşleme alanında, bilimsel belgelerin anlaşılması ile ilgili çalışmalar büyük zorluklar içermektedir ve derinlemesine incelenmeye ihtiyaç duymaktadır. Bilimsel makalelerin anlaşılması, içeriklerinin daha etkin bir şekilde oluşturulmasını sağlayabilir. Ayrıca, bilimsel makaleler ile içlerindeki alıntıları arasındaki ilişkinin anlaşılması, bilimsel metinlerde alıntı oluşturma ve tahmin etme süreçlerinde önemli bir rol oynayabilir. Alıntı yapılarını dikkate alan gösterimlere sahip dil modelleri, bilimsel literatürle ilgili diğer görevlerde de önemli etkilere sahip olabilir. Bu tez, bilimsel metinlerdeki alıntı tahminlerinin doğruluğunu artırmayı hedeflemektedir. Bu hedef doğrultusunda, bilimsel makalelerden alınan kesitlerde maskeler kullanılarak alıntılar gizlenmiş ve ardından bu maskeleri tahmin etmek için RoBERTa-base dil modeli daha fazla eğitilmiştir. Her bir alıntının, maske dolduran dil modelleri tarafından tek bir maske için tahmin edilebilecek şekilde olması gerekmektedir. Bu süreç sonunda, modellerimiz alıntıları dikkate alan gösterimlere sahip olmuştur. Ayrıca, bu çalışmada alıntı tahmini için iki alternatif teknik geliştirilmiştir. Temel tekniğimiz sadece bilimsel makalelerdeki paragraf kesitlerini kullanarak alıntıları tahmin ederken, küresel tekniğimiz makalelerin başlıklarını ve özetlerini de kullanarak alıntıları tahmin etmeyi hedeflemektedir. Küresel modelimizin sahip olduğu ek bilgiler sayesinde başarısını artırması beklenmektedir. Deneysel sonuçlar, önerdiğimiz modellerin dört kıyaslama veri kümesinden ikisinde en son teknoloji sonuçlarını önemli ölçüde aştığını göstermektedir. Ancak, diğer iki veri kümesinde modellerimiz beklenenden düşük performans sergilemiş ve yöntemimizin daha fazla iyileşme potansiyeline sahip olduğunu göstermiştir. Ek olarak, veri kümelerinin özünde olan faktörlerinin etkilerini incelemek ve bu faktörler ile sonuçlarımız arasındaki ilişkileri belirlemek amacıyla örneklenmiş veri kümeleri kullanılarak da ek deneyler gerçekleştirilmiştir.

Özet (Çeviri)

In the field of Natural Language Processing (NLP), the tasks of understanding and generating scientific documents are highly challenging and have been extensively studied. Comprehending scientific papers can facilitate the generation of their contents. Similarly, understanding the relationships between scientific papers and their citations can be instrumental in generating and predicting citations within the text of scientific works. Moreover, language models equipped with citation-aware representations can be particularly robust for downstream tasks involving scientific literature. This thesis aims to enhance the accuracy of citation predictions within scientific texts. To achieve this, we hide citations within the context of scientific papers using mask tokens and subsequently pre-train the RoBERTa-base language model to predict citations for these masked tokens. We ensure that each citation is treated as a single token to be predicted by the mask-filling language model. Consequently, our models function as language models with citation-aware representations. Furthermore, we propose two alternative techniques for our approach. Our base technique predicts citations using only the contexts from scientific papers, while our global technique incorporates the titles and abstracts of papers alongside the contexts to improve performance. Experimental results demonstrate that our models significantly surpass the state-of-the-art results on two out of four benchmark datasets. However, for the remaining two datasets, our models yield suboptimal results, indicating potential for further improvement. Additionally, we conducted experiments on sampled datasets to examine the effects of inherent factors on the datasets and to identify correlations between these factors and our results.

Benzer Tezler

  1. Developing 9th grade students' digital competencies as apart of statistics lesson

    9.sınıf öğrencilerinin dijital yetkinliklerinin istatistik dersi kapsamında geliştirilmesi

    KÜBRA ERGÜL

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Eğitim ve ÖğretimYeditepe Üniversitesi

    Bilgi Teknolojileri Ana Bilim Dalı

    DOÇ. DR. GONCA KIZILKAYA CUMAOĞLU

  2. Bilimsel çıktıların değerlendirilmesi için alternatif metrikler: Cezayir için bir açık değerlendirme platformu modeli

    Alternative metrics for evaluating scientific outputs: A model for an open evaluation platform for Algeria

    BRAHİM KERTIOU

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgi ve Belge Yönetimiİstanbul Üniversitesi

    Bilgi ve Belge Yönetimi Ana Bilim Dalı

    PROF. DR. İSHAK KESKİN

  3. Leveraging ai in construction management

    İnşaat proje yönetiminde yapay zekadan faydalanma

    BARAN AKOL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. FATMA PINAR ÇAKMAK

  4. Açık ve uzaktan öğrenmede öğrenme analitikleri kontrol panelinin geliştirilmesi: Öğrenme Bulutu

    Development of learning analytics dashboard in open and distance learning: Learning Cloud

    İLKER KAYABAŞ

    Doktora

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimAnadolu Üniversitesi

    Uzaktan Eğitim Ana Bilim Dalı

    PROF. DR. AYDIN ZİYA ÖZGÜR

  5. Machine learning based evaluation of scientific retractions

    Bilimsel çalışmalardaki geri çekilmelerin makine öğrenimi tabanlı değerlendirilmesi

    EHTISHAM KIYANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBEYKOZ ÜNİVERSİTESİ

    Bilgisayar Mühendisliği Ana Bilim Dalı

    ASST. ASSOC. DR. ÖZLEM FEYZA ERKAN