Learning citation-aware representations for scientific papers
Bilimsel makalelerin alıntı yapılarını dikkate alan gösterimlerin öğrenimi
- Tez No: 890362
- Danışmanlar: DOÇ. DR. SELMA TEKİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Doğal Dil İşleme alanında, bilimsel belgelerin anlaşılması ile ilgili çalışmalar büyük zorluklar içermektedir ve derinlemesine incelenmeye ihtiyaç duymaktadır. Bilimsel makalelerin anlaşılması, içeriklerinin daha etkin bir şekilde oluşturulmasını sağlayabilir. Ayrıca, bilimsel makaleler ile içlerindeki alıntıları arasındaki ilişkinin anlaşılması, bilimsel metinlerde alıntı oluşturma ve tahmin etme süreçlerinde önemli bir rol oynayabilir. Alıntı yapılarını dikkate alan gösterimlere sahip dil modelleri, bilimsel literatürle ilgili diğer görevlerde de önemli etkilere sahip olabilir. Bu tez, bilimsel metinlerdeki alıntı tahminlerinin doğruluğunu artırmayı hedeflemektedir. Bu hedef doğrultusunda, bilimsel makalelerden alınan kesitlerde maskeler kullanılarak alıntılar gizlenmiş ve ardından bu maskeleri tahmin etmek için RoBERTa-base dil modeli daha fazla eğitilmiştir. Her bir alıntının, maske dolduran dil modelleri tarafından tek bir maske için tahmin edilebilecek şekilde olması gerekmektedir. Bu süreç sonunda, modellerimiz alıntıları dikkate alan gösterimlere sahip olmuştur. Ayrıca, bu çalışmada alıntı tahmini için iki alternatif teknik geliştirilmiştir. Temel tekniğimiz sadece bilimsel makalelerdeki paragraf kesitlerini kullanarak alıntıları tahmin ederken, küresel tekniğimiz makalelerin başlıklarını ve özetlerini de kullanarak alıntıları tahmin etmeyi hedeflemektedir. Küresel modelimizin sahip olduğu ek bilgiler sayesinde başarısını artırması beklenmektedir. Deneysel sonuçlar, önerdiğimiz modellerin dört kıyaslama veri kümesinden ikisinde en son teknoloji sonuçlarını önemli ölçüde aştığını göstermektedir. Ancak, diğer iki veri kümesinde modellerimiz beklenenden düşük performans sergilemiş ve yöntemimizin daha fazla iyileşme potansiyeline sahip olduğunu göstermiştir. Ek olarak, veri kümelerinin özünde olan faktörlerinin etkilerini incelemek ve bu faktörler ile sonuçlarımız arasındaki ilişkileri belirlemek amacıyla örneklenmiş veri kümeleri kullanılarak da ek deneyler gerçekleştirilmiştir.
Özet (Çeviri)
In the field of Natural Language Processing (NLP), the tasks of understanding and generating scientific documents are highly challenging and have been extensively studied. Comprehending scientific papers can facilitate the generation of their contents. Similarly, understanding the relationships between scientific papers and their citations can be instrumental in generating and predicting citations within the text of scientific works. Moreover, language models equipped with citation-aware representations can be particularly robust for downstream tasks involving scientific literature. This thesis aims to enhance the accuracy of citation predictions within scientific texts. To achieve this, we hide citations within the context of scientific papers using mask tokens and subsequently pre-train the RoBERTa-base language model to predict citations for these masked tokens. We ensure that each citation is treated as a single token to be predicted by the mask-filling language model. Consequently, our models function as language models with citation-aware representations. Furthermore, we propose two alternative techniques for our approach. Our base technique predicts citations using only the contexts from scientific papers, while our global technique incorporates the titles and abstracts of papers alongside the contexts to improve performance. Experimental results demonstrate that our models significantly surpass the state-of-the-art results on two out of four benchmark datasets. However, for the remaining two datasets, our models yield suboptimal results, indicating potential for further improvement. Additionally, we conducted experiments on sampled datasets to examine the effects of inherent factors on the datasets and to identify correlations between these factors and our results.
Benzer Tezler
- Developing 9th grade students' digital competencies as apart of statistics lesson
9.sınıf öğrencilerinin dijital yetkinliklerinin istatistik dersi kapsamında geliştirilmesi
KÜBRA ERGÜL
Yüksek Lisans
İngilizce
2019
Eğitim ve ÖğretimYeditepe ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
DOÇ. DR. GONCA KIZILKAYA CUMAOĞLU
- Bilimsel çıktıların değerlendirilmesi için alternatif metrikler: Cezayir için bir açık değerlendirme platformu modeli
Alternative metrics for evaluating scientific outputs: A model for an open evaluation platform for Algeria
BRAHİM KERTIOU
Doktora
Türkçe
2023
Bilgi ve Belge Yönetimiİstanbul ÜniversitesiBilgi ve Belge Yönetimi Ana Bilim Dalı
PROF. DR. İSHAK KESKİN
- Leveraging ai in construction management
İnşaat proje yönetiminde yapay zekadan faydalanma
BARAN AKOL
Yüksek Lisans
İngilizce
2024
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. FATMA PINAR ÇAKMAK
- Açık ve uzaktan öğrenmede öğrenme analitikleri kontrol panelinin geliştirilmesi: Öğrenme Bulutu
Development of learning analytics dashboard in open and distance learning: Learning Cloud
İLKER KAYABAŞ
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnadolu ÜniversitesiUzaktan Eğitim Ana Bilim Dalı
PROF. DR. AYDIN ZİYA ÖZGÜR
- Machine learning based evaluation of scientific retractions
Bilimsel çalışmalardaki geri çekilmelerin makine öğrenimi tabanlı değerlendirilmesi
EHTISHAM KIYANI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBEYKOZ ÜNİVERSİTESİBilgisayar Mühendisliği Ana Bilim Dalı
ASST. ASSOC. DR. ÖZLEM FEYZA ERKAN