Abstractive summarization with semantically-driven evaluation and reinforcement learning
Anlamsal odaklı değerlendirme ve pekiştirmeli öğrenme ile soyutlayıcı özetleme
- Tez No: 832319
- Danışmanlar: PROF. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT, PROF. DR. KEMAL OFLAZER
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 103
Özet
Soyutlayıcı özetleme nispeten yeni ve zorlu bir araştırma alanıdır. Gerektiğinde yeni cümleler üretmeye dayalı metin özetleme için iki yaklaşımdan biridir. Belge özetlemede iki temel yaklaşım vardır: çıkarımsal ve soyutlayıcı. Çıkarımsal özetleme, verilen belgeden önemli ifadeleri veya cümleleri seçerek veya çıkararak bir özet verir. Bu nedenle, dilbilgisi açısından doğru cümlelerin üretilmesi garanti edilir, ancak ortaya çıkan özet girdi metindeki cümleleri kullanmakla sınırlıdır. Buna karşılık soyutlayıcı özetleme, girdiyi özetlemek için semantik anlamı yakaladığı ve cümleler ürettiğinden dolayı potansiyel olarak daha güçlü bir yaklaşım oluşturur. Bununla birlikte zorluk, doğal ve dilbilgisi açısından da doğru olan aslına sadık özetler üretmekte yatmaktadır. Bu tezde, soyutlayıcı özetlemede iki ana zorluğu ele alıyoruz: iyi bir eğitim hedefi nedir ve performans nasıl ölçülür. Soyutlayıcı özetleme için yeni değerlendirme yöntemleri ve pekiştirici bir öğrenme çerçevesi sunuyoruz. Özetleme için en yaygın kullanılan değerlendirme ölçütü, aralarındaki n-gramlar, kelime dizileri ve kelime çiftleri gibi örtüşen birimleri dikkate alarak otomatik olarak oluşturulan bir özeti insan tarafından oluşturulan özetle karşılaştıran ROUGE'dur. ROUGE yaygın olarak kullanılan bir değerlendirme ölçütü olmasına rağmen, temel gerçek ile oluşturulan özetler arasındaki yüzeysel sözcüksel örtüşmeye dayandığından soyutlayıcı özetleme sistemlerinin değerlendirilmesi için pek uygun değildir. Bu tezde, Türkçe için anlamsal benzerlik modelleri sunuyoruz ve bunları soyutlayıcı bir özetleme görevi için değerlendirme ölçütleri olarak uyguluyoruz. Bunun için İngilizce STSb veri kümesini Türkçe'ye çevirdik ve Türkçe için ilk anlamsal metin benzerliği veri kümesini STSb-TR olarak sunduk. Önerilen değerlendirme ölçütleri, ince ayarlı bir büyük dil modeli tarafından elde edildiği şekliyle girdinin ve karşılık gelen özetin anlamsal benzerliğine dayanmaktadır. Benzerlik puanları, çapraz kodlayıcı veya çift kodlayıcı mimarisi kullanılarak ince ayarlı BERTurk modeliyle elde edilmiştir. İnce ayar, Türkçe Doğal Dil Çıkarımı (NLI-TR) ve Türkçe Anlamsal Metin Benzerliği (STSb-TR) veri kümeleri üzerinde yapılmıştır. Hem Pearson hem de Spearman korelasyonlarına dayalı olarak, bu ölçümlerin ROUGE skorları ve BERTScore ile karşılaştırıldığında insan değerlendirmeleriyle daha iyi korelasyona sahip olduğunu gösteriyoruz. Daha sonra, önerilen anlamsal benzerlik ödüllerine dayalı olarak, temel gerçek özetlere anlamsal olarak daha benzer olan özetler üretmek için bir derin pekiştirmeli öğrenme algoritması sunuyoruz. Algoritma, hedefimizi en üst düzeye çıkarmak ve okunabilirliği açısından daha doğal özetler oluşturmak için pekiştirmeli öğrenme hedefi fonksiyonu ile maksimum olabilirlik hedef fonksiyonumuzun bir kombinasyonu olan karma bir eğitim hedefi fonksiyonu kullanmaktadır. Maksimum olabilirlik eğitim hedefine kıyasla karma eğitim hedefi fonksiyonuna sahip eğitimin benzerlik puanlarını iyileştirdiğini gösteriyoruz.
Özet (Çeviri)
Abstractive summarization is a relatively recent and challenging research area. It is one of the two approaches to document summarization based on generating new sentences as needed. Document summarization has two primary approaches: extractive and abstractive. Extractive summarization yields a summary by selecting or extracting important phrases or sentences from the given document. As such, it is guaranteed to generate grammatically correct sentences, however the resulting summary is constrained to use sentences in the input text. In contrast, abstractive summarization constitutes a potentially more powerful approach, as it captures the semantic meaning and generates sentences to summarize the input. However, the challenge lies in producing faithful summaries that are also natural and grammatically correct. In this dissertation, we address the two main challenges in abstractive summarization: what is a good training objective and how to measure performance. We introduce new evaluation methods and a reinforcement learning framework for abstractive summarization. The most widely used evaluation metric for summarization is ROUGE which compares an automatically generated summary to the human generated summary, by considering the overlapping units, such as n-grams, word sequences and word pairs, between them. Although ROUGE is a widely used evaluation metric, it is not very suitable for the evaluation of abstractive summarization systems, as it relies on superficial lexical overlap between the ground-truth and the generated summaries. This translates into an unfair evaluation of abstractive summarization systems, where the resulting summary does not always contain the same words in the ground-truth summary. Furthermore, for languages with complex morphology, such as Turkish, the ROUGE metric is even less suitable. In this dissertation, we present semantic similarity models for Turkish and apply them as evaluation measures for an abstractive summarization task. To achieve this, we translated the English STSb dataset into Turkish and presented the first semantic textual similarity dataset for Turkish, called STSb-TR. The proposed evaluation measures are based on the semantic similarity of the input and corresponding summary, as obtained by a fine-tuned large language model. The similarity scores are obtained by the fine-tuned BERTurk model using either the cross-encoder or a bi-encoder architecture. The fine-tuning is done on the Turkish Natural Language Inference (NLI-TR) and Turkish Semantic Textual Similarity benchmark (STSb-TR) datasets. We show that these measures have better correlations with human evaluations compared to ROUGE scores and BERTScore, based on both Pearson and Spearman correlations. We then introduce a deep reinforcement learning algorithm to produce summaries that are semantically more similar to ground-truth summaries, based on the proposed semantic similarity rewards. The algorithm uses a mixed training objective function that is a combination of our reinforcement learning objective function and a maximum likelihood objective function, in order to maximize our objective as well as generate more natural summaries in terms of human readability. We show that training with a mixed training objective function compared to maximum likelihood training objective improves similarity scores.
Benzer Tezler
- Bilimsel makalelerin anlamsal ilişki tabanlı özetlenmesi
Semantic relations-based summarizing of scientific articles
MEHTAP ÜLKER
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET BEDRİ ÖZER
- Derin öğrenme yöntemleri ile Türkçe metinlerden anlamlı özet çıkarma
Abstractive summarization from Turkish texts using deep learning methods
MERVE NERGİZ AFATSUN
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ
- Analysis of word dependency relations and subword models in abstractive text summarization
Soyutlamalı metin özetlemede kelime bağlılık ilişkileri ve alt sözcük modelleri analizi
AHMET BEKA ÖZKAN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNGA GÜNGÖR
- Abstractive legal text summarization using attention mechanisms
Dikkat mekanizmalarını kullanarak abstraktif hukuki metin özetleme
RAFAH ALOMAR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT CAN GANİZ
- A comprehensive evaluation metric for abstractive summarization: Leveraging similarity, entailment, and acceptability
Soyutlayıcı özetlemek, benzerlik, gereklilik, ve kabul edilebilirliği kullanan kapsamlı değerlendirme metriği
MOHAMMED KHALID HILMI AL-BRIMAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BEYTULLAH YILDIZ