LoRA adaptörlerinin aritmetik birleşimi yoluyla düşük kaynaklı dillerde parametre verimli diller arası hukuki metin sınıflandırması
Enhancing parameter efficient cross lingual legal text classification in low resource languages via arithmetic module composition of LoRA adapters
- Tez No: 1019641
- Danışmanlar: DOÇ. DR. OĞUZ ALTUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çok dilli Büyük Dil Modelleri (Large Language Models - LLM'ler), diller arası bilgi aktarımı konusunda kayda değer bir başarı yakalamış olsa da; bu modellerin hukuk gibi terminolojik hassasiyeti yüksek uzmanlık alanlarına ve Maltaca gibi düşük kaynaklı dillere entegrasyonu metodolojik bir zorluk olmaya devam etmektedir. Bu darboğazın temelinde, sadece veri kıtlığı değil, aynı zamanda mevcut Tam İnce Ayar (Full Fine-Tuning - FT) süreçlerinin beraberinde getirdiği muazzam hesaplama maliyetleri ve modelin önceden edindiği genel bilgileri yitirmesine yol açan yıkıcı unutma (catastrophic forgetting) riski yatmaktadır. Bu araştırma, söz konusu kısıtlılıkları aşmak adına; yüksek kaynaklı bir dil olan İngilizcenin sunduğu anlamsal zenginliği referans alarak, düşük kaynaklı dillerdeki özellikle de Maltaca hukuki metin sınıflandırma sorununu sürdürülebilir ve verimli bir düzlemde ele almayı amaçlamaktadır. Temel amaç, görev bilgisini dil bilgisinden ayıran, Parametre Verimli İnce Ayar (Parameter-Efficient Fine-Tuning - PEFT) stratejisi önermektir. Bu amaçla çalışmada MultiEURLEX veri seti ve XLM-RoBERTa Large omurga modeli kullanılmış olup, verimliliği nedeniyle Düşük Rütbeli Adaptasyon (Low-Rank Adaptation - LoRA) yönteminden yararlanılmıştır. Kaynak kısıtlı bir ortamı simüle etmek için, İngilizce veri kümesinin rastgele seçilmiş \%20'lik bir alt kümesi kullanılmıştır. Yöntem üç aşamalı bir süreci içermektedir: İngilizce sınıflandırma verileri üzerinde bir görev adaptörünün eğitilmesi ve Maskelenmiş Dil Modelleme (Masked Language Modeling - MLM) aracılığıyla etiketlenmemiş Maltaca derlemler üzerinde bir dil adaptörünün eğitilmesi. Ardından, bu bağımsız LoRA modülleri, aritmetik birleşim kullanılarak ağırlık uzayında birleştirilmiştir. Deneysel sonuçlar, bu birleşim stratejisinin, hedef dilde etiketlenmiş veriye ihtiyaç duymadan, standart sıfır atışlı aktarım temel yöntemlerine kıyasla üstün performans sağladığını göstermektedir. Ayrıca, LoRA tabanlı yaklaşım eğitilebilir parametreleri yaklaşık \%98 oranında azaltarak Grafik İşlem Birimi (Graphics Processing Unit - GPU) bellek kullanımını önemli ölçüde düşürmektedir. Görev ve dil adaptörlerinin birleşimi, Maltaca test setinde iyileştirilmiş Micro-F1, Macro-F1 ve Ortalama R-Kesinliği (Mean R-Precision - mRP) skorları sergilemiş olup, bu durum, hedef dil bilgisinin görev adaptörüne açıkça dahil edilmesinin, diller arası aktarımın doğasında var olan alan kayması (domain shift) problemini hafiflettiğini göstermektedir. Sonuç olarak bu çalışma, modüler derin öğrenme tekniklerinin düşük kaynaklı dillerde hukuki Doğal Dil İşleme (Natural Language Processing - NLP) için sürdürülebilir ve etkili bir çözüm sunduğunu doğrulamakta; PEFT yöntemlerinin karmaşık diller arası temsilleri ayrıştırmada yalnızca hesaplama açısından verimli değil, aynı zamanda metodolojik olarak da üstün olduğunu kanıtlamaktadır.
Özet (Çeviri)
Although multilingual Large Language Models (LLMs) have achieved remarkable success in cross-lingual information transfer, integrating these models into specialized domains with high terminological sensitivity, such as law, and into low-resource languages like Maltese, remains a methodological challenge. At the root of this bottleneck lies not only data scarcity but also the immense computational costs associated with current Full Fine-Tuning (FT) processes and the risk of catastrophic forgetting, which causes the model to lose its previously acquired general knowledge. To overcome these limitations, this research aims to address the problem of legal text classification in low-resource languages specifically Maltese on a sustainable and efficient basis, using the semantic richness provided by English, a high-resource language, as a reference. The primary objective is to propose a Parameter-Efficient Fine-Tuning (PEFT) strategy that disentangles task knowledge from language knowledge. For this purpose, the study utilizes the MultiEURLEX dataset and the XLM-RoBERTa Large backbone model, employing the Low-Rank Adaptation (LoRA) method due to its efficiency. To simulate a resource-constrained environment, a randomly selected 20\% subset of the English dataset was used. The methodology involves a three-stage process: training a task adapter on English classification data and training a language adapter on unlabeled Maltese corpora via Masked Language Modeling (MLM). Subsequently, these independent LoRA modules are combined in the weight space using arithmetic composition. Experimental results demonstrate that this fusion strategy yields superior performance compared to standard zero-shot transfer baselines without requiring labeled data in the target language. Furthermore, the LoRA-based approach reduces trainable parameters by approximately 98\%, significantly lowering Graphics Processing Unit (GPU) memory consumption. The composition of task and language adapters exhibited improved Micro-F1, Macro-F1, and Mean R-Precision (mRP) scores on the Maltese test set, indicating that explicitly incorporating target language knowledge into the task adapter mitigates the domain shift problem inherent in cross-lingual transfer. Consequently, this study verifies that modular deep learning techniques offer a sustainable and effective solution for legal Natural Language Processing (NLP) in low-resource languages, proving that PEFT methods are not only computationally efficient but also methodologically superior in disentangling complex cross-lingual representations.
Benzer Tezler
- LoRa ve LoRaWAN teknolojilerinde performans analizi
Performance analysis of LoRa and LoRaWAN technologies
MUHAMMET TALHA BÜYÜKAKKAŞLAR
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED ALİ AYDIN
- Performance enhancement of LoRa communication using interleaved chirp spreading lora with Gray coding
Interleaved chırp kullanarak lora iletişiminin performans geliştirilmesi LoRa yaymak ve Gray kodlama
ZAID JAMEEL RADHI KAMOONA
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Assist. Prof. Dr. MUHAMMAD ILYAS
- Designing a monitoring system for photovoltaic applications utilizing Lora technology
Lora teknolojisi kullanılarak fotovoltaik uygulamalar için izleme sistemi tasarlanması
SAFAA THAMER HAWAS
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Gelişim ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERCAN AYKUT
- Design and performance analysis of a loRa-based smart agriculture irrigation system
LoRa tabanlı akıllı tarım sulama sisteminin tasarımı ve performans analizi
DOĞAN CAN ŞENOL
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiÇankaya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKER ŞENER
- LoRa tabanlı sokak hayvanları aşı takip sistemi
LoRa based street animals vaccination tracking system
BEKİR KOÇAK
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSelçuk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ERDİNÇ KOÇER