Adapting large language models via multi-task learning for mental health problem, emotion, and sentiment detection
Zihinsel bozukluk, duygu ve duygu his tespiti için çok görevli öğrenme yoluyla büyük dil modellerini uyarlama
- Tez No: 952574
- Danışmanlar: YRD. DOÇ. DR. RAHİM DEHKHARGHANİ, DR. ZEKİ ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Büyük Dil Modelleri (LLM'ler), Çok Görevli Öğrenme (MTL), Zihinsel Bozukluk Tespiti, Duygu Tespiti, Duygu Analizi, Large Language Models (LLMs), Multi-Task Learning (MTL), Mental Health Problem Detection, Emotion Detection, Sentiment Analysis
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Kadir Has Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsanların zihinsel bozukluklarının metne dayalı olarak tespit edilmesi son zamanlarda artan ilgi görmektedir. Birçok çalışma, derin sinir ağları, transformatör tabanlı modeller ve büyük dil modelleri kullanarak bu sorunu çözmeye çalışmıştır. Büyük Dil Modellerinin (LLM'ler) uyarlanması rakip yöntemlere kıyasla en iyi performansı elde etmiştir. Bu makale, meta-llama/Llama-3.1-8B-Instruct modelinde Parametre Verimli İnce Ayar (PEFT), 4 bitlik niceleme ile Düşük Rank Adaptasyonu (LoRA), kullanarak sıralı çok görevli öğrenmeyi (MTL) araştırmaktadır. Birincil görev olarak Zihinsel Bozukluk Tespitini ve ikincil ve üçlü görevler olarak Çok Etiketli Duygu Tespiti ve Duygu Analizini hedefliyoruz. Sonra sıralarını değiştirip Llama LLM'ye farklı birincil ve ikincil görevlerde ince ayar yaparız. İkinci ince ayarın çoğu zaman birincil görevdeki performansı artırabildiğini gözlemledik. Sosyal medya kullanıcıları tarafından yazılan 4.243 gönderi içeren genişletilmiş SWMH veri setini kullandık. Model performansı iki ardışık sıranın her aşamasından sonra değerlendirildi: (1) Zihinsel Bozukluk → Duygu → Duygu (ZB-öncelikli) ve (2) Duygu → Zihinsel Bozukluk → Duygu (Duyguöncelikli). Sıralı PEFT yaklaşımları temel LLM'ye göre önemli ölçüde iyileşti, ancak görev sırasına bağlı kritik ödünleşimleri ortaya çıkardı. ZB-öncelikli dizi, Zihinsel Bozukluk Tespiti için 0.7624 Mikro F1 puanı elde etti. Zihinsel Bozukluk tespiti ile ilgili ilk eğitim yardımcı görevlere güçlü destek sağlarken, sonraki ince ayar aşamaları duygu algılama performansının düşmesine neden oldu (0.4385 F1). Buna karşılık, Duyguöncelikli dizisi Duygu (0.6004 F1) ve Duygu Analizi (0.9500 F1) için üstün performansla sonuçlandı, ancak birincil ZB görevi için daha düşük puan elde etti (0.6250 F1). Sonuçlar optimal eğitim sırasının göreve bağlı olduğunu göstermektedir. Bu araştırma, zihinsel bozuklukların tespitinde LLM'ler için PEFT ile sıralı MTL'ye ilişkin ampirik bilgiler sunmakta ve klinik görevler için verimli adaptasyon potansiyeli gösterirken görev sıralama, müdahale ve veri dengesizliğinin kritik etkisini vurgulamaktadır.
Özet (Çeviri)
Detection of people's mental health problems based on text has gained increasing attention recently. Many studies have attempted to solve this problem using deep neural networks, transformer-based models, and large language models. Adapting Large Language Models (LLMs) has obtained the best performance compared to rival methods. This paper investigates sequential multi-task learning (MTL) using Parameter-Efficient Fine-Tuning (PEFT), Low-Rank Adaptation (LoRA) with 4-bit quantization, on the meta-llama/Llama-3.1-8B-Instruct model. We target Mental Health Problem Detection as the primary task, and Multi-Label Emotion Detection and Sentiment Analysis as secondary and ternary tasks. Then we change their order and finetune the Llama LLM on different primary and secondary tasks. We observed that the second finetuning could improve performance in the primary task most of the time. We used the extended SWMH dataset, including 4,243 posts written by social media users. Model performance was evaluated after each stage of two sequential orders: (1) Mental Health Problem → Emotion → Sentiment (MHP-first) and (2) Emotion → Mental Health Problem → Sentiment (Emo-first). Sequential PEFT approaches significantly improved over the base LLM but revealed critical trade-offs dependent on task order. The MHP-first sequence achieved a 0.7624 Micro F1 score for MHP Detection. While initial training on Mental Health Problem detection provided a strong boost to auxiliary tasks, subsequent fine-tuning stages caused emotion detection performance to degrade (0.4385 F1). In contrast, the Emo-first sequence resulted in superior performance for Emotion (0.6004 F1) and Sentiment (0.9500 F1) but achieved a lower score for the primary MHP task (0.6250 F1). Results demonstrate that optimal training order is task dependent. This research offers empirical insights into sequential MTL with PEFT for LLMs in mental health problem detection, showing efficient adaptation potential for clinical tasks while highlighting the critical influence of task ordering, interference, and data imbalance.
Benzer Tezler
- How cryptographic implementations affect mobile agent systems
Şifreleme gerçekleştirmelerinin gezgin aracı internet sistemlerini nasıl etkilediği
İSMAİL ULUKUŞ
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM
- Comparatıve analysıs of spatıal experıence ın physıcal and vırtual envıronments: The case of anadolu hısarı
Fiziksel ve sanal ortamlarda mekansal deneyimin karşılaştırmalı analizi: Anadolu hisarı örneği
BUKET TÜMBUL
Yüksek Lisans
İngilizce
2026
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. AHMET GÜN
- Synthetic data curation architecture for agile slm adaptation to emerging programming specifications
Yeni programlama standartlarına çevik slm uyarlaması için sentetik veri kürasyon mimarisi
MEHMET DAVUT
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Bilgi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SAVAŞ YILDIRIM
- Isı transferi eğitiminin etkileşimli bilgisayar ortamında jawa destekli WEB tarayıcısı formatı kullanılarak gerçekleştirilmesi
Başlık çevirisi yok
TAYFUN DURAN
Yüksek Lisans
Türkçe
1998
Eğitim ve Öğretimİstanbul Teknik ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. Y. ONUR DEVRES
- EFL teachers' wellbeing in the context of disaster: Building back better
Yabancı dil olarak İngilizce öğreten öğretmenlerin doğal afet sonrasında iyi oluşu: daha iyisini inşa etmek
SEMRA KARAALİ
Doktora
İngilizce
2025
Eğitim ve ÖğretimÇukurova Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
PROF. DR. GÜLDEN İLİN