Using transformer networks for detection andnormalization of named entities in biomedical texts
Dönüştürücü ağları kullanılarak biyomedikal metinlerde varlık isimlerinin tanınması ve normalizasyonu
- Tez No: 716226
- Danışmanlar: DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çok hızlı ilerleyen literatür içinden ilgili yayınlara ulaşmanın gittikçe zorlaşması biyomedikal alanı hedefleyen doğal dil işleme sistemlerine olan ilgiyi arttırmaktadır. Bu sistemlerin önemli bir kısmında yayınlarda geçen hastalık, gen ve molekül adları gibi özel isimlerin tespit edilmesi (varlık ismi tanıma) ve ilgili ontolojilerdeki kayıtlarla eşlenmesi (normalizasyon) ara adımlarına ihtiyaç duyulmaktadır. Bu iki görevin birbiriyle yakın bir ilişki içinde olması ve bu alandaki veri kümelerinin küçük olması nedeniyle bu çoklu görev öğrenmesi literatürde sıkça başvurulan bir yaklaşım olmuştur. Bunun yanı sıra doğal dil işleme alanında son yıllarda BERT gibi dönüştürücü mimarisine dayanan önceden eğitilmiş dil modelleri kullanımıyla farklı görevlerde büyük başarılar elde edilmesiyle biyomedikal alanında da bu tarz modellerden faydalanılmaya başlanmıştır. Biyomedikal metinlerin kendilerine has bir terminolojiye sahip olmaları ve bu metinlerde kısaltmalara sıkça rastlanması gibi nedenlerle bu alana özgü dil modellerinin eğitilmesine ihtiyaç duyulmuştur. Bu çalışmada farklı biyomedikal veri kümeleri üzerinde transformer tabanlı dil modelleri ile çoklu görev öğrenmesi yaklaşımının etkili bir biçimde birlikte kullanılmasına çalışılmıştır. İki görev arasında bilgi paylaşımının en iyi düzeyde gerçekleşebilmesi için iki görevde de ortak bir ağ ile elde edilen metin aralıklarının vektör gösterimleri kullanılmıştır. Umut vadeden sonuçlar elde edilmiş ve sistemin performansı sıkça kullanılan veri kümeleri üzerinde literatürdeki en başarılı sistemlerle kıyaslanmıştır.
Özet (Çeviri)
The increasing difficulty of retrieving relevant information from rapidly growingliterature has raised the interest for natural language processing (NLP) systems in thebiomedical domain. In many of these systems, detection of named entities such asdiseases, genes, and molecules (named entity recognition) and matching them to thecorresponding entries in ontologies (normalization) are important intermediate steps.As these two tasks are related and datasets in this domain are relatively small, multi-task learning has been frequently used in the literature for this problem. Meanwhile,in recent years, the success of transformer-based pre-trained language models suchas BERT in various NLP tasks has led them to be also applied in the biomedicaldomain. The different characteristics of biomedical text such as abbreviations andspecific terminology motivated the development of new language models, which weretrained specifically for this domain using a biomedical corpus. In this study, we proposea multi-task learning approach for named entity recognition and normalization byutilizing transformer-based pre-trained language models. To enable the optimal sharingof information, both tasks are formulated with text span embeddings obtained witha common encoder network. Promising results are obtained and compared with theresults of state-of-the-art systems from the literature for commonly used named entityrecognition datasets.
Benzer Tezler
- Yerel görünüm ve derin modeller kullanarak hibrit bir yüz tanıma yaklaşımı
A hybrid face recognition approach using local appearance and deep models
MERT ARI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- A comprehensive comparison of machine learning models for disease classification using symptom-based textual data
Semptom tabanlı metinsel verıler kullanılarak hastalıksınıflandırması için makine öğrenmesi modellerin kapsamlıbir karşılaştırması
MOAYAD SHAIKHAN MOHAMMED BAWAZEER
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELİN NACAKLI
- Neutrino particle direction estimation using transformer-based deep learning
Transformer tabanlı derin öğrenme kullanılarak nötrino parçacık yönü kestirimi
ŞEVVAL COŞKUN
Yüksek Lisans
İngilizce
2026
Fizik ve Fizik Mühendisliğiİstanbul Teknik ÜniversitesiFizik Mühendisliği Ana Bilim Dalı
PROF. DR. EMRE ONUR KAHYA
ÖĞR. GÖR. DOĞU SIRT
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- Improving time series forecasts through predictive error compensation and deep feature fusion
Tahmı̇nsel hata telafı̇sı̇ ve derı̇n öznitelik füzyonu yoluyla zaman serı̇sı̇ tahmı̇nlerı̇nı̇n gelı̇ştı̇rı̇lmesı̇
MUHAMMED ENES BAŞ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK BERK ÜSTÜNDAĞ