Derin pekiştirmeli öğrenme ile medikal video özetleme
Medical video summarization with deep reinforcement learning
- Tez No: 879955
- Danışmanlar: DR. ÖĞR. ÜYESİ CEREN GÜZEL TURHAN, DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Tıbbi ve medikal videoların analizi, hastaların teşhis süreçlerinin önemli ve kritik bir parçasıdır. Ancak, tıp uzmanlarının videolardaki önemli bulguları yakalaması için geçen süre zaman alıcı olabilmektedir. Ayrıca tıp uzmanlarının yeterli zamanı bulamadığı durumlar da görülmektedir. Bu nedenle bu çalışmada derin pekiştirmeli öğrenme ile video özetleme yöntemi ve yeni geliştirilen yakınlık ödülü medikal videolardaki ilgili verilerin elde edilebilmesi için kullanılmıştır. Oluşturulan özet videoların kullanımıyla hastalıkların daha hızlı teşhis edilmesi ve analiz edilmesi ile daha az hacimsel işlem yapılması hedeflenmiştir. Bunun için zayıf denetim kullanan yeni bir pekiştirmeli öğrenme ödül mekanizması geliştirilmiştir. Geliştirilen bu yeni mekanizmanın başarısını ölçmek için ekokardiyografi videolarından oluşan, açık erişimli Echonet-Dynamic veri seti kullanılmıştır. Yakınlık ödülü pekiştirmeli öğrenme ajanını kalp sağlığını analiz etmeyi ölçebilecek video kareleri seçmeye teşvik etmektedir. Bu video kareleri bir kalp atımındaki kalbin hacminin en büyük ve en küçük olduğu ve bu video karelerine en yakın video karelerinden oluşmaktadır. Literatürde bulunan farklı ödüller ve mimarilerde eklenerek yeni geliştirilen yakınlık ödülünün performansı karşılaştırmalı şekilde F1-skor üzerinden ölçülmüştür. Ayrıca elde edilen video özetleri , videoların tam halleriyle kalp yetmezliği sınıflandırılması görevinde karşılaştırılmıştır. Elde edilen sonuçlara göre tez çalışmasında önerilen yakınlık ödülüne dayalı model ile video özetleme performansının F1-skoruna göre arttığı gözlemlenmiştir. Ek olarak, kalp yetmezliği sınıflandırılmasında kullanılan özet videolar deneysel çalışmalara göre videoların tam hallerine yakın ve belirli noktalarda daha iyi sonuçlar verdiğini ortaya koymuştur.
Özet (Çeviri)
Medical video analysis is an important and critical part of the diagnostic process for patients. However, it can be time-consuming task for medical experts to capture significant findings in these medical videos. In addition, there are cases where medical experts cannot find enough time. Therefore, in this study, we developed the video summarization method with deep reinforcement learning and the newly developed proximity reward to extract relevant data in medical videos. We aimed to analyse diagnoses faster and perform less voluminous processing by using the generated summary videos. For this, we developed a new reinforcement learning reward mechanism using weak supervision. We used the open access Echonet-Dynamic dataset of echocardiography videos to measure the success of this newly developed mechanism. The proximity reward encourages the reinforcement learning agent to select video frames that can measure analysing heart health. These video frames consist of the video frames in which the volume of the heart in a heartbeat is the largest and smallest, and the video frames closest to these video frames. We measured the performance of the newly developed proximity reward by comparing it with different rewards and architectures found in the literature, based on the F1-score. We also compared the generated video summaries with the full videos in the heart failure classification task. Our results showed that the video summarization performance with the proximity reward-based model proposed in the thesis increases according to the F1-score. Additionally, our findings demonstrated that the summary videos used for heart failure classification not only yielded results comparable to the full-length videos but also outperformed them in certain aspects.
Benzer Tezler
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi
Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning
ÖMER KAYAN
Yüksek Lisans
Türkçe
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
- Proof-of-principle of ed-DBS (experience-driven deep brain stimulation) in the hemiparkinson rat model
Hemiparkinson sıçan modelinde ed-DBS (deneyime dayalı derin beyin stimülasyonu) metodunun kanıtlanması
BETÜL TAMER
Yüksek Lisans
İngilizce
2022
BiyomühendislikBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DOÇ. DR. DANIELA SCHULZ
- Derin pekiştirmeli öğrenme ile kripto para portföy yönetimi
Crypto currency portfolio management with deep reinforcement learning
HATİCE AŞIK
- Derin pekiştirmeli öğrenme ile robot kol tork kontrolü
Robotic arm torque control via deep reinforcement learning
MUHAMMED RAŞİT EVDÜZEN
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik MühendisliğiPamukkale ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SERDAR İPLİKÇİ