Geri Dön

Derin pekiştirmeli öğrenme ile medikal video özetleme

Medical video summarization with deep reinforcement learning

  1. Tez No: 879955
  2. Yazar: ALİ ÇOBAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ CEREN GÜZEL TURHAN, DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Gazi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 92

Özet

Tıbbi ve medikal videoların analizi, hastaların teşhis süreçlerinin önemli ve kritik bir parçasıdır. Ancak, tıp uzmanlarının videolardaki önemli bulguları yakalaması için geçen süre zaman alıcı olabilmektedir. Ayrıca tıp uzmanlarının yeterli zamanı bulamadığı durumlar da görülmektedir. Bu nedenle bu çalışmada derin pekiştirmeli öğrenme ile video özetleme yöntemi ve yeni geliştirilen yakınlık ödülü medikal videolardaki ilgili verilerin elde edilebilmesi için kullanılmıştır. Oluşturulan özet videoların kullanımıyla hastalıkların daha hızlı teşhis edilmesi ve analiz edilmesi ile daha az hacimsel işlem yapılması hedeflenmiştir. Bunun için zayıf denetim kullanan yeni bir pekiştirmeli öğrenme ödül mekanizması geliştirilmiştir. Geliştirilen bu yeni mekanizmanın başarısını ölçmek için ekokardiyografi videolarından oluşan, açık erişimli Echonet-Dynamic veri seti kullanılmıştır. Yakınlık ödülü pekiştirmeli öğrenme ajanını kalp sağlığını analiz etmeyi ölçebilecek video kareleri seçmeye teşvik etmektedir. Bu video kareleri bir kalp atımındaki kalbin hacminin en büyük ve en küçük olduğu ve bu video karelerine en yakın video karelerinden oluşmaktadır. Literatürde bulunan farklı ödüller ve mimarilerde eklenerek yeni geliştirilen yakınlık ödülünün performansı karşılaştırmalı şekilde F1-skor üzerinden ölçülmüştür. Ayrıca elde edilen video özetleri , videoların tam halleriyle kalp yetmezliği sınıflandırılması görevinde karşılaştırılmıştır. Elde edilen sonuçlara göre tez çalışmasında önerilen yakınlık ödülüne dayalı model ile video özetleme performansının F1-skoruna göre arttığı gözlemlenmiştir. Ek olarak, kalp yetmezliği sınıflandırılmasında kullanılan özet videolar deneysel çalışmalara göre videoların tam hallerine yakın ve belirli noktalarda daha iyi sonuçlar verdiğini ortaya koymuştur.

Özet (Çeviri)

Medical video analysis is an important and critical part of the diagnostic process for patients. However, it can be time-consuming task for medical experts to capture significant findings in these medical videos. In addition, there are cases where medical experts cannot find enough time. Therefore, in this study, we developed the video summarization method with deep reinforcement learning and the newly developed proximity reward to extract relevant data in medical videos. We aimed to analyse diagnoses faster and perform less voluminous processing by using the generated summary videos. For this, we developed a new reinforcement learning reward mechanism using weak supervision. We used the open access Echonet-Dynamic dataset of echocardiography videos to measure the success of this newly developed mechanism. The proximity reward encourages the reinforcement learning agent to select video frames that can measure analysing heart health. These video frames consist of the video frames in which the volume of the heart in a heartbeat is the largest and smallest, and the video frames closest to these video frames. We measured the performance of the newly developed proximity reward by comparing it with different rewards and architectures found in the literature, based on the F1-score. We also compared the generated video summaries with the full videos in the heart failure classification task. Our results showed that the video summarization performance with the proximity reward-based model proposed in the thesis increases according to the F1-score. Additionally, our findings demonstrated that the summary videos used for heart failure classification not only yielded results comparable to the full-length videos but also outperformed them in certain aspects.

Benzer Tezler

  1. Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma

    Generating image hash codes with deep reinforcement learning method

    ELİF AKKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURHAN BARAKLI

  2. Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi

    Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning

    ÖMER KAYAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HÜLYA YALÇIN

  3. Proof-of-principle of ed-DBS (experience-driven deep brain stimulation) in the hemiparkinson rat model

    Hemiparkinson sıçan modelinde ed-DBS (deneyime dayalı derin beyin stimülasyonu) metodunun kanıtlanması

    BETÜL TAMER

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    BiyomühendislikBoğaziçi Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DOÇ. DR. DANIELA SCHULZ

  4. Derin pekiştirmeli öğrenme ile kripto para portföy yönetimi

    Crypto currency portfolio management with deep reinforcement learning

    HATİCE AŞIK

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    MaliyeMarmara Üniversitesi

    İş Analitiği Ana Bilim Dalı

    PROF. DR. MERT ERER

  5. Derin pekiştirmeli öğrenme ile robot kol tork kontrolü

    Robotic arm torque control via deep reinforcement learning

    MUHAMMED RAŞİT EVDÜZEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik MühendisliğiPamukkale Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. SERDAR İPLİKÇİ