Medikal operasyon videoları için yapay zeka modeli kullanan büyük dil modeli tabanlı işlem önerisi oluşturma yaklaşımı
A large language model-based procedure suggestion generation approach using an artificial intelligence model for medical operation videos
- Tez No: 1019407
- Danışmanlar: PROF. DR. MEHMET KARAKÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yazılım Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gelişen yapay zeka teknolojileri, medikal görüntü ve video verilerinin sistematik biçimde analiz edilmesine olanak sağlamaktadır. Minimal invaziv cerrahi operasyon videolarının yapay zeka ile işlenmesi, cerrahi iş akışının anlaşılması, fazlara ayrılması ve karar destek mekanizmalarının geliştirilmesi açısından önemli bir araştırma alanıdır. Bu tezde, medikal operasyon videolarından cerrahi faz bilgisinin otomatik olarak çıkarılması ve bu bilginin büyük dil modeli tabanlı yapılandırılmış işlem önerilerine dönüştürülmesi amaçlanmıştır. Çalışmanın temel hipotezi, görsel temsil kalitesi ve zamansal bağlam kullanımının faz tanıma başarımını artıracağı; mevcut faz, güven değeri ve olası sonraki faz bilgilerinin birlikte kullanılmasının ise daha açıklayıcı ve tutarlı işlem önerileri üretebileceğidir. Tez kapsamında iki ayrı yöntemsel yaklaşım geliştirilmiştir. Birinci yaklaşımda, Cholec80 veri setindeki laparoskopik kolesistektomi videolarından elde edilen kareler kullanılarak tek kare tabanlı cerrahi faz tanıma gerçekleştirilmiş; EfficientNet-B0 modeli ile yedi cerrahi faz sınıflandırılmış ve Grad-CAM tabanlı açıklanabilirlik analizi yapılmıştır. İkinci yaklaşımda ise görsel öznitelik dizileri üzerinden Çok Aşamalı Zamansal Evrişimsel Ağ (MS-TCN) tabanlı temporal faz tanıma gerçekleştirilmiş; model çıktıları faz geçiş bilgisi, güven değeri ve olası sonraki faz dağılımlarıyla birlikte büyük dil modeli tabanlı öneri üretim katmanına aktarılmıştır. Sistem, öneri metni, güvenlik notu ve JSON biçimli yapılandırılmış çıktılar üretmiş; FastAPI ve Streamlit bileşenleriyle prototip olarak sunulmuştur. Deneysel çalışmalarda 80 video ve 184.578 kare üzerinde yedi cerrahi faz değerlendirilmiştir. Tek kare tabanlı yaklaşım %85,87 doğruluk, %75,18 Makro F1 ve %97,59 Makro ROC-AUC; temporal yaklaşım ise %85,40 doğruluk, %78,88 Makro F1 ve %74,67 Edit Score değerlerine ulaşmıştır. Sonuç olarak tez, cerrahi faz tanıma, temporal iş akışı modelleme ve büyük dil modeli tabanlı işlem önerisi üretimini bütünleştiren modüler, araştırma prototipi niteliğinde bir yaklaşım sunmaktadır.
Özet (Çeviri)
Advances in artificial intelligence technologies enable the systematic analysis of medical image and video data. The processing of minimally invasive surgical operation videos using artificial intelligence constitutes an important research area in terms of understanding surgical workflow, segmenting it into phases, and developing decision-support mechanisms. This thesis aims to automatically extract surgical phase information from medical operation videos and transform this information into structured procedure suggestions based on large language models. The main hypothesis of the study is that visual representation quality and the use of temporal context will improve phase recognition performance, while the combined use of the current phase, confidence score, and possible next-phase information will generate more explanatory and consistent procedure suggestions. Within the scope of the thesis, two distinct methodological approaches were developed. In the first approach, single-frame-based surgical phase recognition was performed using frames obtained from laparoscopic cholecystectomy videos in the Cholec80 dataset; seven surgical phases were classified using the EfficientNet-B0 model, and Grad-CAM-based explainability analysis was conducted. In the second approach, temporal phase recognition based on a Multi-Stage Temporal Convolutional Network (MS-TCN) was performed using visual feature sequences; the model outputs were transferred to the large language model-based suggestion generation layer together with phase transition information, confidence scores, and possible next-phase distributions. The system generated suggestion text, safety notes, and JSON-formatted structured outputs, and was presented as a prototype through FastAPI and Streamlit components. In the experimental studies, seven surgical phases were evaluated on 80 videos and 184,578 frames. The single-frame-based approach achieved an accuracy of 85.87%, a Macro F1 score of 75.18%, and a Macro ROC-AUC of 97.59%; whereas the temporal approach achieved an accuracy of 85.40%, a Macro F1 score of 78.88%, and an Edit Score of 74.67%. As a result, this thesis presents a modular research-prototype approach that integrates surgical phase recognition, temporal workflow modeling, and large language model-based procedure suggestion generation.
Benzer Tezler
- A comprehensive dataset including force cues for gesture recognition and skills assessment in robotic surgery
Robotik cerrahiide kuvvet ipuçları içeren kapsamlı bir veri seti hareket tanıma ve beceri değerlendirmesi
DENİZ EKİN CANBAY
Yüksek Lisans
İngilizce
2019
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE
DR. ÖĞR. ÜYESİ FANNY FICUCIELLO
- C2 vertebra pedikül vidası yerleştirilmesi için güvenli cerrahi sınırların belirlenmesi retrospektif çalışma
Retrospective study of establishing safe surgical boundries for C2 vertebra pedicule screw placement
BEKİR TUNÇ
Tıpta Uzmanlık
Türkçe
2018
NöroşirürjiSağlık Bilimleri ÜniversitesiBeyin ve Sinir Cerrahisi Ana Bilim Dalı
UZMAN DENİZHAN DİVANLIOĞLU
- Transpediküler vida gönderilen spinal vakaların vida pozisyonlarının retrospektif analizi
Retrospective analysis of screw positions in spinal cases in which transpedicular screw is fixed
ÖZCAN ASLANBAŞ
Tıpta Uzmanlık
Türkçe
2017
NöroşirürjiÇukurova ÜniversitesiBeyin ve Sinir Cerrahisi Ana Bilim Dalı
PROF. DR. METİN TUNA
- Deprese tibia plato kırıklarında greftsiz fiksasyon uygulaması
Fixation application without grafting in depressed tibial plateau fractures
CAN BURAK ÖZKAN
Tıpta Uzmanlık
Türkçe
2023
Ortopedi ve TravmatolojiSağlık Bilimleri ÜniversitesiOrtopedi ve Travmatoloji Ana Bilim Dalı
DOÇ. DR. ALİ ÇAĞRI TEKİN
- Bilateral sagittal split osteotominin mandibuler sinir üzerindeki etkilerinin üç boyutlu olarak incelenmesi
The effect of bilateral sagittal split osteotomy on i?nferior alveolar nerve: three dimensional evaluation
DUYGU İŞCAN