HUMAN-CENTERED PROCEDURAL KNOWLEDGE LEARNING FROM INSTRUCTIONAL VIDEOS
ÖĞRETİCİ VİDEOLARDAN İNSAN MERKEZLİ PROSEDÜREL BİLGİ ÖĞRENİMİ
- Tez No: 1007292
- Danışmanlar: DR. ÖĞR. ÜYESİ MİKE ZHENG SHOU, DR. QİANLİ XU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Natıonal Unıversıty Of Sıngapore (nus)
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Öğretici Videoların (ÖV) giderek daha erişilebilir hale gelmesi, prosedürel görevlerin zengin ve çok modlu gösterimleri aracılığıyla insan öğrenmesini desteklemek açısından eşsiz bir fırsat sunmaktadır. Ancak bu videolar çoğunlukla yapılandırılmamış, gürültülü ve aşırı ya da alakasız bilgiler içermekte; bu durum hem insanların hem de makinelerin eyleme dönüştürülebilir bilgi çıkarmasını güçleştirmektedir. Bu tez, söz konusu güçlükleri ele almak amacıyla PLUFFIN (Procedural Learning and Understanding Framework From INstructional videos – Öğretici Videolardan Prosedürel Öğrenme ve Anlama Çerçevesi) adlı bütünleşik ve insan merkezli bir çerçeve önermektedir. PLUFFIN, prosedürel bilginin insan beceri öğrenimi bağlamında modellenmesini öğretici videolar üzerinden mümkün kılmaktadır. İnsan merkezli bir yaklaşımı benimseyen ve insan öğrenmesinin bilişsel gereksinimlerine odaklanan PLUFFIN, öğretici içeriğin insan belleği ve akıl yürütme sistemleriyle uyumlu biçimde etkin şekilde düzenlenmesini ön plana çıkarmaktadır. Çerçeve aynı zamanda, iş birlikçi ortamlarda görev anlayışının paylaşılmasının önemine vurgu yapan Ortak Zemin Teorisi'ni (Theory of Common Grounding) de temel almaktadır. Teknik açıdan PLUFFIN, özgün ve bütünleşik üç modüllü bir yöntem önermektedir: (i) ham öğretici videolardan prosedürel bilgi üretilerek çok modlu prosedürel planların yapılandırılması, (ii) görev odaklı iş birliğinde ortak anlayışı güçlendirmek amacıyla insan dikkatinin modellenmesi ve (iii) gerçek zamanlı hata tespiti ile uyarlanabilir geri bildirim üretimi yoluyla insan öğrenmesinin desteklenmesi. Birinci modülde çerçeve, hem derlenmiş hem de derlenmemiş öğretici videolardan prosedürel bilginin anlaşılmasına ve çok modlu prosedürel planların üretilmesine odaklanmaktadır. Bu kapsamda PLUFFIN'in iki bileşeni tanıtılmaktadır: Görsel Temelli Metin-Video Yönlendirmesi (VG-TVP), derlenmiş veri kümelerini kullanarak görsel temelli planlar üretirken; Görsel Temelli Çok Modlu Prosedürel Planlama (VG-MPP), bu kapasiteyi ham ve derlenmemiş öğretici videolara taşımaktadır. Söz konusu yöntemler, elle açıklamalı verilere olan bağımlılığı ortadan kaldırmakta; sıfır atışlı yönlendirme ve görsel-metin hizalamasını kullanarak tutarlı, insan merkezli prosedürel temsiller üretmektedir. İkinci modül, GazeVQA veri kümesinin oluşturulması ve AssistGaze adlı yardımcı yaklaşımın geliştirilmesi aracılığıyla insan dikkatini –göz hareketi ve sözel sorgular– modelleyerek insan-YZ ortak zemininin güçlendirilmesini hedeflemektedir. Bu modül, pasif görev gözleminin ötesine geçerek YZ sistem yanıtlarını kullanıcı dikketiyle hizalayan gerçek zamanlı zemin oluşturma stratejileri sunmaktadır. Göz hareketini insan dikkatinin bir göstergesi olarak entegre eden PLUFFIN, uyarlanabilir akıl yürütmeyi mümkün kılmakta ve karmaşık görev senaryolarında ortak anlayışı pekiştirmektedir. Üçüncü modülde, çevrimiçi ortamlarda görev yürütme sürecinde insan durumlarının anlaşılmasına yönelik yeni bir Erişim Destekli Çok Modlu Hata Tahmincisi (RAMMP: Retrieval-Augmented Multimodal Mistake Predictor) tanıtılmaktadır. Bu EDÜ (Erişim Destekli Üretim) tabanlı mimari, hata tespiti ve gerçek zamanlı geri bildirim üretimini mümkün kılmaktadır. RAMMP; çok modlu gömmeleri, eylem-nesne akıl yürütmeyi ve yapılandırılmış geri alımı bir arada kullanarak görev yürütmedeki sapmaları tespit etmektedir. Sistem, yeniden eğitim gerektirmeksizin aşamalı olarak çalışmakta ve farklı görevlerde öğrencilere yorumlanabilir, bağlam duyarlı destek sunmaktadır. Bir bütün olarak ele alındığında, bu katkılar ham öğretici içeriği yapılandırılmış ve eyleme dönüştürülebilir bilgiye dönüştüren sağlam ve genellenebilir bir hesaplamalı çerçeve oluşturmaktadır. Prosedürel planlamayı, insan dikketi aracılığıyla görev durumu anlayışını ve hata duyarlı geri bildirimi bütünsel bir çerçeve içinde bir araya getiren PLUFFIN; beceri öğrenimi için insan merkezli yapay zeka alanındaki bilgi birikimini ilerletmekte ve gerçek dünyaya ilişkin eğitim, endüstriyel ve iş birlikçi ortamlarda ölçeklenebilir uygulamanın önünü açmaktadır.
Özet (Çeviri)
The increasing availability of Instructional Videos (IVs) offers a unique opportunity to support human learning through rich, multimodal demonstrations of procedural tasks. Yet, these videos are often unstructured, noisy, and contain excessive or irrelevant information, which makes it difficult for both humans and machines to extract actionable knowledge. This thesis addresses these challenges by introducing the Procedural Learning and Understanding Framework From INstructional videos (PLUFFIN), a unified and human-centered framework that enables the modeling of procedural knowledge for human skill learning from IVs. Adopting a human-centered approach and focusing on the cognitive needs of human learning, PLUFFIN emphasizes the efficient organization of instructional content to align with human memory and reasoning systems, as well as the Theory of Common Grounding, which underscores the importance of shared task understanding in collaborative settings. Technically, PLUFFIN proposes a novel unified three-module methodology: (i) structuring multimodal procedural plans by generating procedural knowledge from raw IVs, (ii) modeling human attention to enhance shared understanding in task-oriented collaboration, and (iii) supporting human learning through real-time mistake detection and adaptive feedback generation. In the first module, the framework focuses on understanding procedural knowledge and generating multimodal procedural plans from both curated and uncurated IVs. Two components of PLUFFIN are introduced: Visually Grounded Text-Video Prompting (VG-TVP), which generates visually grounded plans using curated datasets, and Visually Grounded Multimodal Procedural Planning (VG-MPP), which scales this capability to raw, uncurated IVs. These methods eliminate reliance on manually annotated data, leveraging zero-shot prompting and visual-text alignment to generate coherent, human-centered procedural representations. The second module enhances human-AI common grounding to understand task states by modeling human attention, namely eye-gaze and verbal queries, through the curation of the GazeVQA dataset and the development of the assistive approach, called AssistGaze. This module moves beyond passive task observation and introduces real-time grounding strategies that align AI system responses with user attention. By integrating eye-gaze as a proxy for human attention, PLUFFIN enables adaptive reasoning and fosters shared understanding in complex task scenarios. The third module introduces RAMMP (Retrieval-Augmented Multimodal Mistake Predictor), a novel RAG-based architecture designed to understand human states during the task execution in online settings, enabling mistake detection and real-time feedback generation. RAMMP combines multimodal embeddings, action-object reasoning, and structured retrieval to detect deviations in task execution. It operates incrementally and without re-training, offering interpretable and context-aware support to learners across diverse tasks. Together, these contributions form a robust and generalizable computational framework that transforms raw instructional content into structured, actionable knowledge. By integrating procedural planning, task state understanding via human attention, and mistake-sensitive feedback within a holistic framework, PLUFFIN advances the body of knowledge of human-centered AI for skill learning and paves the way for scalable deployment in real-world educational, industrial, and collaborative settings.
Benzer Tezler
- The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching
Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi
ÖZLEM YAZAR
Yüksek Lisans
İngilizce
2004
Eğitim ve ÖğretimGazi Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. PAŞA TEVFİK CEPHE
- Denizcilik eğitiminde karbonsuzlaştırma bilgi durumunun değerlendirilmesi: Bir eğitim modülünün etkililik sınaması
Bridging the knowledge gap: Evaluating the impact of decarbonization training in maritime education
BATURAY ÖZDEMİR
Yüksek Lisans
Türkçe
2025
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURAK ZİNCİR
- Türkiye'de okul öncesi eğitim programlarının (1952-2024) afet dirençliliği bakımından incelenmesi, oyun tabanlı afet farkındalık etkinlikleri
Analysis of preschool education programs in Türkiye (1952-2024) in terms of disaster resilience, play-based disaster awareness
ESEN AYANOĞLU
Yüksek Lisans
Türkçe
2025
Kamu Yönetimiİstanbul Teknik ÜniversitesiAfet ve Acil Durum Yönetimi Ana Bilim Dalı (disiplinlerarası)
PROF. DR. NİLGÜN OKAY
- Determining the barriers and opportunities for the integration of extended reality in disaster management using MCDM methods
Afet yönetiminde genişletilmiş gerçeklik teknolojilerinin entegrasyonu önündeki engeller ve fırsatların ÇKKV yöntemleriyle belirlenmesi
EREN MERT KAŞ
Yüksek Lisans
İngilizce
2025
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiAfet ve Acil Durum Yönetimi Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. ÖMER EKMECİOĞLU
- Takım çalışması esaslı demontaj hattı işgören atama ve dengeleme problemi için oyun teorisi odaklı yaklaşımlar
Game theory-oriented approaches for multi-manned disassembly line worker assignment and balancing problem
YILDIZ KÖSE
Doktora
Türkçe
2023
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. EMRE ÇEVİKCAN
DR. ÖĞR. ÜYESİ SİNAN ERTEMEL