A learning-centric end-to-end hybrid system for in-situ thermographic inspection in automated fiber placement
Otomatik fiber yerleştirmede yerinde termal denetim için öğrenme tabanlı uçtan uca hibrit bir sistem
- Tez No: 972455
- Danışmanlar: PROF. DR. MUSTAFA ÜNEL
- Tez Türü: Doktora
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Süreç takibi, Process monitoring
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Otomatik Fiber Yerleştirme (AFP) teknolojisi, kompozit üretiminde öncü ve dönüştürücü bir rol üstlenmeye devam etmektedir. Ancak, süregelen kalite kontrol zorlukları bu gelişimi kısıtlamaktadır. Üretim sırasında ortaya çıkan malzeme ve imalat kaynaklı kusurlar, yapısal bütünlüğü tehdit edebilmekte; buna karşın mevcut denetim yöntemleri genellikle manuel, tepkisel ve gerçek zamanlı geri bildirim sağlamaktan uzaktır. Bu durum, üretim hatalarını tespitte gecikmelere ve yüksek maliyetli makine duruşlarına yol açmaktadır. Mevcut yöntemler iki temel eksiklik taşımaktadır: (1) yalnızca kısıtlı görevleri kapsayan, çoğunlukla çevrimdışı çalışan kısıtlı çözümler ve (2) zaman içinde evrilen katmanlar boyunca bütünsel ve tutarlı bir görselleştirme eksikliği. Bu doktora tezinde, yalnızca termal görüntüleme temelli, makineden bağımsız çalışan, gerçek zamanlı ve öğrenme odaklı çift yapılı bir denetim sistemi önerilmektedir. Sistem, akıllı yerel kusur tespiti ile küresel serim izlenebilirliğini bütünleşik şekilde sunmaktadır. Birinci yapı, üç bütünleşik modülden oluşan, hibrit bir görüntü tabanlı kusur analiz ve kalite değerlendirme sistemidir: Dinamik Şerit Tanımlama, Hiyerarşik Kusur Tanımlama ve Serim Kalitesi Değerlendirme. Bu modüller, çalışma zamanı (runtime) verimliliği için paralel veya koşullu çalışacak şekilde yapılandırılmıştır. Kurulumdan bağımsız özgün bir uzamsal-zamansal analiz algoritması sayesinde şerit sınırları piksel-altı hassasiyetle (ortalama hata < 0,8 piksel) belirlenerek şerit düzeyinde karar mekanizmaları etkinleştirilir. Aynı anda, üst seviyeli kusur tespiti, dokusal özelliklere dayalı optimize edilmiş bir Gabor-SVM sınıflandırıcı ile gerçekleştirilir (doğruluk ve duyarlılık > %95). Kusurlu olarak işaretlenen görüntüler, özel olarak tasarlanmış 12 katmanlı derin evrişimsel sinir ağına (CNN) yönlendirilerek çok sınıflı alt seviye kusur sınıflandırması yapılır (doğruluk: %96,4). Kusur tanımlama sonrası, termal uygulamaya uyarlanmış tohumlu aktif kontur algoritması ile segmentasyon gerçekleştirilir; elde edilen maskeler %93,2 piksel doğruluğu ile gürültülü ortamlarda dahi yorumlanabilir sonuçlar üretir. Bu çıktı, şerit geometrisi ile birleştirilerek, kusurun hem şerit hem de hat seviyesindeki etkisini sayısal olarak tanımlayan yeni bir metrik olan Kusur Etkilenim Oranı (DAP) hesaplanır ve bu metrik, operatör karar destek sisteminin temelini oluşturur. 5 fps hızla çalışan bu yapı, tam otomatik ve yorumlanabilir denetim olanağı sunarak havacılık standartlarını karşılamaktadır. İkinci yapı olan ThermoRAFT-AFP, AFP sürecine özel olarak geliştirilmiş, makineden bağımsız çalışan, derin öğrenme tabanlı bir termal hareket kestirim birimidir. RAFT optik akış mimarisi üzerine inşa edilen bu yapı, AFP'ye özgü iyileştirmeler ve süreç-farkındalıklı optimizasyonlarla (örneğin öngörüye dayalı ilklendirme, sürüklenme düzeltmesi, uyarlamalı erken çıkış) güçlendirilmiştir. Sistem, görüntüler-arası yoğun hareket tahminleri yaparak iki aşamalı bir yeniden yapılandırma hattını tetikler: önce serim şeridi düzeyinde termal mozaikler oluşturulur, ardından bunlar yüksek doğruluklu, katman seviyesinde serim görsellerine dönüştürülür. Bu yapı, zaman tutarlılığı ve global hizalamayı geri kazanarak kusur izlenebilirliğini mümkün kılar ve endüstriyel bakım-denetim mantığını yansıtır. ThermoRAFT-AFP, 4,83 mm/s hız tahmini ortalama kare hatası (RMSE) ve %0,1'in altında birikimli sürüklenme ile, SNR = 14,4 dB seviyelerine kadar dayanıklılığını korurken 25 fps hızında gerçek zamanlı çalışmayı sürdürmektedir. Robotla senkronize verilere ya da düşük çözünürlüklü akışlara dayalı geleneksel yöntemlerin aksine, hiçbir yeniden eğitim gerektirmeden farklı üretim koşullarına başarıyla uyum sağlamaktadır. Bu iki yapının birleşimi, AFP için gerçek zamanlı, bütünleşik ve termal tabanlı bir denetim sistemi oluşturmaktadır. Yerel kusur çıktıları, global termal serim görselleri üzerine bindirilerek zaman uyumlu ve yorumlanabilir bir kalite haritası ortaya konmuştur. Böylece kusur tanımlama, segmentasyon ve hareket kestirimi birleşik bir izleme mimarisi içinde bütünleştirilmektedir. 13.000'den fazla termal görüntü üzerinde test edilen sistem, farklı hızlar, geometri ve kusur sınıfları altında havacılık düzeyinde doğruluk ve genellenebilirlik sergileyerek yeniden eğitime ihtiyaç duymadan çalışmakta; yalnızca termal görüntülerle, robot verisi olmaksızın, gelecek nesil AFP denetimi için ölçeklenebilir ve pratik bir çözüm sunmaktadır.
Özet (Çeviri)
Automated Fiber Placement (AFP) technology continues to lead and transform composite manufacturing, but its progress remains constrained by persistent quality assurance challenges. Emerging material and process defects compromise structural integrity, while inspection practices remain largely manual, reactive, and incapable of real-time feedback—leading to costly downtimes. Existing methods face two core limitations: partial, mostly offline frame-wise analysis and the lack of global, temporally consistent lay-up visualization. To address these challenges, this thesis proposes a dual-framework, real-time, learning-centric inspection system that unifies local defect intelligence with global lay-up traceability—operating machine-independently using only thermal imagery. The first framework implements a hybrid, frame-wise defect analysis and quality assessment system composed of three synergistic modules—Dynamic Tow Identification, Hierarchical Defect Identification, and Lay-up Quality Evaluation—configured for parallel or conditional execution to ensure runtime efficiency. It begins with setup-independent spatial–temporal analysis that estimates tow boundaries with sub-pixel accuracy (mean error < 0.8 px), enabling tow-level reasoning. In parallel, high-level defect detection uses a Gabor-based SVM classifier exceeding 95% accuracy and recall. Defective frames are forwarded to a custom 12-layer deep convolutional neural network for fine-grained classification, achieving 96.4% multi-class accuracy across defect types. Upon detection, a seeded active contour model adapted to thermal textures yields interpretable segmentation masks with 93.2% pixel accuracy outperforming baseline methods under noise. These outputs are fused with tow geometry to compute the novel Defect Area Percentage (DAP) metric, which quantifies severity at both tow and course levels and forms the core of the operator decision support system (AFP-DSS). Operating at 5 fps, the framework enables fully autonomous, real-time AFP quality inspection. The second framework introduces ThermoRAFT-AFP, a machine-independent, deep learning-based thermal motion estimation core tailored to AFP. Built upon the RAFT optical flow, it incorporates AFP-specific augmentations and runtime optimizations (e.g., predictive initialization, drift correction, adaptive early exit) for stable, precise thermal flow tracking. It estimates dense inter-frame motion to drive a two-stage reconstruction pipeline that generates course-wise mosaics and assembles high-fidelity, ply-level laminate visualizations. This restores temporal consistency and global alignment across evolving lay-ups, enabling traceable defect analysis and mirroring industrial inspection workflows. ThermoRAFT-AFP achieves a velocity estimation RMSE of 4.83 mm/s and cumulative drift below 0.1%, while maintaining robustness down to SNR = 14.4 dB and sustaining real-time operation at 25 fps. Robust against setup variations without retraining and near-zero tuning, it produces interpretable, temporally aligned visualizations that support laminate-scale defect propagation analysis. Together, the two frameworks form an integrated system that fuses frame-wise defect outputs with global reconstructions into a unified thermal quality view. This fusion links semantic analysis with temporal context in an interpretable visualization aligned with real-world inspection workflows. Evaluated on over 13,000 thermal frames spanning diverse speeds, geometries and defect types, the system meets aerospace-grade benchmarks, eliminates robot-coupled dependencies, and delivers scalable, real-time AFP quality inspection directly from thermal imagery.
Benzer Tezler
- An AI chatbot–supported hybrid neural network for solving financial problems
Fınans problemlerının çözümü için önerilen AI chatbot ile desteklenmiş hibrit neural network
AHMET AKÇAY
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Beykent ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ UMUT KAYA
- Exploiting metadata, ontologies and semantics to design/enhance new end-user experiences for adaptive pervasive computing environments
Başlık çevirisi yok
AHMET SOYLU
Doktora
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKatholıeke Unıversıteıt Leuven (catholıc Unıversıty Of Leuven)PROF. DR. ERİK DUVAL
PROF. DR. PATRİCK DE CAUSMAECKER
PROF. DR. PİET DESMET
- A new approach to satellite communication: Harnessing the power of reconfigurable intelligent surfaces
Uydu iletisimine yeni bir yaklaşım: Yeniden yapılandırılabı̇lı̇r akıllı yüzeylerden faydalanma
KÜRŞAT TEKBIYIK
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT
- Hierarchical clustering attention for unsupervised object-centric representation learning
Obje odaklı temsil öğrenimi için hiyerarşik kümeleyici dikkat yöntemleri
CAN KÜÇÜKSÖZEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. YÜCEL YEMEZ
- Bridging the GAP between product and user: A design framework to establish a free relationship with tehnology
Ürün ile kullanıcı arasında köprü kurmak: Teknoloji ile özgür bir ilişki kurabilmek için bir tasarım çerçevesi
ENVER TATLISU
Doktora
İngilizce
2023
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstriyel Tasarım Ana Bilim Dalı
PROF. DR. GÜLNAME TURAN