Geri Dön

Robot hücresi içerisinde yapay zekâ ve görüntü işleme tabanlı parça besleme kontrolü

Artifical intelligence and image processing-based part feeding control in a robot cell

PDF İndir

  1. Tez No: 948039
  2. Yazar: ENESALP ÖZ
  3. Danışmanlar: DOÇ. DR. MUHAMMED KÜRŞAD UÇAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Sakarya Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 95

Özet

Bu çalışma, endüstriyel üretim hatlarında sıklıkla karşılaşılan parça besleme hatalarını önlemek amacıyla, yapay zekâ tabanlı bir görüntü işleme sistemi geliştirmeyi hedeflemektedir. Günümüz üretim süreçlerinde özellikle otomotiv sektörü gibi yüksek hassasiyet gerektiren alanlarda, robotik sistemlerin doğru çalışması büyük önem taşımaktadır. Bu sistemlerdeki en kritik adımlardan biri olan parça besleme sürecinde oluşabilecek en küçük hata bile, kalite sorunlarına, üretim kayıplarına ve ciddi maliyet artışlarına neden olabilmektedir. Bu kapsamda geliştirilen sistem, operatör tarafından parçaların yerleştirildiği bölgeyi kamera ile görüntüleyerek, parçanın doğru konumda olup olmadığını gerçek zamanlı olarak tespit etmektedir.Geleneksel görüntü işleme yöntemlerinin, özellikle aydınlatma değişimi, çapak gibi fiziksel engeller ve benzer arka plan koşullarında yetersiz kaldığı bilinmektedir. Bu nedenle çalışmada klasik yöntemler yerine, derin öğrenme tabanlı bir yaklaşım tercih edilmiştir. Özellikle evrişimli sinir ağı (CNN) mimarisi üzerine kurulu olan YOLOv7-tiny modeli kullanılarak, hızlı ve doğru bir sınıflandırma sistemi oluşturulmuştur. YOLO mimarisi, görüntüyü bir bütün olarak analiz ederek nesne tespitini hem hızlı hem de yüksek doğrulukla gerçekleştirebilmesi sayesinde bu alanda önemli bir avantaj sunmaktadır.Model eğitimi, üretim sahasından toplanan 2400 adet görüntü ile gerçekleştirilmiştir. Verilerin %50'si doğru yerleştirilmiş (OK), %50'si ise hatalı yerleştirilmiş (NG) parçaları içermektedir. NG sınıfındaki verilerin azlığı, yapay veri üretimi ve veri artırma teknikleri ile dengelenmiştir. Bu teknikler arasında renk bozulması (color jittering), histogram eşitleme ve görüntü normalizasyonu yer almakta olup, modelin çevresel değişkenliklere karşı dayanıklı hale gelmesini sağlamıştır. Eğitim süreci sonucunda model %98,07 doğruluk, %98,15 özgüllük (specificity) ve %99,89 kesinlik (precision) oranlarına ulaşmıştır.Donanım olarak sistem, NVIDIA Jetson AGX Orin üzerinde çalışmakta ve görüntü alımı için BASLER acA2500-60uc kamera kullanılmaktadır. Görüntüleme ve analiz süreci tamamlandığında sınıflandırma sonucu, ModBus protokolü ile bir PLC'ye iletilmekte ve sistem otomatik karar alabilmektedir. Ayrıca, Raspberry Pi tabanlı bir ekran ile sistemin durumu kullanıcıya görsel olarak da aktarılmaktadır. Uygulama, çapaklı yüzeyler, ışık yansımaları ve titreşim gibi üretim ortamındaki zorlu koşullar altında test edilmiştir.Sonuç olarak, bu çalışma yalnızca akademik anlamda değil, pratik endüstriyel uygulama açısından da yüksek değer taşımaktadır. Yapay zekânın üretim sahasında doğrudan kullanımı ile hem insan kaynaklı hatalar azaltılmış hem de kalite kontrol süreci otomatikleştirilmiştir. Bu bağlamda çalışma, literatürde az sayıda bulunan gerçek saha uygulamaları arasında yer almakta ve Endüstri 4.0–5.0 vizyonuna somut katkı sağlamaktadır.

Özet (Çeviri)

In recent years, extensive literature has highlighted the challenges associated with conventional visual inspection systems in industrial settings. Traditional machine vision approaches—such as template matching, Hough transforms, and contour-based techniques—tend to perform adequately under strictly controlled laboratory conditions but often fail when deployed in dynamic environments. Numerous studies in academic literature emphasize the limitations of fixed rule-based systems, particularly under fluctuating lighting, varying object orientations, or the presence of noise and occlusion. These methods typically rely on handcrafted features and are prone to generalization failures. While artificial neural networks (ANNs) and traditional support vector machines (SVMs) have been introduced as alternatives, they too suffer from scalability issues and the need for manual feature extraction. More recent research has turned to convolutional neural networks (CNNs) and deep learning-based object detection architectures. Models such as Faster R-CNN, SSD, and YOLO have been benchmarked across diverse datasets like COCO and PASCAL VOC, demonstrating superior adaptability to real-world variability. However, most of these implementations have been confined to academic or synthetic datasets, with limited validation under real industrial constraints. This research seeks to bridge that gap by delivering a fully implemented, real-time system validated within an operational manufacturing environment. This research addresses a pressing challenge in modern manufacturing—part feeding errors in automated production lines. These errors, particularly in high-precision sectors such as automotive manufacturing, can result in defective assemblies, production halts, and increased costs. To mitigate this issue, an artificial intelligence (AI)-powered real-time visual inspection system was developed and implemented in a real industrial setting. The core of this system is the YOLOv7-tiny model, a fast and lightweight convolutional neural network optimized for edge device deployment. Traditional machine vision systems rely heavily on handcrafted features and fixed rule-based algorithms such as thresholding, edge detection, and contour analysis. While useful in controlled environments, these methods fail under varying illumination, part orientation, dust, vibrations, and background complexity. In contrast, deep learning-based solutions offer better generalization and adaptability by learning hierarchical features directly from data. However, such solutions are rarely applied and validated under real manufacturing conditions due to computational and data constraints. This study fills that gap. YOLOv7-tiny was selected due to its balance of computational efficiency and high detection accuracy. Alternative models, such as SSD and Faster R-CNN, were evaluated; SSD lacked robustness in detecting small or partially occluded objects, while Faster R-CNN demanded higher GPU resources unsuitable for embedded platforms. YOLOv7-tiny's architecture—comprising a CSPDarknet backbone, PANet neck, and decoupled head—enables real-time object detection with minimal latency. A total of 2400 labeled images were collected directly from a functioning production cell. These images included an equal distribution of OK and NG samples. Since NG parts naturally occur less frequently, a series of advanced data augmentation techniques was employed, including color jittering, Gaussian noise, histogram equalization, rotation, scaling, and synthetic NG generation using compositing methods. This not only balanced the dataset but also enhanced robustness against environmental variability. The model was trained using the Darknet framework on a CUDA-enabled workstation. All dependencies, including cuDNN, OpenCV, and NumPy, were installed. GPU acceleration was activated and training parameters—batch size, learning rate, momentum—were carefully tuned. The loss function integrated objectness confidence, bounding box regression, and class prediction. Training was monitored using validation loss and early stopping techniques to prevent overfitting. The final model achieved 98.07% accuracy, 99.89% precision, 98.08% recall, and 98.15% specificity on the test dataset. The trained model was deployed on an NVIDIA Jetson AGX Orin, capable of real-time processing with low energy consumption. An industrial-grade BASLER acA2500-60uc camera was installed to capture images at precise intervals. System integration was achieved via ModBus TCP/IP using an ADAM-6052 module to establish communication between the AI unit and the PLC. A touchscreen interface based on WaveShare technology allowed operators to monitor system output and receive alerts. During production, the PLC triggers the system upon receiving a“go to robot”signal. The AI module captures an image, analyzes part placement, and determines OK or NG status. In the case of an NG detection, the system sends an immediate signal to halt robotic action or notify the operator, thus preventing defective parts from advancing further into the process chain. The entire detection and response cycle completes in less than 200 ms. The system was validated in a challenging industrial environment subject to noise, dust, and lighting fluctuations. It performed robustly across all conditions. Performance was measured using confusion matrices, and in several validation rounds, NG detection achieved 100% sensitivity—crucial for critical failure prevention. Additional preprocessing modules were incorporated to optimize input data quality and enhance detection accuracy. Grayscale conversion reduced color variation and computational complexity. Noise filtering helped to eliminate camera artifacts and background disturbances. Histogram equalization improved contrast in low-light scenarios, making the features more distinguishable. Normalization scaled pixel values into a uniform range, ensuring stable learning. These stages collectively improved the model's consistency and robustness. The model's high performance is quantitatively demonstrated by its evaluation metrics: Accuracy (98.07%): The overall correctness of predictions across all classes.Precision (99.89%): The proportion of parts predicted as OK that were actually OK, minimizing false positives.Recall (98.08%): The percentage of actual OK parts that were correctly identified by the model.Specificity (98.15%): The ability of the model to correctly identify NG parts and minimize false negatives. Each of these metrics contributes uniquely to evaluating the system. In a manufacturing setting, high specificity is critical to ensuring that defective parts (NG) are not overlooked. High precision prevents unnecessary halts for parts that are actually OK. The balance of all metrics demonstrates the system's suitability for real-world deployment. The academic contribution of this study lies in demonstrating that AI-based visual inspection can move beyond the lab and be applied in complex, dynamic manufacturing environments. Unlike prior studies restricted to synthetic or laboratory data, this system was trained, tested, and deployed in the field. It demonstrates how deep learning can be integrated with hardware controllers and existing industrial protocols to create a seamless, intelligent automation solution. This research also introduces a novel strategy for compensating data scarcity—synthetic image generation for underrepresented defect classes. This approach significantly improved model generalization, contributing to consistent performance despite data imbalance. The integration with PLC systems and usage of real-time monitoring makes the solution immediately deployable in Industry 4.0 and 5.0 contexts. In conclusion, this work establishes a full-cycle AI solution from data acquisition to field deployment. It validates YOLOv7-tiny's effectiveness in low-latency, high-accuracy scenarios and underscores the practical feasibility of deploying AI at the edge in industrial environments. The methodology, tools, and results form a valuable reference for future implementations of intelligent visual inspection systems.

Benzer Tezler

  1. Tez No

    838660

    Artificial potential function-based water quality monitoring using unmanned surface vehicle

    Suüstü robotu kullanarak yapay potansiyel fonksiyon tabanlı su kalitesi izleme

    EMRE FİKRİ BALTACI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Medeniyet Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HALUK BAYRAM

  2. Tez No

    363842

    Bir hücresel yapay sinir ağının sabit noktalı sayı aritmetiğiyle sayısal tasarımı ve gerçeklenmesi

    Digital design of a cellular neural network using fixed-point number arithmetic

    BARIŞ KARAKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. MÜŞTAK ERHAN YALÇIN

  3. Tez No

    90973

    A Systems framework and struched methodology for design and development of manufacturing control systems using n-tier clint/server technology

    İmalat denetmele sistemlerinin çok-katmanlı istemci/sunucu teknolojisine göre tasarım ve geliştirilmeleri için bir sistem yapısı ve uygulama methodolojisi

    HAKKI ÖZGÜR ÜNVER

    Doktora

    İngilizce

    İngilizce

    2000

    Makine MühendisliğiOrta Doğu Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖMER ANLAĞAN

  4. Tez No

    943121

    Estimating metabolic flux variability with machine learning

    Metabolik akış değerlerinin makine öğrenmesi ile tahmini

    BARIŞ CAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALİ ÇAKMAK

  5. Tez No

    444261

    Modeling and implementation of biological neural systems

    Biyolojik sinir sistemlerinin modellenmesi ve gerçeklenmesi

    ÖZGÜR ERDENER

    Doktora

    İngilizce

    İngilizce

    2016

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. İSMAİL SERDAR ÖZOĞUZ

Geri Dön