Montaj operasyonlarında operatör verimliliğinin yapay zekâ temelli görüntü izleme ile iyileştirilmesine yönelik bir endüstri 4.0 yaklaşımı
An Industry 4.0 Approach to Improve Operator Efficiency in Assembly Operations with AI-Based Image Tracking
- Tez No: 948636
- Danışmanlar: PROF. DR. ERDAL EMEL
- Tez Türü: Doktora
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Bursa Uludağ Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 99
Özet
Modern üretimdeki manuel montaj işlemlerinde ortaya çıkan yüksek hata oranları verimlilik ve ürün kalitesi açısından ciddi zorluklar yaratmaktadır. Bu nedenle, manuel montaj işlemlerini gerçek zamanlı izleyerek operatör hatalarını tespit edip anında düzeltmek kritik öneme sahiptir. Son yıllarda, özellikle makine öğrenmesine dayalı çalışmalar ile görüntülenen montaj eylemlerindeki operatör hataları tespit edilerek verilen geri bildirimler sayesinde düzeltilmektedir. Fakat, şimdiye kadar yapılan çalışmalar genellikle el becerisi gerektiren montaj eylemlerini ve el-nesne etkileşimlerini göz ardı etmektedir. Halbuki, montaj eylemleri tamamen el hareketleri ile ellerin birtakım montaj aletleri ve parçalarla olan etkileşimine dayanmaktadır. Bu çalışmada, el becerisi gerektiren montaj eylemlerinin gerçek zamanlı olarak tanınması amacıyla üç boyutlu el eklem koordinatlarının kullanıldığı bir yöntem önerilmektedir. Önerilen hibrit yaklaşım, derin öğrenme tabanlı bir nesne tespiti yöntemi, bir el pozu tahmini algoritması ve Uzun Kısa Süreli Bellek (LSTM) ağı temelli bir sınıflandırıcının bütünleşik olarak çalışacağı şekilde tasarlanmıştır. Hibrit sistemde öncelikle, akan video karelerine YOLOv8 uygulanarak bir montaj eyleminin olası başlangıç noktası tespit edilir. Daha sonra, ilk tespit noktasından farklı bir başlangıç noktasını temsil eden bir başka nesne tespit edilene kadar geçen video karelerinden MediaPipe Hands ile el eklem koordinatları çıkarılır. Elde edilen zaman serisi verilerini uygun montaj eylemi olarak sınıflandırmak amacıyla LSTM temelli bir montaj eylemi tanıma ağı kullanılır. Önerilen yöntemi test etmek amacıyla gerçek bir üretim ortamından toplanan yeni bir veri kümesi oluşturulmuştur. Yapılan bu çalışma sayesinde gerçek zamanlı montaj eylemlerinin tanınması ve yerinin belirlenmesi konusunda sırasıyla %85,23 ve %89,95 doğruluk oranına ulaşılarak operatör verimliliğinin artırılması açısından önemli bir başarı elde edilmiştir.
Özet (Çeviri)
High error rates in manual assembly operations within modern manufacturing pose significant challenges to efficiency and product quality. Therefore, it is critically important to detect and instantly correct operator errors by monitoring manual assembly actions in real-time. While recent machine learning-based studies have focused on detecting and correcting operator errors in monitored assembly actions through feedback, they have generally overlooked complex fine-grained actions and hand-object interactions. However, assembly actions fundamentally rely on hand movements and the interaction of hands with various tools and parts. This study proposes a method utilizing three-dimensional (3D) hand joint coordinates for real-time fine-grained assembly action recognition. The proposed hybrid approach integrates a deep learning-based object detection method, a hand pose estimation algorithm, and a Long Short-Term Memory (LSTM) network-based classifier. In this system, YOLOv8 first identifies a potential starting point of an assembly action from the streaming video data. Hand joint coordinates are then extracted using MediaPipe Hands from the sequence of video frames between this first detection and the detection of a subsequent object that marks a different starting point. Finally, an LSTM-based action recognition network classifies this time-series data into the corresponding assembly action. To evaluate the proposed method, a new dataset was curated from a real production environment. This study resulted in a significant achievement in enhancing operator efficiency by reaching accuracies of 85.23% for real-time assembly action recognition and 89.95% for localization, respectively.
Benzer Tezler
- Fabrika üretim hattında üretim kapasitesini artırmak ve enerji verimliliğini sağlamak
To increase production capacity and provide energy efficiency for factory production line
HAKAN ÖZYURT
Yüksek Lisans
Türkçe
2016
Makine MühendisliğiYıldız Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEHRA YUMURTACI
- Yalın montaj sistemlerinin tasarlanması ve uygulanması
Designing and implementation of lean assembly systems
EZGİ BORA
Yüksek Lisans
Türkçe
2017
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET BÜLENT DURMUŞOĞLU
- Bir traktör fabrikasında karışık modelli montaj hattı dengeleme – deterministik ve stokastik ölçümlere göre analizler
Analysis of the mixed model assembly line balancing deterministic and stochastic measurements in a tractor plant
AYSIN ŞENEL UYANIK
Yüksek Lisans
Türkçe
2020
Endüstri ve Endüstri MühendisliğiTOBB Ekonomi ve Teknoloji ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SALİH TEKİN
- Development of quality prediction model and control mechanism for clinching process
Kenetleme prosesi için tahmin modeli ve kontrol mekanizması geliştirilmesi
EMİN ABDULLAH KAZANCI
Yüksek Lisans
İngilizce
2024
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- Engine maintenance time prediction with weibull distribution in commercial aviation
Ticari havacılıkta motorların bakım zamanlarının weıbull analizi ile öngörülmesi
KADİR VAROL
Yüksek Lisans
İngilizce
2013
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. İBRAHİM ÖZKOL