Otonom robotlar için pekiştirmeli öğrenme tabanlı dağıtık arıza teşhis sistemi
Reinforcement learning based distributed fault diagnosis system for autonomous robots
- Tez No: 896574
- Danışmanlar: PROF. DR. AHMET YAZICI, DOÇ. DR. EYÜP ÇİNAR
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Eskişehir Osmangazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 94
Özet
Otonom mobil robotlar (AMR'ler), endüstri 4.0 için en önemli siber-fiziksel sistemlerden biridir. Bu robotların arızaları, üretimde kazalara, maliyetli gecikmelere ve kesintilere neden olabilir. Arıza tespitinde veriye dayalı yapay zekâ yöntemleri başarılıdır. Fakat başarılı yapay zekâ modellerinin eğitimi, farklı sistemleri temsil eden yoğun veri gerektirir. Ham sensör verilerinin merkezi sisteme gönderimi hız, güvenlik ve bant genişliği sorunları ortaya çıkarır. Diğer yandan, yalnızca uç sistemlerde eğitilen modeller tüm ajanları ve durum uzayını temsil etmemektedir. Akıllı fabrikalar gibi gerçek ve dinamik ortamlarda birden fazla mobil robot ajan için merkezi ve eşzamanlı eğitim zordur. Her ajan bilinmeyen zor durumlarla karşılaşır ve arızalar nadir görülür, bu durum modelin dengesiz koşullarla eğitilmesi sorununu beraberinde getirir. Bu tez, öngörü ve sağlık yönetimi amaçları doğrultusunda, akıllı fabrikalarda filo düzeninde faaliyet gösteren AMR'ler için çok ajanlı pekiştirmeli öğrenmeye dayalı bir arıza tespit yöntemi önermektedir. Yöntem, ham verileri uç sistemlerden merkezi sisteme aktarmak yerine, model parametrelerinin eşzamansız olarak sistemler arası paylaşılmasına dayanır. Model eğitiminde, insan deneyiminin öğrenilmesini sağlayan taklit öğrenme kullanılmıştır. Çalışma, bilinmeyen ortamlarda birden fazla ajana yönelik eğitimde dengesiz veriler için parametrelendirilmiş orantılı ödül mekanizması önermektedir. Modeller uçta sensör tabanlı aykırılık tespiti gerçekleştirir. Arıza tespiti aşamasında tek sensör verisinde görülebilen ve yanlış alarma sebep olan gürültüye karşı karar seviyesi füzyonu uygulanmaktadır. Çalışma, Eskişehir Osmangazi Üniversitesi Akıllı Fabrika ve Robotik Laboratuvarı'nda yürütülmüştür. Sonuçlar önerilen yöntemin normal koşular için tüm yanlış alarmları ortadan kaldırdığını göstermektedir. Ayrıca arızalı koşular %100 oranında, arızalı pencereler ise yaklaşık %78 oranında tespit edilmiştir. Önerilen yöntem, arıza anını yüksek doğrulukta tespit ederek doğru bakım planlamasında kullanılabilir.
Özet (Çeviri)
Autonomous mobile robots (AMRs) are one of the most essential cyber-physical systems for industry 4.0. Faults of these robots can cause accidents, delays, and interruptions in production. Data-driven artificial intelligence methods are successful in detecting faults. However, training successful artificial intelligence models requires extensive data representing different systems. Sending raw sensor data to the central system poses speed, security, and bandwidth issues. On the other hand, models trained only on edge systems do not represent all agents and state space. Centralized and synchronized training for multiple mobile robot agents is difficult in real and dynamic environments such as intelligent factories. Every agent faces unknown difficult situations, and faults are rare, which brings the problem of training the model under unbalanced conditions. This thesis proposes a fault detection method based on multi-agent reinforcement learning for AMRs operating in fleet order on intelligent factory floors for prognostics and health management. The method is based on asynchronously sharing model parameters between systems instead of transferring raw data from edge systems to the central system. In model training, imitation learning was used, which allows learning about human experience. The study proposes a parameterized proportional reward mechanism for unbalanced data in training multiple agents in unknown environments. The models perform sensor-based anomaly detection at the edge. During the fault detection phase, decision-level fusion is applied against noise that can be seen in a single sensor data set and causes false alarms. The study was conducted at Eskişehir Osmangazi University Intelligent Factory and Robotics Laboratory. The results show that the proposed method eliminates all false alarms for normal runs. In addition, faulty runs were detected at a rate of 100%, and faulty windows were detected at approximately 78%. The proposed method can be used in accurate maintenance planning by detecting the moment of fault with high accuracy.
Benzer Tezler
- Object-aware interactive perception
Nesne farkındalıklı etkileşimli algılama
ÇAĞATAY KOÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
PROF. DR. SİNAN KALKAN
- Dynamic obstacle avoidance using reinforcement learning
Pekiştirmeli öğrenme kullanarak dinamik engel kaçınımı
MUHARREM KÜÇÜKYILMAZ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKAN USLU
- Motion planning and control with randomized payloads using deep reinforcement learning
Derin pekiştirmeli öğrenme kullanarak rastgele yükler ile hareket planlama ve kontrol
ALİ DEMİR
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Normalizing flows as HMM emissions for learning from demonstration
Gösterimlerden öğrenme için normalleştiren akış emisyonlu saklı markov modelleri
FARZIN NEGAHBANI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. BARIŞ AKGÜN
- Derin pekiştirmeli öğrenme tabanlı enerji maliyeti optimizasyonu
Energy cost optimization based on deep reinforcement learning
MUSTAFA MUTLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜRKAN IŞIK