Pekiştirmeli öğrenme yöntemi ile fırçasız doğru akım motor kontrolü ve yüksek çözünürlüklü enkoder gerçekleştirilmesi
Brushless dc motor control using reinforcement learning method and implementation of high-resolution encoder
- Tez No: 961128
- Danışmanlar: PROF. DR. ATİYE HÜLYA OBDAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Makinaları ve Güç Elektroniği Bilim Dalı
- Sayfa Sayısı: 123
Özet
Pekiştirmeli öğrenme, başlangıçta rastgele hareketler yaparak, ödül fonksiyonundan aldığı geri bildirimler sayesinde en iyi kontrol stratejilerini keşfeder. Bu yöntem, kontrol edilen sistemin matematiksel modeline veya hazır veri setlerine ihtiyaç duymaz ve son yıllarda motor kontrol uygulamalarında da popülerlik kazanmıştır. Pekiştirmeli öğrenme yöntemlerinin çoğu, yapay sinir ağı veya fonksiyon tabanlı yaklaşımlar kullanır. Bu yöntemlerde, sensör verilerinin işlenmesi esnasında yapay sinir ağları içerisinde gelen verileri ağırlıklarla çarpma, toplama ve aktivasyon fonksiyonlarına tabi tutma gibi işlemler gerçekleştirilir, mikro saniyeler mertebesindeki kontrol çevrim periyodu içerisinde, sinir ağının büyüklüğüne bağlı olarak sayıları binlerce olan bu matematiksel işlemlerin gerçekleştirilmesi gerekmektedir. Ayrıca, algoritmalar kümülatif ödülleri maksimize etmek için uzun vadeli politikalar oluşturur ve sürekli günceller. Sürekli durum ve eylem uzaylarında interpolasyon gibi işlemler kontrol çevrim sürelerini uzatarak gerçek zamanlı uygulamaları zorlaştırır. Bu nedenle, motor kontrolü gibi yüksek örnekleme hızı gerektiren uygulamalarda, genellikle güçlü işlemciler, GPU'lar veya FPGA gibi pahalı donanımlara ihtiyaç duyulur. Tabular pekiştirmeli öğrenme yöntemleri, işlem yükü açısından avantaj sağlar. Karmaşık matematiksel işlemler yerine basit tablo taramalarıyla karar alınması, düşük işlem gücüne sahip mikro-denetleyicilerle dahi hızlı kontrol sağlar. Ancak, sensörlerden gelen akım, hız ve ivme gibi girdilerin ayrıklaştırılması gerekir ve bu ayrıklaştırılmış değişkenlerin sayısı tablo boyutunu etkiler. Motor kontrolü gibi uygulamalarda bu tablo büyüklüğü genellikle milyonları bulur ve yüksek hafıza ihtiyacı doğurur. Bu nedenle, tabular yöntemler, büyük durum-hareket uzaylarına sahip motor kontrol sistemlerinde tercih edilmemekte ve literatürde yer almamaktadır. Bu tezde, tabular bir pekiştirmeli öğrenme metodu olan Q öğrenme, hafıza gereksinimini azaltmak için aç-kapa anahtarlama tekniğiyle birleştirilmiştir. Önerilen yöntem, düşük maliyetli ve düşük hafızalı bir mikro-denetleyicide yüksek kontrol çevrim hızlarıyla çalıştırılabilmiştir. Simulink platformunda yapılan benzetimler, sistemin başarılı performansını kanıtlamıştır. PID kontrolörle yapılan karşılaştırmalarda önerilen yöntemin daha iyi sonuçlar sağladığı görülmüştür. Bu çalışma, Q Öğrenme algoritmasının motor kontrolünde kullanımına ilişkin literatürdeki boşluğu doldurmayı ve endüstriyel uygulamalar için düşük maliyetli bir çözüm sunmayı hedeflemektedir. Ayrıca Q-öğrenme algoritmasının performansını artırabilecek yüksek çözünürlüklü bir enkoder tasarımı gerçekleştirilmiştir.
Özet (Çeviri)
Reinforcement learning mimics how a child learns through trial and error, initially performing random actions and discovering optimal ones via a reward function. It requires no mathematical model or pre-existing dataset and has recently gained popularity in motor control applications. Most reinforcement learning methods rely on neural networks, processing sensor data through operations like weighted multiplication, summation, and activation functions. In microsecond control loops, thousands of such operations are required, depending on the network size. Optimizing cumulative rewards with long-term policies and handling continuous state-action spaces can extend control loop durations, complicating real-time applications. High-sampling-rate motor control often necessitates expensive hardware like powerful processors, GPUs, or FPGAs. Tabular reinforcement learning reduces computational load via simple table lookups, making it suitable for low-power microcontrollers. However, discretizing sensor inputs like current, speed, and acceleration creates tables often containing millions of entries, which demand significant memory. Consequently, these methods are rarely used in motor control systems with large state-action spaces. In this thesis, a tabular reinforcement learning method, Q-learning, has been combined with an on-off switching technique to reduce memory requirements. The proposed method has demonstrated the ability to operate at high control loop speeds on a low-cost and low-memory microcontroller. Simulations conducted on the Simulink platform have validated the successful performance of the system. Comparisons with a PID controller have shown that the proposed method achieves superior results. This study aims to fill the gap in the literature regarding the use of Q-learning in motor control and provide a low-cost solution for industrial applications. In addition, a high-resolution encoder design has been developed and integrated into the system to ensure the full-performance operation of the Q-learning algorithm.
Benzer Tezler
- Comparison of MPC based motion control algorithms on mujoco hybrid platform
Mujoco hibrit platformunda MPC tabanlı hareket kontrol algoritmalarının karşılaştırılması
AYŞE KIZILDEMİR KILIÇ
Yüksek Lisans
İngilizce
2025
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ
- Pekiştirmeli öğrenme yöntemi ile poz tahmini ve insan hareket analizi
Pose estimation and human motion analysis with reinforcement learning
EDA TEPE
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. KEMAL ÖZKAN
- Pekiştirmeli öğrenme yöntemi ile optimal dc motor hız kontrolcüsünün tasarlanması
Optimal DC motor speed controller design with reinforcement learning algorithm
BEKİR MURAT AYDIN
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Iyileştirilmiş pekiştirmeli öğrenme yöntemi ve dinamik yükleme ile kentiçi ulaşım ağlarının tasarımı
Dynamic user equilibrium urban network design based on modified reinforcement learning method
CENK OZAN
Doktora
Türkçe
2012
TrafikPamukkale Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. SONER HALDENBİLEN