Derin pekiştirmeli öğrenme yöntemleri ile PI ve PID kontrolcü performansının iyileştirilmesi
Improving PI and PID controller performance with deep reinforcement learni̇ng methods
- Tez No: 869376
- Danışmanlar: PROF. DR. CELALEDDİN YEROĞLU, DOÇ. DR. GÜRKAN KAVURAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İnönü Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 113
Özet
Son dönemlerde yapay zeka yöntemleri içerisinde yer alan ve makine öğrenmesinin bir kolu olarak karşımıza çıkan Pekiştirmeli Öğrenme yöntemleri, karmaşık kontrol problemlerinin çözümü üzerine yaygın olarak kullanılmaya başlanmıştır. Ajan ve çevre arasındaki etkileşime ve bu etkileşim sonucunda aldığı ödül ve cezaya bağlı öğrenme gerçekleştiren Pekiştirmeli Öğrenme, endüstriyel kontrol uygulamalarında çalışma durumlarının simülasyon senaryolarına dayalı olarak düzenlendiği ortamlarda denetleyici katsayılarının optimum ayarlanması için kullanılabilmektedir. Bu tez çalışması kapsamında, Pekiştirmeli Öğrenme yöntemleri içerisinde etkili aktör-eleştirmen yapısını kullanan İkiz Gecikmeli Derin Deterministik Politika Gradyan ve Derin Deterministik Politika Gradyan algoritmaları kullanılarak farklı kontrol problemleri için tasarlanan simülasyon ortamlarında optimal denetleyici katsayılarının öğrenilmesi ve sistem kontrol performansının geliştirilmesi üzerine çalışılmıştır. Bu amaç doğrultusunda simülasyon ortamındaki gözlemci durumlarından yararlanılarak aktör ağı oluşturulmaktadır. Aktör ağı sistemin optimal kontrol hedefini sağlayabilmek amacıyla çevre ile etkileşime girmekte ve eylem gerçekleştirmektedir. Aktöre rehberlik sağlayan ve performanslarını değerlendiren bir eleştirmen yapısı bulunmaktadır. Denetleyici katsayıları ayarlanırken sistemin arzu edilen çıkışa uygun cevap vermesini sağlayabilmek amacıyla ayar noktası filtresi kullanılmaktadır. Deneme-yanılma yoluyla öğrenme gerçekleştiren Pekiştirmeli Öğrenme yöntemleri için sistemin çalışması esnasında olabilecek bozucu etkilerine karşı dayanıklı performans sergileyebilmesi amacıyla eğitim sırasında kullanılan simülasyon ortamına bozucu sinyal eklenmiştir. Eğitim sonucunda elde edilen sonuçlar karşılaştırmalı olarak sunularak önerilen yöntemin avantajları vurgulanmaktadır.
Özet (Çeviri)
Recently, Reinforcement Learning methods, which are among the artificial intelligence methods and appear as a branch of machine learning, have begun to be widely used to solve complex control problems. Reinforcement Learning, which performs learning based on the reward and punishment received as a result of this interaction according to the interaction between the agent and the environment, can be used in industrial control applications. It can be used for optimal adjustment of controller coefficients in environments where operating situations are arranged based on simulation scenarios. Within the scope of this thesis study, Twin Delay Deep Deterministic Policy Gradient and Deep Deterministic Policy Gradient algorithms, which are among the Reinforcement Learning methods and use the effective actor-critic structure, were used. Using these algorithms, studies have been carried out to learn optimal controller coefficients and improve system control performance in simulation environments designed for different control problems. For this purpose, an actor network is created by using observer situations in the simulation environment. The actor network interacts with the environment and takes action in order to achieve the optimal control performance of the system. There is a critic structure that provides guidance to the actor and evaluates its performances. While adjusting the controller coefficients, a set point filter is used to ensure that the system responds appropriately to the desired output. For Reinforcement Learning methods that learn through trial and error, a disturbance signal was added to the simulation environment used during training in order to ensure that the system exhibits a robust performance against disturbances that may occur during operation. The outputs obtained as a result of the training are presented comparatively and the advantages of the proposed method are emphasized.
Benzer Tezler
- A comparative study of nonlinear model predictive control and reinforcement learning for path tracking
Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması
GAMZE TÜRKMEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA
- Autonomous heading control of a fixed-wing aircraft with deep reinforcement learning
Sabit kanatlı bir uçak için derin pekiştirmeli öğrenme ile otonom yönelim kontrolü
FATİH AHMET SARIGÜL
Yüksek Lisans
İngilizce
2022
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- A comparative study of deep reinforcement learning methods and conventional controllers for aerial manipulation
Derin pekiştirmeli öğrenme yöntemleri ve geleneksel kontrolcülerin havasal manipulasyon için karşılaştırmalı çalışması
KAZIM BURAK ÜNAL
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. SİNAN KALKAN
PROF. DR. AFŞAR SARANLI
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Derin Q-öğrenme ile video oyunu oynayan akıllı etmenler geliştirilmesi ve deneyim tekrarı arabelleği boyutunun eğitime etkisinin incelenmesi
Developing intelligent agents playing video games with deep Q-learning and examining the effect of experience replay buffer size on training
HAKAN ALP EREN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET YAZAR
DOÇ. DR. NİHAT ADAR