Geri Dön

Adaptive inverse optimal controller design for non-affine nonlinear systems using machine learning techniques

makine öğrenmesi teknikleri kullanarak doğrusal ve afin olmayan sistemler için adaptif ters optimal kontrolör tasarımı

PDF İndir

  1. Tez No: 863713
  2. Yazar: MUHAMMET EMRE SANCI
  3. Danışmanlar: PROF. DR. GÜLAY ÖKE GÜNEL
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 131

Özet

Optimal kontrol probleminin temel amacı, belirli kontrol ve durum kısıtlamalarını karşılayan ve bir performans kriterini optimize eden bir kontrol giriş fonksiyonu veya kontrol kuralı elde etmektir. Ancak, kısıtsız ve doğrusal durumlarda bile, optimal kontrol kuralını analitik olarak elde etmek basit değildir. Optimal kontrol kuralını bulmak genellikle Hamilton-Jacobi-Bellman (HJB) denklemini çözmeyi gerektirir ki bu da oldukça karmaşık bir süreçtir. Özellikle doğrusal olmayan sistemlerde, genellikle analitik bir HJB çözümü bulunmamaktadır. Sistem doğrusal olduğunda ve performans kriteri ikinci dereceden olduğunda, HJB denklemi bir Riccati denklemine dönüşür ve bu da belirli durumlarda analitik çözümlerle uğraşmayı zorlaştırır. Öte yandan, zorlayıcı HJB problemi yerine farklı bir bakış açısı sunan bir başka yaklaşım ise Ters Optimal Kontrol (TOK) teorisidir. Ters optimal kontrol problemi perspektifi, Kalman'ın 1960'ların başlarında ortaya koyduğu bir kavramdır. Kalman, bir dinamik sistem ve bir geri besleme kontrol yasası verildiğinde ve kapalı çevrim sistemi asimptotik olarak kararlı olduğunda, ters problemi, bu kontrol yasasının optimal olduğu en genel performans indeksini aramaktır şeklinde tanımlamıştır. Aslında TOK, optimal kontrol problemini tam tersinden algılayan bir metodolojiden ziyade bir yaklaşım olarak görülebilir. TOK yönteminde kontrolörün kararlı ve anlamlı amaç fonksiyonlarına göre optimal olması istendiğinde kontrol Lyapunov fonksiyonu (KLF) tabanlı kontrol yaklaşımları yaygın olarak kullanılmaktadır. Yaygın olarak bilinen tipik sistem sınıfları için en uygun geri beslemeli kontrolörün tasarımını sağlayan KLF'nin formülasyonu literatürde çokca ele alınmıştır. KLF'nin varlığı, sistemin kararlılığını gösterir. Bu nedenle, bu yaklaşımın ayırt edici yönü, sistemi kararlı kılan geri besleme kontrolüne karşılık gelen performans ölçütünün sonradan belirlenmesidir. Genel doğrusal olmayan sistemler için KLF'nin belirlenmesine yönelik açık ve kesin bir teknik bulunmadığından, TOK'un en zorlu yönü KLF'nin kendisinin belirlenmesidir. TOK, son yıllarda birçok gerçek zamanlı uygulamada doğrusal olmayan optimal kontrol problemlerini çözmek için giderek daha fazla kullanılmıştır. TOK, HJB denklemini çözme zahmetinden kurtararak, doğrusal olmayan sistemlerde optimal kontrol problemlerine alternatif bir çözüm sağlar. Ancak belirtilmesi gereken bir diğer nokta ise şu anda doğrusal olmayan ve afin olmayan sistemlerin optimal kontrolü için yeterli çalışmanın bulunmamasıdır. Afin sistemler dinamik denklemlerde kontrol girdisinin lineer olarak ayrıştırılabildiği sistemlerdir. Eğer kontrol girdisi lineer olarak ifade edilemiyorsa sisteme afin olmaya sistem denir. TOK kullanılarak yapılan çalışmalarda Afin girişli sistemler tercih edilmiştir. Özellikle afin olmayan kontrollü doğrusal olmayan sistemlere ilişkin Hamilton-Jacobi-Bellman (HJB) denklemlerinin çözülmesi mümkün değildir. TOK'un afin olmayan kontrollü doğrusal olmayan sistemler üzerinde kullanımına ilişkin bir araştırma yapılmamıştır. TOK çözülmesi külfetli olan HJB probleminden kaçınmayı sağlayarak bir çok sistemde kullanılmıştır fakat yapısı itibariyle kullanım alanı sistem modeli olarak giriş ve çıkış ilişkisi doğrusal ve giriş işareti sistem dinamiklerinden izole edilebilen sistemler ile sınırlı kalmıştır. Ancak gerçekte pek çok sistemin giriş ve çıkış ilişkisi hem doğrusal değildir hem de sistem dinamiklerinden izole edilebilir değildir (afin olmayan ve doğrusal olmayan sistemler). Literatürde yapılan çalışmalar esnasında analitik basitlik, kontrol tasarımı kolaylığı, hesaplama verimliliği, modelleme yaklaşımı gibi çeşitli nedenlerden dolayı genellikle kontrol teorisi ve ilgili alanlarda doğrusal olmayan afin girişli sistemlerin kullanılması tercih edilmektedir. Ancak doğrusal olmayan afin girişli sistemler bu avantajları sunarken, tüm sistemlerin doğrusal olmayan afin girişli modellerle doğru şekilde temsil edilemeyeceğini kabul etmek önemlidir. Sistemlerin güçlü doğrusal olmayan özellikler sergilediği durumlarda, ilave analitik ve hesaplama zorlukları oluştursa da, daha karmaşık ve doğru, afin olmayan doğrusal olmayan sistem modellerinin kullanılması gerekli olabilir. Hem TOK'un uygulanabilirliğinin artırılması ve kullanım alanının genişletilmesi açısından hem de literatürde bu yönde bir araştırma yapılmamış olması açısından, bu tezde TOK'un afin olmayan ve doğrusal olmayan sistemler üzerinde kullanılabilmesi probleminin çözümü üzerine yoğunlaşılmıştır. Tezde öncelikle çalışmada kullanılmış olan temel kavramlar anlatılmıştır. Daha sonra TOK üzerine kapsamlı bir anlatım yapılmıştır. Ardından tezde TOK'un afin olmayan kontrollü doğrusal olmayan sistemler üzerinde kullanılabilmesi üzerine iki farklı yöntem önerilmiştir. Bu bağlamda, ilk yöntem olarak nonlineer otoregresif hareketli ortalama-L2 (NOHO-L2) modelleme tekniği ve çevrimdışı yapay sinir ağları (YSA) yöntemi kullanılarak tasarlanmış yeni bir ters optimal kontrolör tasarımı anlatılmıştır. İlk olarak, sistemin doğrusal olmayan otoregresif dışsal girişli (DOODG) modeli çevrimdışı YSA yöntemi kullanılarak elde edilir, sistem giriş ve çıkışlarının haritalandırması oluşturulur. Ardından, yine YSA kullanılarak bu model NOHO-L2 alt modellerine ayrılır. Sonuç olarak, afin olmayan sistem modeli, afin bir sistem modeline yakınsar. Daha sonra bu elde edilen NOHO-L2 alt modelleri, ters optimal kontrol kuralının hesaplanmasında önemli bir rol oynar. Buna ek olarak, ters optimal kontrolörün parametresi yinelemeli sinir ağları kullanılarak çevrimiçi olarak ayarlanır. YSA tabanlı NOHO-L2 modeli ve optimal kontrole dayalı önerilen ters optimal kontrolörün performansı, MATLAB kullanılarak iki referans sistem üzerinde gerçekleştirilen simülasyonlar ve karşılaştırmalarla değerlendirilmiştir. Bu simülasyonların sonuçları, YSA tabanlı NOHO-L2 modeli ve ters optimal kontrolorün, yüksek başarılı bir modelleme ve kontrol performansı elde ettiğini göstermektedir. Önerilen ikinci yöntem hareketli ortalama-L2 (NOHO-L2) modelleme tekniği ve çevrimiçi en küçük kareler destek vektör regresyonu (EKKDVR) yöntemi kullanılarak tasarlanmış başka bir ters optimal kontrolör yapısıdır. Öcelikle, sistemin doğrusal olmayan otoregresif dışsal girişli (DOODG) modeli çevrimiçi EKKDVR yöntemi kullanılarak elde edilir. Ardından, model NOHO-L2 alt modellere ayrılır. Sonuç olarak, afin olmayan sistem modeli, afin bir sistem modeline yakınsar. Daha sonra bu elde edilen NOHO-L2 alt modelleri, ters optimal kontrol kuralının hesaplanmasında kullanılır. Ayrıca, ters optimal denetleyicinin parametreleri Levenberg-Marquardt algoritması kullanılarak çevrimiçi olarak ayarlanır. Bildiğimiz kadarıyla önerdiğimiz yöntem literatürde TOK'ün bütün parametrelerini çevrim içi ayarlayan üç çalışmadan biri, ayrıca afin olmayan kontrollü doğrusal olmayan sistemler üzerinde TOK kullanılarak yapılan şu ana kadarki tek çalışmadır. EKKDVR tabanlı NOHO-L2 modeli ve ters optimal denetleyiciye dayalı önerilen ters optimal kontrolörün performansı, MATLAB ortamında iki referans sistem üzerinde gerçekleştirilen simülasyonlar ve karşılaştırmalarla değerlendirilmiştir. Bu simülasyonların sonuçları, EKKDVR tabanlı NOHO-L2 modeli ve ters optimal denetleyicinin, çok daha yüksek başarılı bir modelleme ve kontrol performansı elde ettiğini göstermektedir. Her iki çalışmada da MATLAB üzerinde yapılan benzetimler önerilen yöntemlerin işlerliğini ve başarımını teyit etmiştir. Bu tez üzerine olası gelecek geliştirme çalışması olarak farklı makine öğrenimi tabanlı algoritmaların kullanımı ve NOHO-L2 dönüşümü gerektirmeyen yeni uyarlanabilir ters optimal kontrolör yapılarının oluşturulması önerilebilir.

Özet (Çeviri)

The primary aim of the optimal control problem is to derive a control input function or control law that meets specific control and state constraints while optimizing a given performance criterion. However, obtaining the optimal control rule is a challenging task, even in unconstrained and linear cases, and often cannot be achieved analytically. The solution typically involves solving the Hamilton-Jacobi-Bellman (HJB) equation, a complex task, especially when dealing with nonlinear systems where an analytical HJB solution is often unavailable. In linear systems with a quadratic performance criterion, the HJB equation transforms into a Riccati equation, presenting its own challenges for analytical solutions. An alternative perspective to tackling optimal control problems is through the theory of Inverse Optimal Control (IOC), which circumvents the need to solve the intricate HJB equation. The inverse optimal control problem perspective is a concept introduced by Kalman in the early 1960s. Kalman defined it as follows: Given a dynamic system and a feedback control law, and the closed-loop system is asymptotically stable, the inverse problem is to search for the most general performance index for which this control law is optimal. In fact, IOC is an approach rather than a methodology that perceives the optimal control problem in reverse. In the IOC method, control Lyapunov function (CLF) based control approaches are widely used when the controller is desired to be stable and optimal according to meaningful objective functions. The formulation of CLF, which provides the design of the most suitable feedback controller for commonly known typical system classes, has been discussed extensively in the literature. Its existence implies the stability of the system. Therefore, the distinctive aspect of this approach is the subsequent determination of the performance measure corresponding to the feedback control that stabilizes the system. Since there is no clear and precise technique for determining the CLF for general nonlinear systems, the most challenging aspect of IOC is the determination of the CLF itself. IOC has been increasingly used in recent years to solve nonlinear optimal control problems in many real-time applications. IOC provides an alternative solution to optimal control problems in nonlinear systems by saving the trouble of solving the HJB equation. However, another point that should be noted is that there is currently not enough work on the optimal control of nonlinear systems. In studies using TOC, systems with affine inputs are preferred. It is not possible to solve the Hamilton-Jacobi-Bellman (HJB) equations, especially for non-affine nonlinear systems. TOC. There has been no research on the use of IOC on non-affine nonlinear systems. IOC has been used in many systems by avoiding the HJB problem, which is cumbersome to solve, but due to IOC structure, its use is limited to systems whose input and output relationship is linear and whose input signal can be isolated from the system dynamics (non-affine non-linear systems). However, in reality, the input and output relationships of many systems are both non-linear and not isolable from the system dynamics. In most studies in the literature, it is generally preferred to use non-linear affine input systems in control theory and related fields due to various reasons such as analytical simplicity, ease of control design, computational efficiency, and modeling approach. However, while systems with nonlinear affine inputs offer these advantages, it is important to recognize that not all systems can be accurately represented by models with nonlinear affine inputs. In cases where systems exhibit strong nonlinear properties, it may be necessary to use more complex and accurate nonlinear system models with non-affine inputs, although this poses additional analytical and computational challenges. In order to increase the applicability of IOC and expand its application area, and because there is no research in this topic in the literature, this thesis focuses on the solution of the problem of using IOC on non-affine controlled nonlinear systems. In the thesis, first of all, the basic concepts constituting the background material that has been utilized is explained. Then, a comprehensive explanation on IOC has been propvided. Consequently, two different methods were proposed in the thesis to use IOC on non-affine nonlinear systems. In this context, this thesis describes a new inverse optimal controller design using the nonlinear autoregressive moving average-L2 (NARMA-L2) modeling technique and the offline artificial neural networks (ANN) method as the first method. First, the nonlinear autoregressive external input (NARX) model of the system is obtained using the offline ANN method, and a mapping of the system inputs and outputs is created. Then, this model is decomposed into NARMA-L2 submodels, again using ANN. As a result, the non-affine system model converges to an affine system model. These resulting NARMA-L2 submodels then play an important role in calculating the inverse optimal control rule. In addition, the parameter of the inverse optimal controller is tuned online using recurrent neural networks. The performance of the ANN-based NARMA-L2 model and the proposed inverse optimal controller was evaluated by simulations and comparisons performed on two reference systems using MATLAB. The results of these simulations show that the ANN-based NARMA-L2 model and the inverse optimal controller achieve highly successful modeling and control performance. The second proposed method describes another new inverse optimal controller utilizing the NARMA-L2 modeling technique and the online least squares support vector regression (LSSVR) method. The process begins with deriving the nonlinear autoregressive with exogenous inputs (NARX) model using the online LSSVR method. The model is then disintegrated into NARMA-L2 submodels, transforming the non-affine system model into a nonlinear affine system model. These NARMA-L2 submodels play a crucial role in calculating the inverse optimal control law. The parameters of the inverse optimal controller are fine-tuned online using and the Levenberg-Marquardt algorithm. To the best of our knowledge, the method we propose is one of the three studies in the literature that adjusts all parameters of IOC online, and it is the only study so far using it on non-affine nonlinear systems. The performance of the proposed inverse optimal controller based on the LSSVR based NARMA-L2 model and the inverse optimal controller was evaluated by simulations and comparisons performed on two reference systems in the MATLAB environment. Simulation and comparison studies for proposed method on two benchmark systems demonstrate that the proposed inverse optimal controllers exhibit commendable modeling and control performances. In both studies, simulation experiments conducted on MATLAB have confirmed the effectiveness and performance of the proposed methods. As a possible future extension of this thesis, the aim is to explore the use of different machine learning-based algorithms and to develop new adaptive inverse optimal controller structures that do not require NARMA-L2 transformation.

Benzer Tezler

  1. Tez No

    584063

    Optimal design of the robotic exoskeleton for hand rehabilitation

    El rehabilitasyonu için geliştirilen harici iskeletin optimal tasarımı

    MOHAMMAD HASSAN GOL MOHAMMADZADEH

    Doktora

    İngilizce

    İngilizce

    2019

    Mekatronik MühendisliğiAtılım Üniversitesi

    Mühendislik Sistemlerinin Modellenmesi ve Tasarımı Ana Bilim Dalı

    PROF. DR. HULUSİ BÜLENT ERTAN

    DR. ÖĞR. ÜYESİ KUTLUK BİLGE ARIKAN

  2. Tez No

    895520

    An approach for simulation-based multi-objective optimization of dynamic shading devices

    Dinamik gölgeleme elemanlarının simülasyon tabanlı çok amaçlı optimizasyonuna yönelik bir yaklaşım

    AYÇA KIRIMTAT

    Doktora

    İngilizce

    İngilizce

    2024

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. GÜLTEN MANİOĞLU

  3. Tez No

    65636

    Esnek imalat sistemlerinde üç serbestlikli manipülatör tasarımı ve kontrolü

    Design and control of a three link manipulator in flexible manufacturing systems

    SAMİ AKMERMER

    Doktora

    Türkçe

    Türkçe

    1997

    Makine MühendisliğiErciyes Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. İBRAHİM UZMAY

  4. Tez No

    478288

    Stabilization and tracking control of pan-tilt platforms using novel estimators and acceleration based robust control techniques

    Özgün kestiriciler ve ivme tabanlı gürbüz kontrol teknikleri kullanılarak pan-tilt platformların stabilizasyon ve izleme kontrolü

    SANEM EVREN HAN

    Doktora

    İngilizce

    İngilizce

    2017

    Mekatronik MühendisliğiSabancı Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA ÜNEL

  5. Tez No

    458928

    Doğrusal olmayan ve belirsiz Euler-Lagrange sistemlerinin optimal çıkış geri beslemeli denetimi üzerine

    On optimal adaptive output feedback control of Euler-Lagrange systems

    ORHAN AKSOY

    Doktora

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ERKAN ZERGEROĞLU

Geri Dön