Fractional-order derivative based adaptive methods for control and optimization
Kontrol ve optimizasyon için kesir mertebeli türev tabanlı adaptif yöntemler
- Tez No: 947140
- Danışmanlar: PROF. DR. MÜJDE GÜZELKAYA, PROF. DR. İBRAHİM EKSİN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 132
Özet
Kesir mertebeli hesaplama, türev ve integral kavramlarının tam sayı olmayan mertebelerde genelleştirilmesini inceleyen bir matematik alanıdır. Tarihçesi 17. yüzyılda Leibniz ve L'Hôpital arasındaki mektuplaşmalara kadar uzanan bu alan, başlangıçta matematiksel bir merak konusu olarak görülmüş, ancak 19. yüzyıldan itibaren Liouville, Riemann ve diğer matematikçilerin katkılarıyla kuramsal temelleri güçlenmiştir. Günümüzde kesir mertebeli analiz, klasik tam sayı mertebeli hesaplamaları genelleştirerek karmaşık sistemlerin bellek ve kalıcılık özelliklerini modellemeye olanak tanımakta ve bilim ve mühendislikte önemli bir araç olarak kabul edilmektedir. Bu yönüyle kesir mertebeli matematik, bilimsel açıdan hem teorik zenginlik sunmakta hem de pratik problemlerin çözümünde geniş bir uygulama alanı bulmaktadır. Kesir mertebeli işlemlerin sabit mertebeli kullanımına ek olarak, adaptif olarak kullanımı, değişen şartlara ve sistem dinamiklerine gerçek zamanlı uyum sağlama potansiyeli nedeniyle özellikle mühendisliğin bir çok alanında dikkat çekmiştir. Klasik (tam sayı mertebeli) işlemler sabit bir yapıya sahipken, kesir mertebeli işlemlerin mertebesini değişen koşullara göre ayarlamak, sistem başarımını ve esnekliğini artırabilir. Özellikle türevin temel öneme sahip olduğu kontrol ve optimizasyon alanlarında önemli bir değişim yaratma potansiyeline sahiptir. Bu fikirle yola çıktığımız bu tezde, önerilen üç temel çalışma da bu adaptif yaklaşım etrafında şekillenmektedir: Birincisi, kontrol sistemleri için geliştirilen adaptif bir kesir mertebeli kontrolör yapısıdır. İkincisi, regresyon problemlerinde kullanılan optimizasyon yöntemleri için öne sürülen adaptif kayıp fonksiyonları olan Kesirli Kayıp Fonksiyonları (Fractional Loss Functions, FLF) yaklaşımıdır. Üçüncü çalışma ise sınıflandırma problemlerinde kullanılan optimizasyon yöntemlerinin verideki etiket gürültüsüne (label noise) karşı dayanıklılığı artırmayı hedefleyen Kesirli Sınıflandırma Kayıp Fonksiyonu (Fractional Classification Loss, FCL) yöntemidir. Bu üç yenilikçi yaklaşımın ortak noktası, kesir mertebeli türevin adaptif kullanımının sağladığı avantajlardan yararlanarak kontrol ve yapay zekada optimizasyon alanlarında başarımı ileri taşımaktır. Tezin ilk kısmında, dinamik sistemlerin kontrolünde esneklik ve uyarlanabilirlik sağlamak amacıyla adaptif kesir mertebeli bir kontrolör yapısı geliştirilmiştir. Geleneksel kontrolörler genellikle tam sayı mertebede integral ve türev işlemleri kullanır; bu durum, başarımlarını ve esnekliklerini sınırlamaktadır. Buna karşılık, bu tezin ilk kısmında kullandığımız değişken mertebeli (Variable-Order, VO) adaptif kesir mertebeli kontrolörler için ayarlama yöntemleri iki önemli avantaj sunmaktadır: sabit mertebeli kontrolörlere kıyasla kesir mertebelilerin adaptif ayarlanması yoluyla genel sistem başarımını artırmaları ve dışarıdan gelen bozucuların bastırılmasını etkin bir şekilde sağlamaları. VO kontrolörlerin belirli alanlarda potansiyelini ortaya koyan çalışmalar olsa da, özellikle dört kanatlı dron konum kontrolü gibi gerçek zamanlı uygulamalarda sistem kararlılığını koruyarak çevrimiçi ayarlama yöntemleri geliştirmek hala büyük bir zorluk teşkil etmektedir. Şimdiye kadar, değişken mertebeli kesir mertebeli kontrolörlerin kararlılığını kesin olarak sağlayan bir yöntem literatürde bulunamamış ve gerçek zamanlı sistemlerindeki uygulamaları da sınırlı kalmıştır. Bu zorluğun üstesinden gelmek için bu tezde, istenen referansa doğru sistem yanıtının yakınsama hızını ortaya koyan, normalize ivme olarak bilinen bir metriği kullanarak, değişken mertebeli kesirli türev için çevrimiçi bir ayarlama yöntemi önerilmektedir. Bu adaptif ayarlama sayesinde kontrolör, sistem yanıtını stratejik olarak hızlandırıp yavaşlatarak genel başarımı artırabilmektedir. Rüzgar ve sensörlerdeki ölçüm gürültüsü koşulları altında gerçekleştirilen kapsamlı dört kanatlı dron konum kontrolü üzerine yapılan gerçek zamanlı deneyler ve simülasyon çalışmaları, kesir mertebeli türevi adaptif ayarlamanın hem geleneksel sabit mertebeli kontrolörlerden daha üstün başarım sergilediğini hem de D-ayrışma temelli kararlılık analizinin bize gösterdiği üzere, kapalı çevrim kararlılığını korumaktadır. Tezin ikinci kısmında, derin öğrenme modellerinin optimizasyon sürecinde kesir mertebeli türevlerin adaptif kullanımıyla, veri setindeki farklı gürültü çeşitleri ve seviyelerine karşı dayanıklı algoritmalar geliştirilmiştir. Derin öğrenme modellerinde optimizasyon süreci, model parametrelerinin eğitim verisine uyacak şekilde ayarlanmasını sağlar. Optimizasyonun başarısı, büyük ölçüde tanımlanan kayıp fonksiyonuna bağlıdır. Kayıp fonksiyonu, model tahminleri ile eğitim verisinin gerçek değerleri arasındaki farkı nicel olarak ifade ederek hangi yönde ne kadar iyileştirme yapılması gerektiğini gösterir. Bu nedenle uygun bir kayıp fonksiyonunun seçimi veya tasarımı, modelin belirli tür hatalara nasıl tepki vereceğini ve öğrenme sürecinin kararlılığını doğrudan etkiler. Gözetimli (supervised) öğrenmenin iki ana dalı olan sınıflandırma ve regresyon problemlerinde, veri setine göre farklı kayıp fonksiyonları kullanılır: Sınıflandırma problemlerinde genellikle çapraz entropi veya benzeri kayıp fonksiyonları kullanılırken, regresyon problemlerinde ortalama karesel hata, mutlak hata veya Huber gibi sürekli değerlerin hatasını ölçen fonksiyonlar tercih edilir. Sınıflandırmada amaç, tahmin edilen olasılık dağılımını doğru sınıfa yönlendirmek ve yanlış sınıfları bastırmak iken; regresyonda amaç, sürekli çıktı değerlerini gerçek değerlere mümkün olduğunca yakın kılmaktır. İki problem için de veri setleri genelde gürültüler içerir ve bu gürültülerin yapısı ve oranları farklılıklar gösterebilir. Her iki durumda da kayıp fonksiyonu, eğitim sürecinin rehberi konumundadır ve modelin genelleme ve gürültüye karşı dayanıklılık başarımı üzerinde belirleyici bir role sahiptir. Tezin ikinci kısmının ilk önemli katkısı, regresyon problemlerinde adaptif dayanıklı kayıp fonksiyonlarının tasarımı konusundadır. Geleneksel olarak, regresyon için derin öğrenme modelleri sabit bir kayıp fonksiyonu (örneğin ortalama karesel hata) kullanılarak eğitilir; ancak bu sabit yapı, tüm veri kümeleri ve hata dağılımları için en iyi çözümü sunamaz. Özellikle veri kümesinde aykırı ve gürültülü değerler (outlier) veya değişken hata dağılımları mevcutsa, eğitim öncesi seçilen kayıp fonksiyonu modelin ya gürültüye fazla duyarlı olmasına ya da belirli hataları göz ardı etmesine yol açabilir. Bu durumda model başarımı büyük oranda düşer. Bu soruna çözüm olarak bu tezde, kesir mertebeli matematik temelli FLF adı verilen yeni bir yaklaşım geliştirilmiştir. FLF yapısının temel mantığı, klasik kayıp fonksiyonlarına (örneğin L2 normuna dayalı karesel hata veya L1 normuna dayalı mutlak hata fonksiyonlarına) kesirli türev operatörünü entegre ettikten sonra, bu fonksiyonları adaptif bir hale getirmektir. Kayıp fonksiyonunun mertebesi olarak adlandırılan kesir mertebesi $\mu$, 0 ile 1 arasındaki bir değer boyunca ayarlanarak kayıp fonksiyonunun yapısını sürekli bir spektrumda değiştirilebilmektedir. Bu sayede $\mu$ değeri küçültüldüğünde büyük hataların etkisi yumuşatılabilir, büyütüldüğünde ise küçük hatalı verilere daha fazla odaklanılabilir ve daha gürültüye karşı daha dayanıklı bir yapı elde edilebilir. Tez kapsamında uyarlanabilirlik kavramı bir adım ileri taşınmış ve $\mu$ değerinin eğitim süreci boyunca otomatik olarak ayarlanabildiği bir mekanizma önerilmiştir. Model, öğrenme sırasında veri yapısına ve hata dağılımına bakarak kendi kayıp fonksiyonunu optimize etmekte, böylece el ile hiperparametre arayışına gerek kalmadan gürültüye karşı dayanıklı bir öğrenme gerçekleştirebilmektedir. Yapılan deneyler, FLF'nin kullanıldığı modellerin hem klasik sabit kayıp fonksiyonlarına göre daha düşük hata değerleri elde ettiğini, hem de özellikle gürültülü veya aykırı değer içeren veri setlerinde genelleme başarısını belirgin biçimde artırdığını göstermektedir. En önemlisi, bu başarıyı literatürdeki yöntemlerin tersine önceden parametre ayarlamadan, tamamen eğitim sırasında otomatik olarak yapmasıdır. Bu adaptif kesir mertebeli kayıp fonksiyonu tasarımı, derin öğrenme modellerinde optimizasyonu daha esnek hale getirerek, karmaşık regresyon problemlerinde modelin güvenilirliğini ve başarımını yükseltmektedir. Yapılan deneylerde derin öğrenme modeli tabanlı görüntü üretme, görüntü gürültüsü azaltma, pil ömrü tahmini ve dron sistem tanılama işlemlerinde FLF kullanımının başarımı büyük ölçüde arttırdığı gösterilmiştir. Tezin ikinci kısmının ikinci önemli katkısı, sınıflandırma problemlerinde kullanılan optimizasyon yöntemleri için etiket gürültüsüne karşı geliştirilen FCL'dir. Derin öğrenme tabanlı sınıflandırma problemlerinde, eğitim verilerinin etiketlerinde bulunan hata veya tutarsızlıklar (etiket gürültüsü), modellerin yanlış öğrenmesine ve sonuçta düşük genelleme başarımına yol açan önemli bir sorundur. Mevcut yaklaşımlar, bu sorunu hafifletmek için genellikle ya veriyi ön işleme adımlarıyla hatalı etiketleri tespit edip düzeltmeye çalışır, ya da doğrudan eğitim aşamasında kullanılan kayıp fonksiyonunu daha gürültüye dayanıklı hale getirir, fakat optimizasyon yakınsama hızından feragat eder. Bu tezde önerilen FCL yöntemi ise ikinci yaklaşıma yenilikçi bir katkı sunmaktadır: Kesir mertebeli bir bakış açısıyla sınıflandırma kayıp fonksiyonunu yeniden tanımlamak ve bunu adaptif bir yapı haline getirmek, böylece verideki gürültü oranına bağlı olarak kayıp fonksiyonunun kendini adaptif şekilde ayarlamasını sağlamak. FCL yapısı, klasik çapraz entropi gibi sınıflandırma kayıp fonksiyonlarını kesir mertebelide genelleştirerek, modelin eğitim esnasında hatalı etiketlerin etkisini adaptif olarak azaltmasına imkân tanır. Özellikle, FCL içerisinde tanımlanan kesir dereceli parametre $\mu$, tıpkı FLF'de olduğu gibi, model tarafından öğrenme sürecinde ayarlanabilir. Bu adaptif parametre, modelin her bir örneğin hata katkısını değerlendirme biçimini dinamik olarak değiştirir: Güvenilir olmayan (muhtemelen hatalı etiketli) örneklerde kayıp değeri azalırken, modelin güvenilir örneklerde doğru sınıflara 'güvenini' azaltarak bir denge oluşturur. Bu sayede model, eğitim verisindeki gürültüye karşı kendini uyarlayarak, yakınsama hızından çok fazla feragat etmeden hatalı etiketlerin olumsuz etkisini en aza indirgeyebilir. Gerçekleştirilen deneysel çalışmalar, farklı oranlarda etiket gürültüsü içeren veri kümelerinde FCL kullanan derin öğrenme modellerinin, geleneksel çapraz entropi veya diğer dayanıklı kayıp fonksiyonlarına kıyasla daha yüksek sınıflandırma başarıları elde ettiğini göstermiştir. Özellikle gürültülü etiket oranı arttıkça, FCL'in avantajı belirginleşmekte ve modelin bu zor şartlar altında bile öğrenmeye devam edip doğru genelleme yapabildiği gözlemlenmektedir. Bu sonuçlar, FCL yönteminin derin öğrenme modellerini etiket gürültüsüne karşı daha dayanıklı hale getirmede etkili bir araç olduğunu kanıtlamaktadır. Sonuç olarak, bu tez çalışması ile kontrol ve yapay zeka modellerinin optimizasyonu alanlarına önemli katkılar sunulmuştur. Geliştirilen adaptif kesir mertebeli kontrolör, klasik kontrol ilkelerini kesir mertebeli esneklikle birleştirerek karmaşık ve belirsizlik içeren sistemlerin daha etkin bir şekilde kontrol edilmesine imkan tanımıştır. Bu sayede endüstriyel otomasyon, robotik ve süreç kontrolü gibi alanlarda, değişen koşullara anında uyum sağlayabilen ve yüksek hassasiyetli bir kontrol başarımı sunan yeni nesil kontrolörlerin geliştirilmesine zemin hazırlanmıştır. Yapay zeka modellerinin optimizasyonu alanında ise önerilen kesirli kayıp fonksiyonları (FLF ve FCL) ile derin öğrenme modellerine uyarlanabilirlik kazandırılmıştır. Bu yaklaşımlar, modellerin eğitim sürecinde sadece parametrelerini değil aynı zamanda optimize ettikleri hedef fonksiyonu da duruma göre ayarlamalarına olanak tanıyarak, özellikle gürültülü ve zor veri setlerinde daha güvenilir ve yüksek başarımlı sonuçlar alınmasını sağlamıştır. Tezde elde edilen bulgular, kesir mertebeli matematiğin disiplinler arası bir yaklaşımla hem kontrol teorisinde hem de optimizasyon süreçlerinde adaptif yöntemler üretmek için kullanılabileceğini göstermektedir. Geleceğe dönük olarak, bu çalışmanın açtığı yolda ilerleyen araştırmalar sayesinde daha akıllı, dayanıklı ve uyarlanabilir kontrol sistemleri ile öğrenme algoritmalarının geliştirilmesi mümkün olacaktır.
Özet (Çeviri)
Fractional calculus generalizes classical differentiation and integration from integer orders to non-integer orders, thereby offering enhanced flexibility and effectiveness in many areas of science and engineering. By adapting these orders dynamically, one can achieve a smooth transition between different levels of differentiation and integration. This thesis investigates such adaptive fractional‑order derivatives, in which the order varies in response to external parameters. Making the differentiation order adaptive unlocks new possibilities in fields where differentiation is fundamental, such as control and optimization. We first develop adaptive fractional-order derivative based methodologies to tackle long-standing challenges in fractional-order controllers, achieving improved performance under both nominal and uncertain operating conditions. Secondly, we introduce methods leveraging fractional-order derivatives to obtain robust and adaptive optimization of deep neural networks, to provide the necessary flexibility in adjusting robustness against noise. Our experiments include both simulated and real‑world systems and datasets, advancing both the theoretical understanding and practical applications. The unifying theme of these three approaches presented in this thesis is leveraging the advantages of adaptively applying fractional‑order derivatives to advance performance in control systems and optimization. In the realm of control systems, traditional controllers often employ integer-order integrals and derivatives, which constrain their performance and flexibility. Fractional operators have been shown to significantly enhance the modeling and control of dynamic systems, providing improved performance and adaptability. However, many existing fractional controllers in the literature rely on fixed‑order fractional integral and derivative operators, limiting their effectiveness in complex systems and rapidly changing environments. By contrast, variable‑order (VO) fractional controllers offer a dual advantage: superior overall performance compared to fixed‑order controllers and effective disturbance rejection through dynamic adjustment of the fractional orders. Although studies on VO fractional controllers demonstrate potential in specific domains, developing online tuning methods for VO fractional operators that preserve system stability, particularly for real‑world applications such as quadcopter control, remains a significant challenge. Currently, no definitive method exists for establishing the stability of VO fractional controllers, and their practical applications have been limited. To address this, this thesis introduces an online tuning method for the VO fractional derivative based on a metric known as normalized acceleration, which quantifies the convergence rate toward the desired reference. By adaptively adjusting the fractional-order derivative, the controller can strategically accelerate or decelerate the system response, thereby enhancing performance. Extensive simulation studies and real‑time experiments on quadcopter position control, conducted under wind gust disturbances and measurement noise, demonstrate that this adaptive tuning not only outperforms conventional fixed‑order controllers but also preserves closed‑loop stability, as verified by D‑decomposition‑based stability analysis. A critical challenge in optimization is managing noisy data and outliers, since optimization parameters must be chosen according to the dataset's noise characteristics. In modern optimization methods, especially for deep neural networks, the choice of loss (objective) function is crucial, as it directly influences model convergence speed, robustness, and generalization performance from noisy data. Conventional loss functions such as L1, L2, log‑cosh, and Cauchy each offer unique benefits; for example, L1 loss is often preferred for noisy datasets over L2 loss for its lower sensitivity to large errors. However, no single loss function is universally optimal. Recognizing this limitation, this thesis introduces a novel family of adaptive robust loss functions based on adaptive fractional-order derivatives, for both areas of supervised learning: regression and classification. For regression, we propose Fractional Loss Functions (FLFs), which leverage a fractional‑order derivative \(\mu\) and adaptively adjust it to control the shape of any given regression loss. Increasing \(\mu\) reshapes the loss landscape to reduce outlier influence and enhance robustness, while decreasing \(\mu\) accelerates convergence. To address the challenge of selecting an optimal \(\mu\) a priori, we transform it into a parameter that is dynamically adjusted during optimization. This adaptive mechanism ensures the loss function self‑tunes to balance robustness and convergence speed, mitigating the adverse effects of noisy data. Comparative experiments on battery cycle‑life prediction, system identification, image synthesis, and denoising demonstrate that models trained with adaptive FLFs significantly outperform those using conventional loss functions. Next, the thesis extends the adaptive fractional-order derivative framework to the optimization for classification tasks. The current paradigm of machine learning is driven by large models trained on vast datasets. However, this reliance on large-scale data acquisition often prioritizes quantity over quality, leading to datasets that contain significant label noise, which can degrade model performance and generalization. In supervised classification tasks, data labeling—whether performed automatically, by humans, or through web scraping—produces large datasets that frequently contain mislabeling errors. These errors can result from human mistakes, limited expertise, or the error-prone nature of automated methods. Such mislabels introduce various forms of label noise that negatively affect model training. While loss functions like the mean absolute error offer theoretical robustness, they often suffer from slow convergence. To overcome this challenge, this thesis introduces Fractional Classification Loss (FCL), which is derived by applying the adaptive fractional-order derivative to the Cross-Entropy loss and uses it together with the mean absolute error loss. This loss formulation uses a single interpretable robustness hyperparameter, fractional derivative order $\mu$, which is adaptively tuned during optimization. By dynamically balancing the trade-off between enhanced robustness and convergence speed, FCL ensures that the loss function adapts to the noise characteristics of the dataset without the need for manual hyperparameter tuning. To assess the effectiveness of FCL, we conduct ablation studies and first demonstrate that mistuned hyperparameters degrade performance in existing robust losses, an issue avoided by FCL's adaptive learning of \(\mu\). Next, we evaluate performance across different initializations of \(\mu\) and compare models with fixed versus adaptive \(\mu\), in addition to assessing the time complexities of existing losses and FCL. Finally, experiments on MNIST, CIFAR-10, and CIFAR-100 with both symmetric and asymmetric label noise confirm that FCL consistently achieves state-of-the-art performance while automatically tuning \(\mu\) for robustness.
Benzer Tezler
- Controller design methodologies for fractional order system models
Kesirli mertebe sistem modelleri için kontrolör tasarım yöntemleri
ERHAN YUMUK
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MÜJDE GÜZELKAYA
- Kesir dereceli diferansiyelin doğrusal olmayan denetim yöntemlerine ve sinyal işleme tekniklerine uygulanması
Utilization of fractional order differentiation in nonlinear control methods and signal processing techniques
GÜRKAN KAVURAN
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. CELALEDDİN YEROĞLU
- Robot kollarının adaptif kontrolü
Adaptive control of robot arms
K.FATİH DİLAVER
Yüksek Lisans
Türkçe
1994
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiPROF.DR. M. KEMAL SARIOĞLU
- Optimal design of the robotic exoskeleton for hand rehabilitation
El rehabilitasyonu için geliştirilen harici iskeletin optimal tasarımı
MOHAMMAD HASSAN GOL MOHAMMADZADEH
Doktora
İngilizce
2019
Mekatronik MühendisliğiAtılım ÜniversitesiMühendislik Sistemlerinin Modellenmesi ve Tasarımı Ana Bilim Dalı
PROF. DR. HULUSİ BÜLENT ERTAN
DR. ÖĞR. ÜYESİ KUTLUK BİLGE ARIKAN
- A New criterion for equalization of the high frequency channel
Yüksek frekans kanalının dengelenmesi için yeni bir kriter
SİBEL UZUNER
Yüksek Lisans
İngilizce
1991
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiPROF.DR. YALÇIN TANIK