Visual verification using augmented reality in cockpit display systems
Kokpit görüntüleme sistemlerinin artırılmış gerçeklik ile görsel doğrulanması
- Tez No: 845430
- Danışmanlar: DOÇ. DR. GÖKHAN İNCE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 97
Özet
Havacılık sektöründe, yazılım test otomasyonu, özellikle modern uçaklar için karmaşık yazılımların geliştirilmesinde, geliştirme sürecini hızlandırmada kritik bir rol oynamaktadır. Bu sektördeki hızla ilerleyen teknoloji, uçakların güvenliği ve optimal performansını sağlamak için yazılım doğrulamasının kritik önemini vurgulamaktadır. Ancak, bu doğrulama süreci, sınırlı zaman ve kaynaklar içinde etkili bir şekilde yürütülmelidir. Yazılım test otomasyonu, bu süreci otomatik test araçlarıyla hızlandırarak ve manuel testin getirdiği riskleri azaltarak önemli bir rol oynar Bu yaklaşım, geliştirme aşamalarındaki yazılım hatalarının erken tespitine ve düzeltilmesine olanak tanıyarak ürünün daha hızlı piyasaya sürülmesini sağlar. Kokpit görüntüleme sistemleri, pilotlara uçağın durumu, hızı, konumu, rakımı, motor performansı, navigasyon verileri ve diğer önemli parametreler gibi hayati bilgileri sunarak havacılıkta çok önemli bir rol oynamaktadır. Kokpit ekranlarının doğrulanması, pilotların uçuş sırasında güncel ve güvenilir bilgilere erişmesini sağlar. Yanlış veya yanıltıcı veriler hatalı karar almaya, hatalı manevralara ve potansiyel güvenlik tehlikelerine yol açabilir. Bu nedenle, kokpit görüntüleme sistemlerinin görsel olarak doğrulanması, uçuş güvenliğini sağlamak adına son derece önemli bir adımdır. Otomatik görsel doğrulama sistemlerinde kokpit ekran görüntüsü dijital olarak veya kokpit önüne yerleştirilen kalibre edilmiş bir kamera aracılığıyla elde edilir. Elde edilen görüntü, çeşitli makine öğrenme metotları ve görüntü işleme teknikleri kullanılarak analiz edilerek test senaryolarında beklenen değerlerle otomatik olarak karşılaştırılır. Ancak kullanılan görsel otomasyon sistemleri hataya eğilimlidir. Uçuş güvenliğini etkileyen otomasyon sistemleri güvenilir olmalıdır ve bu nedenle insanlar tarafından denetlenmelidir. Bu nedenle, özellikle uçuş güvenliğini etkileyen otomasyon sistemleri insan gözetiminde gerçekleştirilmelidir. İnsan denetimi, potansiyel hataları tespit etme, acil durumlarda etkili bir şekilde müdahale etme ve sistemi sürekli olarak güncel tutma konusunda kritik bir rol oynar. Otomasyonun avantajlarına rağmen, tamamen otomatik bir sistemde insan denetimi olmadan, sistem hataları veya beklenmedik durumlarla başa çıkma yeteneği sınırlı olabilir. Bu nedenle, uçuş güvenliğiyle ilgili sistemlerde insan denetimi, otomasyonla ilişkilendirilen potansiyel riskleri en aza indirmek için hayati önem taşır. Bu çalışmada, geleneksel yöntem olan manuel görsel doğrulama tekniği anlatıldı ve test otomasyon süreçlerinin gözlemlenmesini kolaylaştırmak için iki farklı metodoloji geliştirildi. Manuel görsel doğrulama tekniğinde test senaryoları, belirli koşullar altında kokpit ekranının belirlenen bölgelerinde hedeflenen değerleri içeren test adımlardan oluşur. Test adımları, test edilen alanı ve beklenen değerleri sözel olarak anlatılır. Manuel görsel doğrulama sistemi, bir test yürütücüsü ve en az bir gözlemcinin katılımıyla gerçekleştirilir. Testi uygulayan kişi ve gözlemci, test bilgisayarından görsel olarak test edilecek alan hakkındaki bilgileri alır. Test içeriğini okuyarak test edilecek bölümün konumunu ve test senaryosundaki beklenen değerleri anlarlar. Daha sonra kokpit ekranına geri dönerler ve beklenen değerlerin ekranda doğru şekilde görüntülenip görüntülenmediğini doğrularlar. Otomatik görsel doğrulama sisteminde ise test senaryoları, uzun sözlü cümleler yerine, test edilecek alanların koordinatlarını ve bu koordinatlarda beklenen değerleri içerir. Testlerdeki koordinatlar, referans görüntü üzerinde işaretlenerek elde edilir. Beklenen değerler metin içeriği, metin rengi, arka plan rengi ve yazı tipi boyutu gibi değerleri içerebilir. Otomatik görsel doğrulama sistemi hataya açık olduğu için testin yürütülmesi sırasında test ortamında en az bir gözlemcinin bulunması gerekir. Kokpit görüntüleme yazılımının test sırasında değiştirilmemesi gerektiğinden test bilgilerini doğrudan kokpit ekranında görüntüleyen bir sistem kokpit görüntüleme yazılımına eklenemez. Sonuç olarak test bilgilerini gözlemlemek için harici bir monitör veya artırılmış gerçeklik kullanmak gerekir. Otomatik görsel doğrulama sistemi gözlemlemek için tasarlanan ilk sistemde gözlemci test otomasyon sonuçlarını test bilgisayarı ekranına bakarak gözlemler. Gözlemci, test bilgisayarında referans görüntü üzerinde görsel olarak doğrulanan bölgenin koordinat bilgisini görür. Ayrıca otomatik görsel doğrulama sisteminin ürettiği sonuçları test bilgisayarı ekranında gözlemler. Gözlemci, daha sonra kokpit ekranına bakarak test sonucu bilgisini doğrular. Test sonuçlarında herhangi bir sorun görülmezse testleri devam ettirir. Ancak bir hata tespit edilirse gözlemci bunu bildirir. Bu, otomatik görsel doğrulama sisteminin güvenilirliğini sağlar. Otomatik görsel doğrulama sistemi gözlemlemek için tasarlanan ikinci sistemde ise test otomasyonu artırılmış gerçeklik teknolojisi ile gözlemlenir. Test sonuç bilgileri, test bilgisayarı tarafından artırılmış gerçeklik gözlüğüne gönderilir ve kullanıcı, bunları kokpit ekranı üzerinde ve çevresinde hologramlar olarak görür. Böylece gözlemci, test edilen kokpit ekranına bakarak test sonuçlarını ergonomik bir şekilde gözlemler. Ayrıca bu sistemde artırılmış gerçeklik ortamında hologram şeklinde butonlar bulunmaktadır. Test sonuçlarında bir hata tespit edilmesi durumunda gözlemci, artırılmış gerçeklik ortamında bu butonlara basarak hatayı raporlayabilmektedir. Her iki yöntem de kokpit ekran sistemlerinin doğrulamasında test otomasyon süreçlerinin verimliliğini ve etkinliğini artırma genel hedefine katkıda bulunur. Bu çalışmada, manuel görsel doğrulama yöntemi ve tasarlanan iki otomatik görsel doğrulama sistemi detaylı bir şekilde incelendi. Bu yöntemler nicel ve nitel olarak değerlendirildi. Nicel analizde test yürütme süresi ve hata oranları değerlendirirken, nitel anketlerde olarak Sistem Kullanılabilirlik Ölçeği (SUS), Senaryo Sonrası Anket (ASQ) ve NASA Görev Yükü İndeksi (NASA-TLX) kullanıldı. Nicel sonuçlar, katılımcıların sistemlerde benzer performans sergilediğini ancak manuel test koşullarında önemli zaman kaybı yaşadıklarını göstermiştir. Öte yandan artırılmış gerçeklik kullanımı test koşullarında zaman avantajını da ortaya çıkardı. ASQ sonuçlarına göre artırılmış gerçeklik sisteminin diğer sistemlere göre daha kullanıcı dostu, zaman açısından verimli ve destekleyici olduğu algılandı. SUS puanlarına göre her iki otomatik görsel doğrulama sistemi de başarılı kabul edildi ancak artırılmış gerçeklik sistemi, kullanıcıların teknik destek ve öğrenme eğrisi konusundaki endişeleri nedeniyle daha düşük puan aldı. NASA-TLX sonuçları, hem otomatik görsel doğrulama hem de artırılmış gerçeklik kullanımının zihinsel iş yükünü önemli ölçüde azalttığını, artırılmış gerçekliğin özellikle çeşitli boyutlarda görev yükünü azaltmada etkili olduğunu ortaya çıkardı. Deneysel sonuçlar, artırılmış gerçekliğin kokpit ekran doğrulama sistemlerinde test sürecini hızlandırdığını, kullanıcıların bilişsel yükünü azalttığını ve genel sistem kullanılabilirliğini artırdığını göstermektedir.
Özet (Çeviri)
In the aviation sector, software test automation plays a crucial role in expediting the development process, particularly in the development of complex software for modern aircraft. The rapidly advancing technology in this sector emphasizes the critical importance of software verification for ensuring the safety and optimal performance of these aircraft. However, this verification process must be efficiently conducted within the constraints of limited time and resources. Software test automation comes into play by accelerating the process through automated testing tools and mitigating risks associated with manual testing. This approach allows for the early detection and correction of software errors in the developmental stages, enabling faster product launches. Due to the tendency of all automation systems to be error-prone, automation systems that impact flight safety should be monitored by humans as they need to be reliable. Therefore, regular human oversight is essential for automation systems, especially those affecting flight safety. Human oversight plays a critical role in detecting potential errors, intervening effectively in emergency situations, and maintaining the system. Despite the advantages of automation, in a fully automatic system without human supervision, the ability to handle system errors or unexpected situations may be limited. Hence, in safety-critical systems, human oversight is crucial for minimizing potential risks associated with automation, thereby enhancing flight safety. Two distinct methodologies were developed in this work to facilitate the observation of test automation processes. The first method involves monitoring test automation through an external screen, enabling users to track the proper functioning and identify any potential issues early in the process. The second method incorporates the use of Augmented Reality (AR) technology for observing test automation. This innovative approach allows observers to superimpose virtual information directly onto the physical cockpit display, providing real-time monitoring and evaluation capabilities. Both methods contribute to the overall objective of enhancing the efficiency of test automation processes in the verification of cockpit display systems. In this study, the traditional method of manual visual verification and the two designed automatic visual verification systems were thoroughly examined. Both quantitative and qualitative evaluations were applied to the methods. The quantitative analysis involved assessing test execution time and error rates, while qualitative surveys utilized the System Usability Scale, After Scenario Questionnaire, and NASA Task Load Index. Experimental results show that the incorporation of augmented reality accelerates the testing process in cockpit display verification systems, reduces cognitive load for users, and enhances overall system usability.
Benzer Tezler
- Sanal alışverişte algılanan riskin tüm kanallı (omni-channel) perakendecilik modellerinde hizmet kalitesi, müşteri memnuniyeti ve sanal satın alma niyeti açısından incelenmesi
The examination of perceived risk of online shopping in omni-channel retailing types with regards to service quality, customer satisfaction and online purchase intention
ELİF TÜRK
- Bessel fonksiyonlarının türevlerini ihtiva eden fonksiyonların geometrik özellikleri
Geometric properties of functions including derivatives of bessel functions
SERCAN KAZIMOĞLU
- An efficient H.264 intra frame coder hardware design
Etkin bir H.264 intra çerçeve kodlayıcı donanım tasarımı
ESRA ŞAHİN
Yüksek Lisans
İngilizce
2006
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İLKER HAMZAOĞLU
- Image analysis based symbol recognition in colored maps
Renkli haritalarda görüntü analizi tabanlı sembol tanıma
FATMANUR TURHAN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- A baseline H.264 video encoder hardware design
Bir H.264 video kodlayıcı donanım tasarımı
AYDIN AYSU
Yüksek Lisans
İngilizce
2010
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiYRD. DOÇ. DR. İLKER HAMZAOĞLU
