Human-centric artificial intelligence systems for visual assistance and multimodal emotion analysis
Görsel yardım ve çok modlu duygu analizi için insan merkezli yapay zeka sistemleri
- Tez No: 916136
- Danışmanlar: DR. ÖĞR. ÜYESİ ABDURRAHMAN GÜMÜŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsan merkezli yapay zeka sistemleri, günlük yaşamı iyileştiren ve gerçek dünyadaki zorlukları ele alan teknolojiler yaratmak için çok önemlidir. Bu perspektifte, iki proje önerilmektedir. İlk proje olan Vis-Assist, görme engelli bireylere yardımcı olmak için tasarlanmış bir giyilebilir görsel yardımcı cihazdır. Nesneleri algılar ve sınıflandırır, mesafelerini ölçer ve harici sunuculara ihtiyaç duymadan entegre düşük maliyetli bir hesaplama birimi kullanarak titreşim motoru dizisi aracılığıyla gerçek zamanlı dokunsal geri bildirim sağlar. Bu cihaz, kullanıcıların 19 farklı nesne sınıfı arasında ayrım yapmasına ve güvenli bir şekilde gezinmesine olanak tanır. Geliştirilen giyilebilir cihazın performansı, dört katılımcıyla iki tür deney yoluyla değerlendirildi. Sonuçlar, kullanıcıların nesnelerin yerini belirleyebildiğini ve böylece engellerle çarpışmayı önleyebildiğini göstermektedir. Kullanıcılar ortalama olarak, 40 m²'lik boş bir alanda bir sandalye gibi önceden tanımlanmış bir nesneyi 94 saniyeden kısa bir sürede bulabilir ve nesneleri bulmak için engellerin etrafından dolaşabilir ve 121 saniyeden kısa bir sürede nesneleri bulabilir. İkinci proje, az sayıda atış öğrenmesi kullanarak çok modlu duygu sınıflandırmasına odaklanıyor. Yapay zekadaki geleneksel yöntemler, genellikle metin, görüntü, zaman serisi sinyali, ses spektrogramı gibi tek bir kaynak türünden gelen girdilere dayanır. Bu kaynaklar, modelin performansını iyileştirmek için çok modlu yaklaşımla birleştirilebilir. Bu araştırmada, OpenAI'nin CLIP çerçevesini kullanarak bir yapay zeka modeli geliştirildi ve Tip-Adapter algoritması üç tür girdiyi (metin, ses ve video) işleyecek şekilde uyarlandı. Modelin performansı, iki veri kümesi kullanılarak bir duygu sınıflandırma görevi üzerinde test edildi. Sonuçlar, çok modluluğun tek bir modalite kullanmaya kıyasla doğruluğu artırdığını göstererek, karmaşık, gerçek dünya ortamlarını anlayabilen ve bunlara yanıt verebilen insan merkezli AI sistemlerinin önemini vurguluyor.
Özet (Çeviri)
Human-centric artificial intelligence systems are crucial for creating technologies that enhance daily life and address real-world challenges. In this perspective, two projects are developed. The first project, Vis-Assist, is a novel wearable visual assistive device designed to aid visually impaired individuals. It detects and classifies objects, measures their distances, and provides real-time haptic feedback through a vibration motor array, all using an integrated low-cost computational unit without the need for external servers. This device allows users to discern between 19 different object classes and navigate safely. The performance of the developed wearable device was evaluated through two types of experiments with four participants. The results demonstrate that users can identify the location of objects and thereby prevent collisions with obstacles. On average, users can locate a predefined object, such as a chair, within a 40 m² vacant space in under 94 seconds and navigate around obstacles to find objects in less than 121 seconds. The second project focuses on multimodal emotion classification using few-shot learning. Traditional methods in artificial intelligence (AI), typically rely on inputs from a single type of resource such as text, image, time-series signal, audio spectrogram. These resources can be combined with multimodal approach to improve the performance of the model. This research developed an AI model using OpenAI's CLIP framework and adapted the Tip-Adapter algorithm to handle three types of inputs: text, audio, and video. The model's performance was tested on an emotion classification task using two datasets. The results demonstrate that multimodality improves accuracy compared to using a single modality.
Benzer Tezler
- Dialogue for all: Crafting inclusive and humanized voice assistants for diverse populations through an interdisciplinary approach
Herkes için diyalog: Farklı topluluklar için kapsayıcı ve insani sesli asistanlar oluşturmak üzerine disiplinler arası bir yaklaşım
YELİZ YÜCEL
Doktora
İngilizce
2023
İletişim BilimleriGalatasaray ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. KEREM RIZVANOĞLU
- THE DIGITAL TRANSFORMATION OF INTERNATIONAL TRADEMARK REGISTRATION:THE INTEGRATION OF E-GOVERNMENT SYSTEMS AND THE ADAPTATION OF THE MADRID PROTOCOL
ULUSLARARASI MARKA TESCİLİNİN DİJİTAL DÖNÜŞÜMÜ: E-DEVLET SİSTEMLERİNİN ENTEGRASYONU VE MADRİD PROTOKOLÜ'NÜN DİJİTALLEŞMEYE UYUM SÜRECİ
MERCAN SANDIKÇI
Yüksek Lisans
İngilizce
2026
HukukAnkara ÜniversitesiFikri Mülkiyet Hakları, Teknoloji Politikaları ve İnovasyon Yönetimi Ana Bilim Dalı
DOÇ. DR. SELİN ÖZDEN MERHACI
- Cognitively-inspired deep learning approaches for grounded language learning
Temellendirilmiş dil öğrenimi için bilişsel esinli derin öğrenme yaklaşımları
OZAN ARKAN CAN
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. DENİZ YURET
- İzole ve mobil güvenlik ortamları için kural tabanlı yapay zekâ destekli uç nokta veri sızıntısı önleme sistemi
Rule-based artificial intelligence-supported endpoint data leak prevention system for isolated and mobile security environments
YUSUF MERT VELİOĞLU
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMilli Savunma ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERNA GÜRLER ARI
- Trusted distributed artificial intelligence for critical and autonomous systems
Kritik ve otonom sistemler için mutemet dağıtık yapay zeka
MUHAMMED AKİF AĞCA
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUnıversıty Of LuxembourgBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. DJAMEL KHADRAOUI