Vision based behavior recognition of laboratory animals for drug analysis and testing
İlaç çözümlemesi ve testi için laboratuar hayvanlarının davranışlarının görü tabanlı tanınması
- Tez No: 246726
- Danışmanlar: PROF. DR. A. BÜLENT ÖZGÜLER, YRD. DOÇ. DR. PINAR DUYGULU ŞAHİN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2009
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Bölümü
- Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: 118
Özet
Farmakolojik deneylerde psikoterapik ilaçların etkilerinin ortaya çıkarılmasında ilaca maruz bırakılmış laboratuar farelerinin davranışlarının görü algılayıcılar ile gözlenmesi yaygın olarak kullanılan bir yöntemdir. Günümüzde pratik olması sebebiyle bu tür gözetim işlemleri insanlar tarafından gerçekleştirilmektedir. Laboratuar hayvanlarının davranış analizini görü tabanlı yöntemler kullanarak otomatikleştirmek hem zaman hem de iş gücünden tasarruf sağlayacaktır. Bu çalışmada sadece tek bir hareket içeren kısa video kliplerden laboratuar farelerinin hareketlerinin otomatik olarak tanınması üzerine odaklanılmıştır. Bu problemi çözmek için iki aşamalı sıradüzensel bir tanıma metodu tasarlanmıştır. İlk aşamada uyuma gibi durağan hareketler hareket alanı miktarına dayanılarak diğer hareket sınıflarından ayrılmıştır. Geriye kalan hareket sınıfları dört alternatif yöntem önerdiğimiz ikinci aşama ile ayırt edilmiştir. Birinci yöntemde ayrık dalgacık dönüşümüyle (ADD) her bir pikseldeki zamansal değişimler kodlanarak 3B hareket hacimlerinin 2B imgeler üzerine izdüşümü alınmıştır. Oluşan imgeler saklı Markov modelleri ile modellenmiş ve en büyük olabilirlik kriterine göre sınıflandırılmıştır. İkinci yöntem deneğin her bir çerçevedeki pozunu açıkça betimleyerek hareket tanıma problemini dizi eşleştirme problemine dönüştürmektedir. Poz betimlenmesinde deneğin arkaplandan bölütlenmesi yerine zamansal olarak aktif parçaları dikkate alınmıştır. Çerçevelerdeki pozları betimlemek için yönlü gradyanların histogramları kullanılmıştır. Üçüncü yöntemde hareketler, değişik zamansal çözünürlüklerde tüm hareket hacmi kullanılarak hesaplanan düzgelenmiş uzamsal-zamansal gradyanların histogramlarından oluşan bir küme ile betimlenmiştir. Son yöntemde hareketlerin bilinen uzamsal-zamansal şablonlardan oluştuğu ve bu şablonların histogramı ile betimlenebileceği varsayılmaktadır. Hareketlerde bu tür şablonların yerini belirlemek ve betimlemek için sırasıyla çok ölçekli 3B Harris köşe sezicisi ile yönlü gradyanların ve optik akış vektörlerinin histogramları kullanılmıştır. Önerilen hareket tanıma çatısı erişilebilir bir fare hareket veri kümesi üzerinde denenmiştir. Ayrıca her bir yöntemin literatürdeki iyi bilinen çalışmalarla karşılaştırılması sunulmuştur. İkinci ve dördüncü yöntemin hem literatürdeki ilgili çalışmalara hem de bu çalışmadaki diğer iki yönteme göre genel tanıma başarımında daha üstün olduğu görülmüştür, bununla beraber bu yöntemlerin ağır hesaplama maliyetine sahip oldukları saptanmıştır. Bu çalışma davranışların sıralı poz betimleyiciler dizisi şeklinde ifade edilmesinin hareket tanımada oldukça etkili olduğunu göstermiştir. Ayrıca dördüncü yöntemin başarısı seyrek uzamsal-zamansal şablonların hareketlerin içeriğini oldukça iyi nitelendirdiğini ortaya koymuştur.
Özet (Çeviri)
In pharmacological experiments, a popular method to discover the effects of psychotherapeutic drugs is to monitor behaviors of laboratory mice subjected to drugs by vision sensors. Such surveillance operations are currently performed by human observers for practical reasons. Automating behavior analysis of laboratory mice by vision-based methods saves both time and human labor. In this study, we focus on automated action recognition of laboratory mice from short video clips in which only one action is performed. A two-stage hierarchical recognition method is designed to address the problem. In the first stage, still actions such as sleeping are separated from other action classes based on the amount of the motion area. Remaining action classes are discriminated by the second stage for which we propose four alternative methods. In the first method, we project 3D action volume onto 2D images by encoding temporal variations of each pixel using discrete wavelet transform (DWT). Resulting images are modeled and classified by hidden Markov models in maximum likelihood sense. The second method transforms action recognition problem into a sequence matching problem by explicitly describing pose of the subject in each frame. Instead of segmenting the subject from the background, we only take temporally active portions of the subject into consideration in pose description. Histograms of oriented gradients are employed to describe poses in frames. In the third method, actions are represented by a set of histograms of normalized spatio-temporal gradients computed from entire action volume at different temporal resolutions. The last method assumes that actions are collections of known spatio-temporal templates and can be described by histograms of those. To locate and describe such templates in actions, multi-scale 3D Harris corner detector and histogram of oriented gradients and optical flow vectors are employed, respectively. We test the proposed action recognition framework on a publicly available mice action dataset. In addition, we provide comparisons of each method with well-known studies in the literature. We find that the second and the fourth methods outperform both related studies and the other two methods in our framework in overall recognition rates. However, the more successful methods suffer from heavy computational cost. This study shows that representing actions as an ordered sequence of pose descriptors is quite effective in action recognition. In addition, success of the fourth method reveals that sparse spatio-temporal templates characterize the content of actions quite well.
Benzer Tezler
- Computer vision based behavior analysis
Bilgisayarla görü tabanlı davranış çözümlemesi
ZEYNEP YÜCEL
Doktora
İngilizce
2009
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF. DR. ARİF BÜLENT ÖZGÜLER
YRD. DOÇ. DR. PINAR DUYGULU ŞAHİN
- Biyomekanik analiz tabanlı insan hareketi tanıma algoritmalarının geliştirilmesi
Development of biomechanical analysis-based human motion recognition algorithms
BETÜL AY
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET KARAKÖSE
- Yinelemeli sinir ağları ile işaret dili tanıma
Sign language recognition with recurrent neural networks
İBRAHİM ÇETİNKAYA
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Derin öğrenme yöntemi ile köpek davranışlarının analizi ve sınıflandırılması
Analysis and classification of dog behaviours using deep learning
RUKİYE POLATTİMUR
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE DANDIL