Geri Dön

Pressed piano key detection and transcription by visual motion analysis

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 767606
  2. Yazar: ALİ ÖZKAYA
  3. Danışmanlar: DR. VİNCENZO CAGLİOTİ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İtalyanca
  9. Üniversite: Politecnico di Milano
  10. Enstitü: Yurtdışı Enstitü
  11. Ana Bilim Dalı: Belirtilmemiş.
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 73

Özet

Lo scopo di questa tesi è quello di rilevare i tasti premuti del pianoforte da due sorgenti video analizzando le dita del pianista. Le sorgenti video sono ricavate da due telecamere poste sopra e davanti al pianoforte. L'aspetto chiave è capire le caratteristiche visive rilevanti che possono essere utilizzate per determinare le presse chiave e ideare un algoritmo che utilizza queste caratteristiche. In primo luogo, la mano del pianista è stata segmentata dallo sfondo utilizzando filtri di colore, lasciando solo l'area della mano nel filmato. Sull'immagine segmentata le aree della mano sono state utilizzate per trovare lo scafo convesso delle mani e difetti di convessità sono stati utilizzati per rilevare i polpastrelli con un metodo basato su estreme locali. Dal momento che c'erano due diverse scene della stessa scena è stato necessario abbinare le dita calcolate corrispondenti. Per risolvere questo problema, i tasti sul pianoforte sono stati rilevati ed etichettati con metodi diversi per entrambi i video. Dopo aver trovato quale punta era su quale chiave, i polpastrelli delle due fonti sono stati abbinati di conseguenza. Confrontare le coordinate mondiali calcolate in base alla configurazione nota tra le due telecamere ha aiutato a rilevare le presse chiave. A causa della registrazione angolata della fotocamera anteriore, ogni volta che un dito preme un tasto bianco la profondità di quel dito era superiore al calcolo della fotocamera superiore, che corrisponde alla profondità del mondo reale. Si è visto che quando il giocatore preme un tasto, questo divario aumenta in modo significativo. Pertanto, è stata determinata una soglia su questo spazio per rilevare i tasti bianchi premuti. Il rilevamento della pressione dei tasti neri è stato gestito utilizzando le ombre che proiettavano sulla parte superiore del pianoforte pur rimanendo dormienti. Questa ombra non è visibile quando il tasto viene premuto, quindi una maschera di stato dormiente è stata applicata su ogni istanza della fotocamera superiore per rivelare i tasti neri che vengono premuti in ogni momento. Alla fine, per visualizzare ciò che l'algoritmo deduce da questo processo in formato audio un file MIDI viene generato. Temporizzazioni dei tasti rilevati come premuti e rimossi vengono utilizzati in questo processo. I suoni polifonici sono gestiti calcolando il tempo trascorso tra la pressa di tasti corrente e l'ultima pressa o rimozione di tasti.

Özet (Çeviri)

The aim of this thesis is to detect the pressed piano keys from two video sources by analyzing the piano player's fingers. The video sources are obtained from two cameras placed above and in front of the piano. Key aspect of this thesis is to figure out relevant visual features which can be used to determine key presses and devise an algorithm which utilizes these features. First, the piano player's hand was segmented from the background using color filters, leaving only the area of the hand in the footage. On the segmented image the areas of the hand were used to find the convex hull of the hands and convexity defects were used to detect fingertips along with a local extrema-based method. Since there were 2 different footages of the same scene it was required to match the corresponding calculated fingertips. To solve this problem, keys on the piano were detected and labeled with different methods for both videos. After finding which fingertip was on which key, fingertips from the two sources were matched accordingly. Comparing the calculated world coordinates based on the known setup between the two cameras helped in detecting key presses. Because of the angled recording of the front camera, whenever a fingertip presses a white key the depth of that fingertip was higher than the upper camera's calculation, which corresponds to the real-world depth. It was seen that when the player presses a key, this gap increases significantly. Therefore, a threshold was put on this gap to detect the pressed white keys. The black key press detection was handled utilizing the shadows they cast on the upper part of the piano while remaining dormant. This shadow is not visible when the key is pressed, so a dormant state mask was applied on each instance of the upper camera to reveal the black keys that are being pressed at each moment. In the end, to display what the algorithm deduces from this process in sound format a MIDI file is generated. Timings of the keys being detected as pressed and as removed are used in this process. Polyphonic sounds are handled by calculating the elapsed time between the current key press and the last key press or removal. Key-words: computer vision, hand segmentation, fingertip detection, piano key, image filtering, convexity defect.

Benzer Tezler

  1. Tez No

    734492

    Force transducer piano keys as an innovative approach for piano pedagogy

    Piyano eğitimi için yenilikçi bir yaklaşım olarak kuvvet algılayıcısına dönüştürülmüş piyano tuşları

    ASAF ÇETİN EREN

    Doktora

    İngilizce

    İngilizce

    2022

    Eğitim ve Öğretimİstanbul Teknik Üniversitesi

    Müzik Ana Bilim Dalı

    DOÇ. DR. EMİN SÜNBÜLOĞLU

    DR. ÖĞR. ÜYESİ AHMET TUNÇ BUYRUKLAR

  2. Tez No

    655930

    Müzik eğitimi anabilim dallarında görevli piyano eğitimcilerinin artikülasyon tekniklerinin öğretimi ile ilgili görüşleri

    Opinions of piano educators working in education faculty music education departments on teaching articulation techniques

    ALİ ULAŞ BAYIRLI

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Eğitim ve ÖğretimBurdur Mehmet Akif Ersoy Üniversitesi

    Güzel Sanatlar Eğitimi Ana Bilim Dalı

    PROF. GÖKAY YILDIZ

  3. Tez No

    565339

    Piyanoda artikülasyon tekniklerinin öğretiminde öğretmenlerin karşılaştıkları güçlükler ve bunlarla baş etme yolları: Güzel sanatlar liseleri örneği

    The difficulties of teachers in the teaching of articulation techniques on piano and the ways to cope with them: The sample of fine arts high schools

    SEÇİL ÇOBAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimBolu Abant İzzet Baysal Üniversitesi

    Güzel Sanatlar Ana Bilim Dalı

    PROF. DR. NESRİN KALYONCU

  4. Tez No

    51855

    Bekir Fahri (İdiz) hayatı-edebi kişiliği-eserleri

    Başlık çevirisi yok

    ABDULLAH ARSLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    1996

    BiyografiAtatürk Üniversitesi

    Türk Dili ve Edebiyatı Eğitimi Ana Bilim Dalı

    Y.DOÇ.DR. OSMAN GÜNDÜZ

  5. Tez No

    75480

    Seramik yapıştırıcılarının farklı yüzeyler üzerine uygulanmasında kaplamanın yapışma mukavemetinin deneysel olarak incelenmesi

    Başlık çevirisi yok

    RENGİN BECEREN

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. NİHAT TOYDEMİR

Geri Dön