Bilgisayarlı dudak okuma

Tez Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Karadeniz Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği, Türkiye

Tez Danışmanı: Prof. Dr. Vasif V. Nabiyev

Tezin Onay Tarihi: 2007

Tezin Dili: Türkçe

Desteklendiği Program: Bu tezi destekleyen bir program bulunmamaktadır

Özet:

İnsan bilgisayar etkileşiminde konuşma tanıma sistemleri son yıllarda önemli bir çalışma konusu haline gelmiştir. Konuşan kişinin ses bilgisinin alınarak bu bilgilerin bilgisayarda işlenmesi karmaşık hesapsal süreçleri beraberinde getirmektedir. Bu karmaşıklık sesin tanınmasında önemli bir problem oluşturmaktadır. Bugüne kadar yapılan araştırmalara göre konuşma ile ilgili bilgiler, sadece ses işaretinde değil aynı zamanda görsel işaretlerde de bulunmaktadır. Görsel işaretler olarak beden dili, işaret dili, mimik ve jestler ile dudak hareketleri kabul edilebilir. Çalışmada bu görsel işaretlerden olan dudak hareketleri üzerinde durulmuştur ve bilgisayarlı dudak okuma sistemi geliştirilmiştir. Bilgisayarlı dudak okuma, bir görüntüden hiçbir ses bilgisine ihtiyaç duymadan kişinin ne söylediğinin anlaşılması işlemidir. Tezde bilgisayarlı dudak okuma için gerekli çalışma şeması verilmiş ve sistemi oluşturan alt modüller ayrı ayrı gösterilmiştir. Bilgisayarlı dudak okuma için öncelikle yüzün tespit edilmesi işlemi gerçekleştirilmiştir. Tespit edilen yüz üzerinde dudak okuma gerçekleştirebilmek için önce dudak bölgesi ve ardından dudağın ikili görüntüsü elde edilmiştir. Bu aşamada dudak bölgesi bulma ve dudak tespiti için yeni yöntemler önerilmiştir. Dudağın ikili görüntüsü elde edildikten sonra bilgisayarlı dudak okumada kullanılabilecek özellikler çıkarılmıştır. Türkçede sesli harflerden (a, e, ı, i, o, ö, u, ü) oluşan hecelerin söylendiği 56 farklı görüntü alınmıştır. Bu görüntüler kullanılarak PCA yöntemine dayalı bir tanıma sistemi gerçekleştirilmiştir. 56 görüntüden 24 tanesi eğitim için 32 tanesi ise test için kullanılmış ve sistemde %25 oranında başarım sağlanmıştır. Ayrıca test aşamasında yakın benzerlik gösteren sesliler (ı-i, o-ö, u-ü) düşünüldüğünde bu başarım %50 civarında olmaktadır. Anahtar Kelimeler: Dudak Okuma, İşaret Dili, Dudak Tespiti, Temel Bileşen Analizi (PCA).