Akademik Veri Yönetim Sistemi
Hatipoğlu Yılmaz B. (Yürütücü), Yılmaz Ç. M., Sağlam Aykut D., Köse C., Baykal Kablan E.
TÜBİTAK Projesi, 2024 - 2026
Çok modlu duygu
tanıma çalışmaları, insanların duygusal durumlarını daha iyi anlayabilmek için
farklı duyusal modalitelerin bir araya getirildiği araştırmaları ifade
etmektedir. Modaliteler, duygusal ifade ve deneyimlerin zengin bir yelpazesini
yansıtan ve önemli bilgiler sağlayan yüz görüntüleri, ses sinyalleri, elektroensefalografi
(EEG), elektrokardiyografi (EKG), vb. giriş bilgileridir. Bu modalitelerden ses bilgisi, insanların duygusal durumlarını ifade
etmede önemli rol oynamaktadır. Konuşma, tonlama ve ses özellikleri bir kişinin
neşeli, üzgün, kızgın veya endişeli gibi duygusal durumlarını yansıtmaktadır.
Öte yandan, yüz görüntüleri duygusal ifadelerin belirgin bir göstergesidir.
Mimikler, göz hareketleri, dudak pozisyonları, kaş hareketleri gibi yüz
özellikleri duygusal durumları karşı tarafa aktaran önemli ipuçlarıdır.
Müdahalesiz EEG cerrahi bir operasyon gerektirmeyen düşük maliyetli bir
yöntemdir ve beyin
dalgalarını ölçerek bireylerin duygusal durumlarının anlaşılmasında
kullanılmaktadır. Bu modalitelerin birlikte kullanılması, çok modlu duygusal
durumların daha doğru ve kapsamlı bir şekilde anlaşılmasına olanak tanımakta, daha
kesin ve güvenilir sonuçlar elde etmeyi sağlamaktadır. Duygu tanıma, insanlar
arasında akıl yürütme ve etkileşimi geliştirmek için çeşitli uygulamalarda
önemli bir yere sahiptir. Fakat dış uyaranların da etkisiyle çok hızlı
değişebilen duygunun, tanıma problemlerinde klasik yöntemlerle çözülmesi
oldukça zordur.
Proje kapsamında sesli-görsel-zihinsel
modalitelerin bir arada kullanıldığı çok modlu bir duygu tanıma sisteminin
geliştirilmesi amaçlanmaktadır. Buna bağlı olarak çalışmanın ilk kısmında, yüz
görüntüleri, ses ve EEG sinyallerini içeren ve çok modlu duygu tanıma
sistemlerinde girdi verisi olarak önemli bir rol oynayan yeni bir
görsel-işitsel-zihinsel veri seti hazırlanacaktır. Özgün SGD yöntemleri EEG
sinyallerinin yanı sıra ses sinyallerine de uygulanacaktır. Ayrıca, daha önce
hiç uygulanmamış derin öğrenme yöntemleri yardımıyla modaliteler
sınıflandırılacak ve karar seviyesinde füzyon yöntemler ile nihai sonuçlar elde
edilecektir.
Projenin bilimsel ve teknolojik açıdan
özgün değeri devamında verildiği gibidir. SGD yöntemi literatürde ilk defa ses
sinyallerine uygulanacak olması bakımından tektir. Dönüştürülmüş
sinyallerden elde edilen görüntüler ile yüz görüntülerinin füzyon yaklaşımları
kullanılarak karar seviyesinde birleştirilmesi ile de mevcut çalışmalardan
ayrılmaktadır. Ses ve EEG sinyallerine SGD uygulandıktan sonra sınıflandırma
aşamasında derin öğrenme yöntemlerinin uygulanacak olmasıyla da özgünlük
taşımaktadır. Ayrıca oluşturulacak sesli-görsel-zihinsel veri
seti için hazırlanacak paradigmanın spontane olması ve belirli bir senaryo
üzerinden gidilmemesi açısından da oldukça özgün bir nitelik taşımaktadır.
Tüm
verilen bilgiler ışığında uygulanacak yeni ve özgün SGD yöntemleri ile füzyon
yöntemler sadece duygu tanıma ile ilgili çalışmalarda değil benzer tüm
çalışmalara da uygulanabilecek olması bakımından araştırmacılar için yeni bir
bakış açısı sunacaktır. Ayrıca proje çalışmasının desteklenmesi durumunda
literatüre yerli, milli ve özgün sesli-görsel-zihinsel (Türkçe
dilinde hazırlanmış) çok modlu bir veri seti kazandırılmış olacaktır.