Türk dilinde derin öğrenme ile dudak okuma

---

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Atatürk Üniversitesi, Sosyal Bilimler Enstitüsü, Yönetim Bilişim Sistemleri - Anabilim Dalı, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: Türkçe

Öğrenci: HADI POURMOUSA

Danışman: Üstün Özen

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bilgisayarla görme alanındaki en önemli çalışma alanlarından biri insan hareketini tanımaktır. Son yıllarda, dudak okuma ise insan hareketini tanımanın en önemli çalışma konularından biri haline gelmiştir. Dudak okuma işlemi çeşitli uygulamalarda kullanılmaya başlamış ve ses akışı olmayan veya gürültülü ortamlarda önem kazanmıştır. Ayrıca, işitme engelli kişilere yardımcı olabilme boyutu da dudak okumayı son derece önemli hale getirmiştir. Dudak okuma işlemi alfabe, kelime ve cümle düzeyinde uygulanır. Dudak okuma alanı için farklı dillerde farklı veri setleri bulunmaktadır. Ancak Türkçe için herhangi bir veri seti bulunmadığı için bu çalışmanın veri seti yazar tarafından oluşturulmuştur. Bu çalışmanın veri setinde 20 sayı, 19 sıfat, 33 isim ve 19 fiil olmak üzere toplam 91 kelime bulunmaktadır. Çalışma kapsamında 72 kişiden video verisi toplanmıştır. Veri setinin az olması nedeniyle video veriler Camtasia uygulaması ile çoğaltılmıştır. Oluşturulan verilerin 20'si test, 25'i doğrulama ve geri kalanı eğitim seti için kullanılmış olup test veri setinde bulunan veriler daha önce kullanılmamış ve sisteme verilmemiştir. Çalışmanın modeli tasarlandıktan sonra ilk olarak sayılar veri seti üzerinde eğitilerek test edilmiş ve %56.25 başarı elde edilmiştir. Sayılar veri setinden sonra model sıfatlar veri seti üzerinde eğitilerek test edilmiş ve %75 başarı ve daha sonra isimler veri seti üzerinde eğitilerek test edilmiş ve %71.88 başarıya ulaşılmıştır. Fiiller veri setinde ise %79.69 başarı seviyesine ulaşılmıştır.