Hibrit EEG-fNIRS Tabanlı Yeni Nesil Beyin-Bilgisayar Arayüzü Tasarımı: Gerçek Zamanlı Bilişsel Yorgunluk Seviyesine göre Uyarlamalı ve 3D Alan Paradigması Entegre Edilmiş Yaklaşım


Korkmaz O. E. (Yürütücü)

TÜBİTAK Projesi, 2023 - 2024

  • Proje Türü: TÜBİTAK Projesi
  • Başlama Tarihi: Kasım 2023
  • Bitiş Tarihi: Kasım 2024

Proje Özeti

Beyin-Bilgisayar Arayüzleri (BBA), bilişsel veya motor fonksiyonları kısıtlı bireylerin düşünceleri aracılığıyla bilgisayarlar veya diğer elektronik cihazlarla iletişim kurmasını sağlayan gelişmiş teknolojik sistemlerdir. Özellikle Amyotrofik Lateral Skleroz (ALS) gibi istemli kas hareketi yapamayan hastalar için BBA'lar hayati önem taşır. Bu sistemler, hastaların iletişim kurabilmesi, bağımsız hareket edebilmesi ve hatta sanal ortamlarda gezinebilmesi gibi temel ihtiyaçlarını karşılamak için bir köprü görevi görür. Oddball paradigması temelli BBA paradigmalarında, EEG sinyallerinde yer alan ve bir resim, harf veya kelime gibi önceden belirlenmiş bir uyaran ile tetiklenen olay-ilişkili potansiyel (OİP) sinyalinin tespitiyle söz konusu uyaranın varlığı da tespit edilebilmektedir. OİP sinyalinin verimli tespiti, hedef karakterin kısa süreli gösterim (flaşlanma) sayısı ve kullanıcının bilişsel durumuna (dinç, normal ve yorgun) bağlıdır. Bu etkenlerden, hedef karakterin flaşlanma tekrar sayısının arttırılması ile elde edilecek olay ilişkili potansiyel sinyalinin işaret-gürültü oranı (İGO) yükseltilebilmektedir. Öte yandan, fazla tekrarlanan flaşlanma sayısı İGO değerini arttırırken, hem karakter tespiti için gereken kullanım süresi uzamakta hem de kullanıcının dikkatini uzun süreli yoğunlaştırma ihtiyacını da arttırdığı için kullanım zorluğu, dolayısıyla bilişsel durumunun “dinç” durumundan “yorgun” durumuna doğru geçişine sebep olmaktadır. Mevcut BBA sistemleri ise sabit bir flaşlanma frekansına sahiptir. Bu durum kullanıcı dinçken gereksiz yere fazla flaşlama yapılmasına, yorgunken ise yeterli olmayan flaşlama sebebiyle düşük İGO’ya yol açabilir. Bu durum, olay ilişkili potansiyellerin yeterince belirgin olmamasına, dolayısıyla sistem performansının düşmesine sebep olur. Bu nedenle, yeni nesil BBA uygulamalarının kişinin bilişsel durumunu gerçek-zamanlı tespit edip, buna göre flaşlanma sayısını adaptif olarak belirleme özelliğine sahip olması, sistem performansını ve de zaman verimliliğini optimize etmek açısından çözülmesi gereken önemli bir problem teşkil etmektedir.

Önerilen proje kapsamında bu problemin çözülmesi hedeflenmektedir. Bunun için; öncelikle EEG ve fNIRS sinyallerini kullanarak hastanın gerçek zamanlı bilişsel durumunu tespit edilecek ve “dinç”, “normal” veya “yorgun” olarak sınıflandırılacaktır. Sonrasında, tespit edilen bilişsel duruma uygun olarak flaşlanma gerçekleştirmek için “adaptif BBA sistemi” tasarlanacaktır. Ayrıca, daha önceki çalışmalarımızın bulgularından yola çıkarak, üç boyutlu görsellerin ve alan etkili paradigmaların BBA performansını artırabileceği gözlemlenmiştir. Bu nedenle, projemiz kapsamında yeni bir üç boyutlu alan etkili paradigma oluşturularak BBA sistemlerinin sınıflandırma performansının artırılması hedeflenmektedir. Ayrıca önerilen modellerin eğitiminde sağlıklı bireylerin yanı sıra hasta bireylerin de verileri kullanılarak kişiden bağımız olarak eğitilmesi ve bu sayede kullanıcı hasta bireylerin eğitim esnasında zorluk çekmelerinin önüne geçilmesi de hedeflenmektedir. Gerçekleştirilecek model, gidilmesi planlanan Drexel University adlı kurum bünyesinde yer alan ALS Merkezi (başvuru ekinde belirtilmiştir) ile sürekli iletişim halinde olan ALS hastaları üzerinde denenerek, klinik performans değerlendirmesi yapılacaktır. Önerilen proje ile yüksek başarımlı BBA sistemi geliştirilerek, ALS hastalarının yaşam kalitelerinin yükseltilmesi hedeflenmektedir.