01
Veri Girişi
Kullanıcı metin yazar veya sesli konuşur. Ses algılama süzgeci veriyi işler ve normalize eder.
Nasıl Çalışır?
Metin ve sesten işaret diline, işaret dilinden metin ve sese — adım adım.
Akış
Dört adımda erişilebilir iletişim
Kurumsal web sitelerinde, uygulamalarda ve e-devlet hizmetlerinde aynı motor.
02
Yapay Zeka Analizi
NLP motoru cümle yapısını analiz eder, TİD sözlüğünde bağlama uygun eşleştirme yapar.
03
60 FPS Animasyon
Animasyon karakter işaret dilinde canlandırır. Widget ekranın köşesinde açılır/kapanır.
04
Geri Çeviri (2.0)
Kamera ile jest algılama; işaret dili hareketleri metin veya sese dönüştürülür.
Nasıl Çalışacak?
Veri, ses algılama süzgecinden geçip gerekli kütüphanelerde belirli kalıplar halinde araştırılıyor ve ilgili dosya bulunup ekranda gösterimi yapılıyor. Belirlenen animasyon dosyasına girdikten sonra oluşturulan model üzerinde hareketi sergiliyor.
Bu modeller uygulamalara, bilgisayarlara uyumlu hale getirilerek kullanıcıya sunuluyor. Kullanıcı isterse bir eklenti ile bütün ses ve metinleri işaret dilinde de görebilecek.
Ekranların sağ altında, açılıp kapanabilen animasyon diğer kullanıcıların dikkatini dağıtmazken işitme engelli kullanıcılara “ses” olacak.
Metaverse veya iş simülasyonlarında bireylerin isteğe bağlı bir işaret dili çevirmeni imkanı da bu proje ile sağlanabilir.
Animasyonlar
Görüntü işleme, giyilebilen teknolojiler ve Unity tabanlı animasyon pipeline — stüdyodan ekrana.
Animasyonlarda görüntü işleme, giyilebilen teknolojiler ve animasyon oluşturma programları kullanılacak. Hareketler derinlik kameraları ve telefon kameraları ile anlaşılınca, uygun yazılım programları ile anlamlandırılacak.
İşaret dili eğitmenleri stüdyoda giyilebilir teknolojiler giyecek. Derin öğrenme ile hareketlerin vektörleri elde edilecek. Her hareketin animasyon modeli Unity gibi programlar ile üretilecek.