Please enable JavaScript.
Coggle requires JavaScript to display documents.
SISTEM BERSENSOR GANDA (Speech (Bagi tuna netra, speech synthesis…
SISTEM BERSENSOR GANDA
Pendahuluan
Pengertian
sistem yang menggunakan lebih dari satu chanel sensor dalam interaksi
5 indera sebagai sensory inputs :
penglihatan, pendengaran, perabaan
, rasa dan bau.
System Multi-Modal dan Multi-Media
Multi-Media
System multimedia menggunakan sejumlah media yang berbeda untuk mengkomunikasikan informasi
Antara lain:
Video, Text, Grafik, Icon, Animasi, CD-i
Multi-Modal
dikembangkan untuk mengambil keuntungan atas indera alami manusia.
menggunakan lebih dari 1 indera, menggunakan auditory channel (jalur yang berhubungan dengan pendengaran, suara).
Speech
Bagi tuna netra, speech synthesis menawarkan media komunikasi dimana mereka memiliki akses yang terbatas.
Faktor Kegagalan Speech Recognition
Kompleksitas Bahasa
Suara-suara background yang dapat mempengaruhi.
Adanya Redudansi (suara yang tidak berarti ke dalam informasi).
Variasi Individu
Aksen dan penggunaan bahasa yang berbeda.
Fungsi
Tangan user sedang sibuk
Perlunya mobilitas
Mata user harus memperhatikan sesuatu
Kondisi yang keras atau terkungkung yang tidak memungkinkan penggunaan keyboard.
Structure
Bahasa Inggris -> 40 phonem
(24 konsonan dan 16 vokal)
Phonem
= Elemen atomic perkataan.
Prosody
(intonasi) memberikan nuansa emosi pada suatu kalimat.
Co-articulation
= Cara keluarnya suara akibat gerakan mulut, hidung, & kecepatan bicara.
Ciri-Ciri
serial dan user harus mendengarkan keseluruhan kalimat sebelum mengerti maksudnya, sehingga membutuhkan waktu yang panjang.
Kita perlu memahami dan menterjemahkan untuk mengetahui bahasa yang digunakan
Non-Speech Sound
Ciri-Ciri
Dapat diasosiasikan dengan kejadian khusus, dan waktu yang dibutuhkan lebih pendek
Universal
Menyediakan informasi status
Navigasi sistem
Fungsi
sebagai alarm dan warning, atau status information
Pada perusahaan SharedARK, sound digunakan dalam 3 hal
:
Sebagai confirmation of actions
Status information
Aids to navigation
Proses dan state information sound:
Global sound : merepresentasikan state keseluruhan sistem, dapat didengar dari mana saja.
Local sound : spesifik untuk eksperimen khusus, berubah saat user merubah dari satu eksperimen ke eksperimen yang lain
Earcons
Sebuah alternatif penggunaan suara alami untuk merancang synthetic sounds. Earcons menggunakan kombinasi terstruktur dari not/ nada, yang disebut motives, untuk merepresentasikan aksi dan obyek.
Text dan Hypertext
Hypertext
dan
hypermedia
adalah satu jaringan simpul
(artikel, dokumen, file, kartu, halaman, frame, layar)
yang berisi
informasi (teks, grafik, video, sound, dll)
yang dihubungkan dengan link (disebut juga cross-reference, citation).
Aplikasi
Hypertext: diterapkan untuk aplikasi teks.
Hypermedia: diterapkan untuk sistem yang meliputi media lainnya, terutama sound dan video. (Contoh: hypercard
Animasi dan Video
Animasi
Membuat suatu gambar yang bergerak, berubah (alter) dan berganti pada waktu yang bersamaan. Contohnya adalah :
Jam gelas pasir
Cartoon
Video & Digital Video
Compact Disk(CD) u/ menyimpan informasi secara digital dalam deretan yang paling rendah pada disk metal yang terlindungi.
Jenis:
CD-I
CD-XA (Pengembangan dari CD-I)
DVI (Digital Video Interactive)
Gestures Recognition
Pengertian
Bagaimana komputer membaca suatu gerakan dari luar dan mengolahnya sebagai data.
contoh aplikasi: kinect & alat penerjemah bahasa isyarat.
Pengenalan Gerakan:
User-dependent
Subject to variation
Co-articulation
Teknologi yang menangkap suatu gerak:
Vision System
Dataglove
Computer Vision
Contoh Pengaplikasian:
Drone robot
Pengambilan gambar x-ray
Sensor wajah/sidik jari
Pengertian
Computer Vision adalah bagaimana komputer dapat melihat.
Tujuan
Meniru kemampuan perseptual mata manusia dan otak, bahkan dapat mengunggulinya dalam tujuan tertentu.
Computer vision system cenderung berdasar pada pendekatan
“bottom-up”
Pengaplikasian VR
Permainan 3D
Data Visualization
Simulasi penerbangan
Simulasi perang
Handwritting
Problemmatika:
Tulisan tangan tiap orang sangatlah bervariasi. Hal ini menimbulkan kesulitan bagi sistem untuk mencoba mengidentifikasikan baris yang berisi teks, memilah image yg didigitasi ke dalam karakterkarakter terpisah.
Tulisan tangan menawarkan input tekstual dan input grafik
Solusi
pengenalan keseluruhan kata, penggunaan konteks untuk karakter-karakter yang memiliki banyak arti, dan neural networks, yang belajar dari contoh