Interfaze multimodalek ahalbidetzen dute gizakia eta ordenagailuaren artean interakzio natural zein efektibo bat egotea, sartu (input) eta irtenezko (output) kate anitz eskainiz, zeintzuk iragankorrak izan daitezkeen. Artikulu honen egileak hizkuntz multimodalaren prozesaketaren arkitektura edo egitura deskribatzen du, zeinak ahalbidetzen duen integrazio multimodaleko estrategien aitormen enuntziatibo bat gramatika formalistan zentratutako baterakuntzan. Arkitektura hau normaltasun osoz hedatzen da mapa dinamikoekin interakzioa egotea ahalbidetzen duen sistema operatibo batean. Mota honetako mapekin aritzeko, ahozkotasuna eta boligrafo bat erabili behar dira. Aitzitik, honetarako sarbidea oso orokorra da eta beste interfaze multimodal posibleetarako aniztasun zabal bat eskaintzen du.
Hemen idazlea, sarrera multimodalean (multimodal input) oinarritzen da, bereziki mapa dinamikoekin erabiltzen diren boligrafo/ahots interakzioan. Orain dela gutxiko emaitza enpirikoak (Oviatt 1.996) interfaze multimodalen erabiltzaileen preferentziazko errendimendu eta lan garrantzitsua erakutsi dute, erabat desberdinak direnak mapetan oinarritutako oralitatezko interfaze unimodalen lanekiko.
Interfaze multimodalak esanahi handiko erronkak planteatzen dituzte hizkuntz naturalaren prozesaketarako, zeintzuk parsing sarearekin arlazionatuak izan diren eta modu bakar batean ematen den sarreraren (input) ulermenarekin. Gai honetako adituak, erakusten du nola hizkuntz naturaleko prozesaketako teknikak eta errepresentazioak aplikagarriak izan daitezkeen hizkuntz multimodalaren prozesaketak izan ditzakeen kapazitateen garapenerako.
Deskribatutako boligrafo/ahotsa sarrera mapa interaktiboetan fokalizatzen da Quick Set sistemaren parte izanik. Erabiltzaileek uhalik ez duen konputagailu portatil baten pantailan agertzen den mapa batekin interaktatzen dute. Gainera, haiek zuzenean boligrafo batekin maparen gainean margotu ahal dute eta aldi berean handik hitzeginezko komanduak emititu ditzakete.
Human-Computer Communication zentroko adituek tipifikatutako ezaugarri estrukturalen erabilera babesten dute, oralitatezko eta jestuetako errepresentazio esanahiadunen amankomunezko sentidu baten antzera. Lan honetan, integrazioa funtziozko estrukturen bateragarritasunaren produktu baten antzera ontzen edo modulatzen da, oralitatea eta keinukera ezartzen direlarik. Ikerketa honek lehenengoko sistema multimodalen muga asko gainditzen dituen bitartean, ez dauka eskalarik espresio multijestuala babesteko, hala nola jestu unimodal konplexuak edota beste modu batzuetarako eta modu horien konbinaketetarako. Multimodal input-aren elementuak ikerlariarengandik bordeen terminalaren antzera tratatuak dira. Eta denbora guztian konbinatuta dihardute oinarri-bateragarriko gramatika multimodalarekin bat.
Michael Johnston: “Multimodal Language Processing”, Oregon Graduate Institute johnston@cse.ogi.edu
from http://www.research.att.com/&johnston/papers/johnstonicslp98.pdf
