"Eesti Teadusfondi uurimistoetus" projekt ETF8958
ETF8958 "Multimodaalne suhtlus - videoandmete kogumise, analüüsi ja kasutamise kultuuridevahelised ja tehnoloogilised aspektid (1.01.2011−31.12.2015)", Päivi Kristiina Jokinen, Tartu Ülikool, Matemaatika-informaatikateaduskond.
ETF8958
Multimodaalne suhtlus - videoandmete kogumise, analüüsi ja kasutamise kultuuridevahelised ja tehnoloogilised aspektid
Multimodal Interaction - intercultural and technological aspects of videodata collection, analysis, and use
1.01.2011
31.12.2015
Teadus- ja arendusprojekt
Eesti Teadusfondi uurimistoetus
ValdkondAlamvaldkondCERCS erialaFrascati Manual’i erialaProtsent
2. Ühiskonnateadused ja kultuur2.6. Filoloogia ja lingvistikaH360 Rakenduslingvistika, võõrkeelte õpetamine, sotsiolingvistika 6.2. Keeleteadus ja kirjandus50,0
4. Loodusteadused ja tehnika4.6. ArvutiteadusedP176 Tehisintellekt 1.1. Matemaatika ja arvutiteadus (matemaatika ja teised sellega seotud teadused: arvutiteadus ja sellega seotud teadused (ainult tarkvaraarendus, riistvara arendus kuulub tehnikavaldkonda)50,0
PerioodSumma
01.01.2011−31.12.20112 760,01 EUR
01.01.2012−31.12.201211 040,00 EUR
01.01.2013−31.12.201311 040,00 EUR
01.01.2014−31.12.201411 040,00 EUR
01.01.2015−31.12.201511 040,00 EUR
46 920,01 EUR

Projekti eesmärk on multimodaalse suhtluse uurimine vestluse kontekstis ning tagasiside ja vooruvahetuse arvutusmudelite väljatöötamine. Selleks leitakse andmetes seosed verbaalsete lausungite ja multimodaalsete väljendite vahel, nagu seda on käeliigutused, näoilmed ja kehaasendid. Projektis kogutakse, märgendatakse ja analüüsitakse mitme osalejaga videosuhtluse andmeid. Mudelite ehitamiseks kasutatavad meetodid on nii uurijatepoolsed vaatlused kui ka masinõppe tehnikad. Projektis võrreldakse eestikeelse suhtlemise strateegiaid nii Põhjamaades kui ka mujal kasutatavatega. Projekt põhineb taotleja varasemale tööle multimodaalse korpuse kogumisel ja analüüsimisel ning on seotud Põhjamaade ja rahvusvahelise projektiga.
The project aims at investigating multimodal communication in conversational contexts and at providing computational models for feedback and turn-taking processes based on the correlations found between verbal utterances and multimodal expressions such as hand gestures, facial expressions, and body posture. The project will collect, annotate and analyse multiparty videodata, and its methodology is anchored in both human observations and machine-learning techniques to build models. The project also compares Estonian interaction strategies with those used in the neighbouring Nordic countries, and internationally. The project builds on the previous work on multimodal corpus collection and analysis, and relates to the Nordic and international project.
The MINT Conversational Corpus (23 videos conversations): collected, transcribed, translated and annotated. The corpus was used in Pihel Saatmann's Bachelor thesis and in Martin Vels' PhD research, as well as in several courses as part of the course work. The following scientific publications were produced on or related to the corpus (details in the additional file): 14 peer-reviewed papers in international scientific conferences 4 book chapters 4 edited international conference proceedings (ICMI International Conference on Multimodal Communication, 3rd Nordic Symposium on Multimodal Communication, 4th Nordic Symposium on Multimodal Communication, 2nd European Symposium on Multimodal Communication) Tutorial at International Conference on Human Computer Interaction (HCII-2013), Las Vegas, July 2013. Interview in the Estonian second largest newspaper Eesti Päevaleht 3.10.2013 about interaction technology: http://epl.delfi.ee/archive/print.php?id=66832849 video: http://tv.delfi.ee/varia/doktor-paivi-kristiina-jokinen-raagibkehakeelest.d?id=67328888 Organised International Research Training Course "Pointing to Gestures" 4-6 August 2014, Tartu. https://courses.cs.ut.ee/t/multimodalsummerschool2014/ Organised "The 2nd European and the 4th Nordic Symposium on Multimodal Communication" 6-8 August 2014, Tartu. https://courses.cs.ut.ee/t/multimodalcommunication2014