See veebileht kasutab küpsiseid kasutaja sessiooni andmete hoidmiseks. Veebilehe kasutamisega nõustute ETISe kasutustingimustega. Loe rohkem
Olen nõus
"Personaalne uurimistoetus" projekt PUT638
PUT638 "Multimodaalse žesti-, näo- ja kõnetuvastuse kasutamine inimese-arvuti kasutajaliidese arendamisel (1.01.2015−31.12.2018)", Gholamreza Anbarjafari, Tartu Ülikool, Loodus- ja täppisteaduste valdkond, tehnoloogiainstituut.
PUT638
Multimodaalse žesti-, näo- ja kõnetuvastuse kasutamine inimese-arvuti kasutajaliidese arendamisel
Enhancing Human-Computer Interaction using Multimodal Emotion Recognition based on Gesture, Face, and Speech
1.01.2015
31.12.2018
Teadus- ja arendusprojekt
Personaalne uurimistoetus
Stardiprojekt
ValdkondAlamvaldkondCERCS erialaFrascati Manual’i erialaProtsent
4. Loodusteadused ja tehnika4.12. Protsessitehnoloogia ja materjaliteadusT111 Pilditehnika2.3. Teised tehnika- ja inseneriteadused (keemiatehnika, lennundustehnika, mehaanika, metallurgia, materjaliteadus ning teised seotud erialad: puidutehnoloogia, geodeesia, tööstuskeemia, toiduainete tehnoloogia, süsteemianalüüs, metallurgia, mäendus, tekstiilitehnoloogia ja teised seotud teadused).50,0
4. Loodusteadused ja tehnika4.6. ArvutiteadusedT121 Signaalitöötlus 1.1. Matemaatika ja arvutiteadus (matemaatika ja teised sellega seotud teadused: arvutiteadus ja sellega seotud teadused (ainult tarkvaraarendus, riistvara arendus kuulub tehnikavaldkonda)50,0
PerioodSumma
01.01.2015−31.12.201556 400,00 EUR
01.01.2016−31.12.201656 400,00 EUR
01.01.2017−31.12.201756 400,00 EUR
01.01.2018−31.12.201856 400,00 EUR
225 600,00 EUR
0,00 EUR

Inimese ja arvuti vahelist suhtlust saab oluliselt parendada, kui arvuti kasutaks meeleolude ja suhtumiste tuvastust ning seetõttu suudaks tuvastada sotsiaalseid ja kommunikatiivseid kasutaja soove. Käesoleva projekti eesmärgiks on arendada multimodaalset tuvastust, väljendusviiside tuvastust ning nende efektiivsuse kontrolli. Tegevused toimuvad järgmistes neljas suunas: A. Multimodaalse suhtlusinfo andmebaasi arendamine, mis baseerub näo ja žestide liikumiste muutustel. Sünkroonselt salvestatakse multimodaalne info, mis sisaldab nii 3D kujutisi kui ka muid olulisi 3D tunnuseid. B. Väljendusvormide modelleerimine kasutades peamiselt gestalt analüüsi eesmärgiga hõlmata kõnedünaamikat, näo, kehakeele ning mikroliigutusi lingvistilisse sisuanalüüsi. C. Kõnelejast sõltuva ja sõltumatu tuvastuse raamistiku ja efektiivsuse võrdlemine. D. Näotuvastuse ja kehakeele strateegiate reaalajas tõlgendusmeetodite võrdlemine
Human-computer interaction would be greatly enhanced if the computer had a module that could interpret the socio-communicative intentions of the user by recognising their moods and attitudes. The proposed project will focus on multimodal processing, expression recognition and performance evaluation. The work will be performed along four main directions: (a) development of a multimodal database using motion capture of facial and gesture movements. Synchronous recordings of multi-camera videos, 3D shapes and 3D fleshpoints of several subjects involved in scripted dialogs will be performed; (b) expression modelling with a special focus on gestalt analysis, i.e. capturing the dynamics of speech, face and gesture and micro-coordination of these with the linguistic content; (c) we will compare speaker-independent and speaker-dependent recognition frameworks and performance (d) we will investigate strategies to estimate and decode expressions in real-time as the interaction unveils.