"Eesti Teadusfondi uurimistoetus" projekt ETF9037
ETF9037 "Hinnates muutujaid: tasemenäidised keelepädevustestide kontekstis (1.01.2012−31.12.2014)", Suliko Liiv, Tallinna Ülikool, Germaani-Romaani Keelte ja Kultuuride Instituut.
ETF9037
Hinnates muutujaid: tasemenäidised keelepädevustestide kontekstis
Assessing variables: creating benchmarks in high-stakes proficiency tests
1.01.2012
31.12.2014
Teadus- ja arendusprojekt
Eesti Teadusfondi uurimistoetus
ETIS klassifikaatorAlamvaldkondCERCS klassifikaatorFrascati Manual’i klassifikaatorProtsent
2. Ühiskonnateadused ja kultuur2.6. Filoloogia ja lingvistikaH360 Rakenduslingvistika, võõrkeelte õpetamine, sotsiolingvistika 6.2. Keeleteadus ja kirjandus50,0
2. Ühiskonnateadused ja kultuur2.10. KasvatusteadusedS272 Õpetajakoolitus5.3. Haridusteadused50,0
PerioodSumma
01.01.2012−31.12.201210 200,00 EUR
01.01.2013−31.12.201310 200,00 EUR
01.01.2014−31.12.201410 200,00 EUR
30 600,00 EUR

Olukorras, kus keelepädevustestimine on Eestis kindla positsiooni omandanud, peab edasine uurimistöö keskenduma sellele, missugusele mudelile toetub suulise keelepädevuse hindamine inglise keele riigieksami kontekstis. Välja tuleb selgitada, kuidas keelepädevuse mõõtmise võtmeisikud (intervjueerijad ja hindajad) mõõtmismudelisse suhtuvad ja millisel määral seda järgivad, samuti millist koolitust võtmeisikud vajavad. Protsessi standardiseerimiseks tuleb luua andmebaas audio/ videomaterjalist, mis jäädvustaks suuliste keeleülesannete kohalike õpilaste sooritusnäidised /tasemenäidised, millele hindajad hindamisprotsessis toetuda saaksid. Sama andmebaasi saaksid kasutada ka keeleõpetajad/õppijad õpilaste/oma keeletaseme hindamiseks. Selline tasemenäidiste kogu, koos kirjeldatud/ näitlikkustatud piiripealsete juhtumitega oleks oluline samm inglise keele riigieksami sidumise suunas Euroopa keeleõppe raamdokumendiga. Kirjeldatud eesmärgi saavutamiseks vajatakse nii empiirilisi andmeid, kui ka protsessi teoreetilist analüüsi. Oluline küsimus antud kontekstis on hindamisprotsessis osaleja (intervjueerija/ hindaja/ eksaminand) kultuuritaust kui muutuja ning selle olulisus sooritusnäidiste määratlemises. Lisaks andmebaasile peaksid antud uurimistöö tulemusena tekkima alg- ja täiendõppe koolitusprogrammid nii intervjueerijatele kui ka hindajatele. Nimetatud programmide väljatöötamine ja sisu oleksidki antud projekti lisaeesmärkideks. Uurimismeetodid: ankeetküsitlused, intevjuud intervjueerijate ja hindajatega, eksamiintervjuude sisuanalüüs, hindajate käitumise modelleerimine tuginedes mitmemõõtmelise statistilise analüüsi meetoditele; kvantitatiivsete ja kvalitatiivsete andmete seostamine (kombineeritud meetod) identifitseerimaks tegureid, mis põhiustavad kallutatud hindamist. Uurimistöö viiakse läbi koostöös Riikliku Eksami ja Kvalifikatsioonikeskusega, tasemenäidiste kogu loomisel tehakse koostööd Jyväskylä ülikooliga, kus vastavasisuline töö on juba alanud. Uurimistulemusi publitseeritakse artiklitena, tutvustatakse rahvusvahelistel teadusüritustel , töötatakse välja loengukursus kraadiõppuritele.
Now that high-stakes language proficiency test development has been firmly established in Estonia, research is needed regarding the model for assessing speaking within the framework of the national examination in the English language. Research will bring forth what the examiners’ and assessors’ attitude to the model is, how closely it is followed and what further training needs there are. Our concern in this connection is a lack of local examples of Common European Framework of Reference for Languages: Learning, Teaching and Assessment (CEFR) level performances. A database is needed of audio/videotaped local performances of speaking tasks that would serve as benchmarks for the assessors. Such benchmarking alongside with defining the borderline cases would serve as a step in the direction of linking the national examination in the English language to the CEFR. The procedure needs empirical data as well as theoretical discussion of the proposed practice. Another important concern in that context is the role of the cultural background of the interviewer/ assessor/ interviewee, i.e., to what extent the cultural background of the participant may appear as a variable in the evaluation process and how this variable affects the benchmarking process. On the basis of this research, pre- and in-service training programmes need to be developed for the qualification and re-qualification of the national examination speaking test interviewers and assessors. The content of such programmes and the process of developing them would be the other subjects of the current project. Methods of the current research: questionnaire-studies and interviews with interviewers/ assessors, content analysis of assessment interviews, modelling assessor behaviour using multivariate statistical analysis, linking quantitative and qualitative data (mixed methods approach) to identify factors leading to biased assessment.The research would be conducted in cooperation with the National Examination and Qualification Centre. The proposed benchmarking will be carried out in cooperation with Jyväskylä University that has already started the process. Research results will be published in academic articles, introduced at international research events and in a summary project document. A new lecture course will be developed for degree students.
Uurimistöö eesmärk oli välja selgitada, missugusele mudelile toetub suulise keelepädevuse hindamine inglise keele riigieksami kontekstis. Viisime läbi uurimusi, kuidas keelepädevuse mõõtmise võtmeisikud (intervjueerijad ja hindajad) mõõtmismudelisse suhtuvad ja millisel määral seda järgivad, samuti millist koolitust võtmeisikud vajavad. Küsitlesime 440 inglise keele õpetajat. Eesmärgiks oli välja selgitada suulist keelepädevustesti läbiviivate intervjueerijate sellised käitumismustrid, mis võiksid vähendada inglise keele riigieksami tulemuste valiidsust ning mille põhjal oleks võimalik intervjueerijate koolitusi planeerida. Uurimus näitas, et intervjueerijate arusaam oma kutsestandardist varieerub märkimisväärselt. Intervjueerijad ei suuda sageli eristada enda kui õpetaja ja enda kui intervjueerija rolle, ei valda sobivaid kohandumustehnikaid ega tunne intervjueerija ja hindaja vahelise suhtlemise protokolli. Samuti viisime läbi uurimuse, milles analüüsisime intervjueerija käitumise soolisi iseärasusi riigieksami suulise keelepädevustesti läbiviimisel.Tulemused näitasid intervjuureeglite üldist järgimist mõlemas grupis, kuid mõlemas ilmnes nii sarnaseid kui ka sooliselt determineeritud erinevusi. Anketeerisime hindamises osalenud õpetajaid selgitamaks välja kultuuriliste erinevuste ilmnemist hindamistegevuses ja hindamiskriteeriumide tõlgenduses. Oleme kogunud andmebaasi videomaterjalist, mis jäädvustas suuliste keeleülesannete õpilaste sooritusnäidised/tasemenäidised, millele hindajad hindamisprotsessis toetuda saaksid. Sama andmebaasi saavad kasutada ka keeleõpetajad/õppijad õpilaste/oma keeletaseme hindamiseks.Selline tasemenäidiste kogu on oluline samm inglise keele riigieksami sidumise suunas Euroopa keeleõppe raamdokumendiga Oluline küsimus antud kontekstis oli samuti hindamisprotsessis osaleja (intervjueerija/ hindaja/ eksaminand) kultuuritaust kui muutuja ning selle olulisus sooritusnäidiste määratlemises.Tulemusena on kaitstud kuus magistritööd, koostatud erikursus testimisest, avaldatud publikatsioone, esinetud mitmetel rahvusvahelistel konverentsidel.