Mitä kielitaito oikeastaan tarkoittaa?

Kun aloimme kehittää automatisoitua suomen kielen taitotason arviointia, vastaan tuli kysymys, johon ei ole yhtä helppoa vastausta: mitä kielitaitotestissä pitäisi mitata?

Yksittäisen sanan tai monivalintatehtävän oikean vastauksen voi tarkistaa melko suoraviivaisesti. Ihmisten välinen viestintä on monimutkaisempaa. Kieliopillisesti puutteellinen vastaus voi välittää olennaisen asian, ja virheetön lause voi mennä kokonaan ohi siitä, mitä kysyttiin.

Tämä havainto on ohjannut SIGNALin kehitystä: haluamme tarkastella myös sitä, mitä ihminen ymmärtää ja pystyy kielellä tekemään.

Kielitaito ei ole sama asia kuin virheettömyys

Kuvitellaan, että työntekijältä kysytään: ”Miksi et pääse huomenna töihin?” Hän vastaa: ”Minä ei tule huomenna koska lapsi sairas.”

Lauseessa on virheitä, mutta viesti välittyy. Hän on ymmärtänyt kysymyksen, vastannut siihen ja kertonut poissaolon syyn. Nämä kaikki ovat osoituksia toimivasta kielitaidosta.

Esimerkki ei tarkoita, ettei kieliopilla olisi väliä. Tarkkuus, sanasto ja rakenteiden hallinta ovat tärkeitä, ja odotukset muuttuvat taitotason ja tilanteen mukaan. Jos tehtävänä on kirjoittaa täsmällinen työohje, pelkkä suunnilleen ymmärrettävä viesti ei välttämättä riitä.

Siksi arvioinnissa tarvitaan myös kysymys: onnistuiko henkilö käyttämään kieltä siihen tarkoitukseen, jota tilanne edellytti?

Neljä osa-aluetta näyttävät kielitaidosta eri puolia

Kielitaito ei ole yksi tasainen ominaisuus. SIGNAL tarkastelee luetun ymmärtämistä, kuullun ymmärtämistä, kirjoittamista ja puhumista.

• Luetun ymmärtäminen: mitä henkilö saa selville kirjoitetusta tekstistä?
• Kuullun ymmärtäminen: mitä hän ymmärtää puhutusta viestistä?
• Kirjoittaminen: pystyykö hän välittämään ajatuksensa kirjallisesti?
• Puhuminen: pystyykö hän ilmaisemaan asiansa suullisesti ja tilanteeseen sopivasti?

Sama henkilö voi pärjätä näillä alueilla eri tavoin. Hän voi esimerkiksi ymmärtää työpaikalla kuulemaansa suomea hyvin, vaikka oma puhuminen tuntuu vielä vaikealta. Yksi kokonaispistemäärä voi peittää tällaisen eron. Osa-aluekohtaiset tulokset antavat parempaa pohjaa keskustelulle siitä, mitä kannattaa harjoitella seuraavaksi.

Mitä automatisoidussa arvioinnissa tapahtuu?

Kaikki tehtävät eivät vaadi samanlaista tarkistamista. Suljetussa tehtävässä vastausta voidaan verrata ennalta määriteltyyn oikeaan vastaukseen. Avoimessa kirjoitus- tai puhetehtävässä samaan kysymykseen voi olla monta hyväksyttävää vastausta.

Avoin vastaus voi olla sisällöltään osuva, vaikka siinä on virheitä. Toisaalta se voi sisältää paljon oikeita sanoja vastaamatta itse kysymykseen. Siksi arvioinnissa on katsottava vastausta suhteessa tehtävään ja tavoiteltuun taitotasoon.

SIGNALissa arviointia ohjataan ennalta määritellyillä periaatteilla. Tekoälyn tehtävä on tukea avointen vastausten tarkastelua niiden asioiden osalta, joita kyseisessä tehtävässä arvioidaan. Se ei saa vapaasti päättää henkilön kielitaidosta yhden vastauksen perusteella. Eri osa-alueita ja tehtävätyyppejä tarkastellaan niiden luonteen mukaisesti.

CEFR auttaa kuvaamaan sitä, mitä kielellä pystyy tekemään

Eurooppalainen viitekehys eli CEFR antaa yhteisen kielen taitotasojen kuvaamiseen. Tasomerkintä on kuitenkin hyödyllinen vasta, kun ymmärrämme, millaista kielenkäyttöä se kuvaa.

Arvioinnin tarkoitus ei ole vain sijoittaa ihmistä asteikolle. Tuloksesta pitäisi saada apua käytännön kysymyksiin: millaisia tekstejä henkilö ymmärtää, millaisista tilanteista hän selviää puhumalla ja missä hän tarvitsee vielä tukea?

Automatisoidun testin tulos on tulkittava sen käyttötarkoituksen mukaan. Erityisesti silloin, kun tuloksella on henkilölle merkittäviä seurauksia, organisaation pitää arvioida sitä asiayhteydessä ja säilyttää ihmisellä mahdollisuus tarkastella tulosta.

Mistä hyvä arviointi alkaa?

Meille tärkein kysymys on: mitä tämä ihminen pystyy tällä hetkellä tekemään suomen kielellä?

Kun arviointi lähtee tästä kysymyksestä, virheet saavat oikean mittakaavan. Ne kertovat osaamisesta jotakin, mutta eivät yksin määritä koko kuvaa. Samalla eri kielitaidon osa-alueet voidaan tehdä näkyviksi ja tuloksesta voi tulla hyödyllinen lähtökohta oppimisen tai ohjauksen suunnitteluun.

Tämän ajatuksen ympärille rakennamme SIGNALia. Tässä julkaisusarjassa avaamme seuraavaksi tarkemmin, miten tekoälyä käytetään arvioinnin tukena ja miten eri kielitaidon osa-alueita kannattaa tarkastella.

Tutustu SIGNAL-kielitaidon arviointiin.