Päättääkö tekoäly kielitaitotasosta? Näin automaattista arviointia kannattaa ymmärtää

Kun kerromme, että SIGNALissa käytetään tekoälyä suomen kielen taitotason arvioinnin tukena, ensimmäinen kysymys on usein hyvin suora: päättääkö tekoäly yksin, millä tasolla ihminen on?

Ei. Kysymys on silti tärkeä, sillä sana tekoäly ei vielä kerro mitään siitä, miten testi on rakennettu tai millä perusteella vastaus arvioidaan.

Kaikkia vastauksia ei arvioida samalla tavalla

Kielitaitotesti sisältää erilaisia tehtäviä. Jos tehtävässä on ennalta määritelty oikea vastaus, vastausta voidaan verrata siihen. Kirjoitus- ja puhetehtävässä tilanne on toinen: samaan kysymykseen voi vastata monella tavalla ja silti osoittaa osaamista.

Avoimessa vastauksessa on arvioitava esimerkiksi sitä, vastaako henkilö tehtävään ja välittyykö hänen viestinsä. Myös kielen tarkkuudella on merkitystä, mutta yksittäinen virhe ei yksin kerro koko kielitaidosta. Arvioinnin kohde riippuu tehtävästä ja tavoitellusta taitotasosta.

Siksi tekoälylle ei voi antaa vain epämääräistä ohjetta: ”arvioi tämän henkilön suomen kieli”. Ensin on määriteltävä, mitä kyseisellä tehtävällä halutaan selvittää ja millä periaatteilla vastausta tarkastellaan.

Mitä tekoäly tekee SIGNALissa?

SIGNALissa tekoäly tukee avointen vastausten arviointia ennalta määriteltyjen tehtävien ja arviointiperiaatteiden puitteissa. Luetun ja kuullun ymmärtämistä sekä kirjoittamista ja puhumista tarkastellaan niiden tehtävätyyppien mukaan. Tulosta ei pitäisi tulkita yhden vastauksen irrallisena mielipiteenä.

Tämä on olennainen ero tekoälyn käyttämisen ja tekoälyyn luottamisen välillä. Hyvä arviointi alkaa suunnitellusta tehtävästä: mitä kielitaidon osa-aluetta se mittaa, millaista vastausta tasolla voidaan odottaa ja mitä johtopäätöksiä vastauksesta on perusteltua tehdä?

Myös testin rajoitukset on tunnistettava. Esimerkiksi epäselvä äänite, väärin ymmärretty tehtävänanto tai liian lyhyt vastaus voivat vaikuttaa siihen, mitä suorituksesta voidaan päätellä. Automaattisen tuloksen on autettava tunnistamaan, milloin tarvitaan tarkempaa selvitystä.

Ihminen tulkitsee tulosta käyttötarkoituksen mukaan

Testitulos voi auttaa alkukartoituksessa, ohjauksessa ja koulutuksen suunnittelussa. Se ei yksin kerro kaikkea siitä, miten henkilö käyttää kieltä työpaikalla, opinnoissa tai arjessa.

Jos tuloksella on henkilölle merkittäviä seurauksia, sitä on tarkasteltava yhdessä muun tiedon kanssa. Asiantuntijan pitää voida kysyä, vastaako tulos havaintoja, oliko testitilanne toimiva ja tarvitaanko lisäarviointia. Ihmisen vastuu ei katoa, vaikka osa arviointityöstä voidaan tehdä automaattisesti.

Meille tämä on SIGNALin kehittämisen keskeinen periaate: teknologia auttaa tekemään kielitaitoa näkyväksi, mutta arvioinnin perusteiden ja tuloksen käytön on oltava ihmisten ymmärrettävissä.

Seuraavassa artikkelissa katsomme tarkemmin puhumista. Mitä puhevastauksesta voidaan arvioida, ja miksi toimiva viesti on enemmän kuin virheetön ääntäminen?