Miksi vaikutelma ei riitä
On houkuttelevaa valita kielimalli sen perusteella, miltä sen vastaukset tuntuvat muutamassa kokeilussa. Tämä on kuitenkin epäluotettavaa: muutama esimerkki ei kerro, miten malli toimii sadoissa todellisissa tapauksissa, eikä se paljasta, missä malli johdonmukaisesti epäonnistuu. Luotettava valinta vaatii systemaattisen arvioinnin, jossa malleja verrataan samalla testijoukolla ja samoilla mittareilla.
Rakenna oma testijoukko
Yleiset vertailutestit kertovat vain osan totuudesta, koska ne eivät vastaa juuri sinun käyttötapaustasi. Paras arviointi perustuu omaan testijoukkoon: kokoa joukko todellisia kysymyksiä ja niiden oikeat vastaukset omasta toimialastasi. Mitä lähempänä testijoukko on todellista käyttöä, sitä luotettavammin se ennustaa, miten malli toimii tuotannossa. Tämä joukko on myös arvokas, kun mallit tai mallien versiot vaihtuvat.
Mitä mitata
Tärkeät mittarit riippuvat tehtävästä, mutta yleisiä ovat: oikeellisuus (onko vastaus faktuaalisesti oikein), relevanssi (vastaako se kysymykseen), johdonmukaisuus (toistuuko laatu samanlaisilla syötteillä) ja turvallisuus (vältetäänkö haitalliset tai harhaanjohtavat vastaukset). Monikielisessä ympäristössä mitataan myös, toimiiko malli yhtä hyvin kaikilla tarvittavilla kielillä. Mittarit kannattaa määritellä ennen testausta, jotta arvio on rehellinen.
Automaatio ja ihmisarviointi
Osa arvioinnista voidaan automatisoida: vertaa mallin vastausta oikeaan vastaukseen tai käytä toista mallia arvioijana. Tämä skaalautuu hyvin. Kriittisissä tapauksissa tarvitaan kuitenkin myös ihmisarviointia, koska ihminen havaitsee vivahteita, joita automaattinen mittari ei tunnista. Paras käytäntö yhdistää molemmat: automaatio laajaan seulontaan ja ihminen tärkeimpiin päätöksiin.
Arviointi on jatkuvaa
Mallit ja niiden versiot päivittyvät jatkuvasti, ja sama malli voi käyttäytyä eri tavoin eri aikoina. Siksi arviointia ei tehdä kerran vaan toistuvasti. Kun testijoukko ja mittarit ovat valmiina, uuden mallin tai version arviointi on nopeaa, ja voit tehdä päätökset luvuilla etkä mututuntumalla. Tämä on sama kurinalaisuus, jota sovellamme kaikkiin tuotantoratkaisuihin.
Yhteenveto
Kielimallin valinta ei saa perustua vaikutelmaan vaan mittaamiseen. Rakenna oma testijoukko, määrittele selkeät mittarit, yhdistä automaatio ja ihmisarviointi, ja toista arviointi säännöllisesti. Näin tiedät, mikä malli todella sopii tehtävääsi, ja voit perustella valintasi luvuilla.