Malli ei korjaa huonoa dataa
On houkuttelevaa ajatella, että tehokas malli pelastaa heikon datan. Näin ei ole. Jos syöttödata on epätarkkaa, vanhentunutta tai epäjohdonmukaista, malli oppii ja vahvistaa näitä virheitä. Tekoälyn vanha sanonta pätee yhä: roskaa sisään, roskaa ulos.
Mitä datan laatu tarkoittaa
Laadukas data on tarkkaa, täydellistä, johdonmukaista, ajantasaista ja jäljitettävää. Tarkkuus tarkoittaa, että arvot vastaavat todellisuutta. Täydellisyys tarkoittaa, ettei kriittisiä kenttiä puutu. Johdonmukaisuus tarkoittaa, että sama asia ilmaistaan samalla tavalla kaikkialla. Nämä eivät synny itsestään vaan vaativat aktiivista hallintaa.
Aloita auditoinnista
Ennen kuin rakennat tekoälyä, kartoita datasi: mistä se tulee, kuinka usein se päivittyy, kuka sitä omistaa ja missä kunnossa se on. Tämä auditointi paljastaa lähes aina ongelmia, jotka olisivat kaataneet projektin myöhemmin.
Laatu on jatkuvaa työtä
Datan laatu ei ole kertaprojekti. Lähteet muuttuvat, järjestelmiä lisätään ja virheitä syntyy. Siksi laadukkaaseen datapohjaan kuuluvat automaattiset testit, validoinnit ja hälytykset, jotka huomaavat ongelmat heti. Hyvin rakennettu dataputki valvoo itseään.
Kun datapohja on kunnossa, tekoälyprojektit etenevät nopeammin ja luotettavammin. Aika, joka käytetään datan kuntoon laittamiseen, maksaa itsensä takaisin moninkertaisesti myöhemmissä vaiheissa.
Laadun ulottuvuudet
Datan laatu ei ole yksi asia vaan useita. Täydellisyys kertoo, puuttuuko arvoja. Tarkkuus kertoo, vastaavatko arvot todellisuutta. Johdonmukaisuus kertoo, ovatko samat tiedot ristiriidattomia eri lähteissä. Ajantasaisuus kertoo, kuinka tuoretta data on. Yksilöllisyys kertoo, onko duplikaatteja. Kun mittaat näitä erikseen, näet tarkalleen, mihin korjaukset kannattaa kohdistaa.
Laatu osana prosessia
Kertaluontoinen siivous ei riitä, koska data rapautuu jatkuvasti. Kestävä ratkaisu rakentaa laadun osaksi putkea: automaattiset tarkistukset hylkäävät tai merkitsevät virheelliset tietueet jo sisäänoton yhteydessä, ja poikkeamista hälytetään ennen kuin ne päätyvät raportteihin tai malleihin. Näin laatu pysyy yllä ilman jatkuvaa käsityötä, ja luottamus dataan kasvaa ajan myötä.