En modell fikser ikke dårlige data
Det er fristende å tro at en kraftig modell vil redde svake data. Det vil den ikke. Hvis inndataene er unøyaktige, utdaterte eller inkonsistente, lærer modellen og forsterker disse feilene. Det gamle AI-ordtaket gjelder fortsatt: søppel inn, søppel ut.
Hva datakvalitet betyr
Data av høy kvalitet er nøyaktige, komplette, konsistente, oppdaterte og sporbare. Nøyaktighet betyr at verdier samsvarer med virkeligheten. Fullstendighet betyr at kritiske felt ikke mangler. Konsistens betyr at samme ting uttrykkes likt overalt. Disse oppstår ikke av seg selv, men krever aktiv styring.
Start med en revisjon
Før du bygger AI, kartlegg dataene dine: hvor de kommer fra, hvor ofte de oppdateres, hvem som eier dem og hvilken tilstand de er i. Denne revisjonen avslører nesten alltid problemer som ville senket prosjektet senere.
Kvalitet er løpende arbeid
Datakvalitet er ikke et engangsprosjekt. Kilder endres, systemer legges til og feil oppstår. Derfor inkluderer et kvalitetsdatagrunnlag automatiserte tester, valideringer og varsler som fanger problemer umiddelbart. En velbygd datapipeline overvåker seg selv.
Når datagrunnlaget er solid, går AI-prosjekter raskere og mer pålitelig. Tid brukt på å få data i orden betaler seg mange ganger i senere faser.
Kvalitetens dimensjoner
Datakvalitet er ikke én ting, men flere. Fullstendighet forteller om verdier mangler. Nøyaktighet forteller om verdier samsvarer med virkeligheten. Konsistens forteller om de samme dataene er uten motsetninger på tvers av kilder. Aktualitet forteller hvor ferske dataene er. Unikhet forteller om det finnes duplikater. Når du måler disse separat, ser du nøyaktig hvor rettelser er verdt å fokusere.
Kvalitet som del av prosessen
En engangsopprydding er ikke nok, fordi data forfaller kontinuerlig. En varig løsning bygger kvalitet inn i pipelinen: automatiske kontroller avviser eller merker ugyldige poster ved inntak, og avvik utløser varsler før de når rapporter eller modeller. Slik opprettholdes kvaliteten uten konstant manuelt arbeid, og tilliten til dataene vokser over tid.