En modell fixar inte dålig data
Det är frestande att tro att en kraftfull modell ska rädda svag data. Det kommer den inte. Om indata är felaktig, föråldrad eller inkonsekvent lär sig modellen och förstärker dessa fel. Det gamla AI-ordspråket gäller fortfarande: skräp in, skräp ut.
Vad datakvalitet betyder
Data av hög kvalitet är korrekt, komplett, konsekvent, aktuell och spårbar. Korrekthet betyder att värden matchar verkligheten. Fullständighet betyder att kritiska fält inte saknas. Konsekvens betyder att samma sak uttrycks likadant överallt. Dessa uppstår inte av sig själva utan kräver aktiv styrning.
Börja med en revision
Innan du bygger AI, kartlägg din data: var den kommer från, hur ofta den uppdateras, vem som äger den och vilket skick den är i. Denna revision avslöjar nästan alltid problem som skulle ha sänkt projektet senare.
Kvalitet är löpande arbete
Datakvalitet är inte ett engångsprojekt. Källor ändras, system läggs till och fel uppstår. Därför inkluderar en kvalitetsdatagrund automatiserade tester, valideringar och varningar som fångar problem direkt. En välbyggd datapipeline övervakar sig själv.
När datagrunden är sund går AI-projekt snabbare och mer tillförlitligt. Tid som läggs på att få data i ordning betalar sig många gånger om i senare skeden.
Kvalitetens dimensioner
Datakvalitet är inte en sak utan flera. Fullständighet talar om huruvida värden saknas. Noggrannhet talar om huruvida värden motsvarar verkligheten. Konsekvens talar om huruvida samma data är fri från motsägelser mellan källor. Aktualitet talar om hur färsk datan är. Unikhet talar om huruvida det finns dubbletter. När du mäter dessa separat ser du exakt var rättelser är värda att fokusera.
Kvalitet som del av processen
En engångsstädning räcker inte, eftersom data förfaller kontinuerligt. En hållbar lösning bygger in kvalitet i pipelinen: automatiska kontroller avvisar eller markerar ogiltiga poster vid intag, och avvikelser utlöser varningar innan de når rapporter eller modeller. På så vis upprätthålls kvaliteten utan ständigt manuellt arbete, och förtroendet för data växer över tid.