RAG eller finjustering? Sådan vælger du rigtigt

To forskellige problemer

RAG og finjustering løser forskellige problemer, selvom de ofte forveksles. RAG bringer viden til modellen: den henter de rette dokumenter og giver dem til modellen som grundlag for svaret. Finjustering ændrer modellens adfærd: den lærer modellen at svare i en bestemt stil, format eller tone.

Hvornår RAG

Vælg RAG, når information ændres ofte, eller der er meget af den. Hvis svar skal baseres på aktuelle dokumenter, kontrakter eller produktinformation, er RAG næsten altid det rette valg. Det muliggør også kildehenvisninger, som er afgørende, når svar skal være sporbare.

Fordele ved RAG

Viden holder sig aktuel uden genoptræning, svar er sporbare, og data forbliver under din kontrol. RAG er også ofte billigere og hurtigere at udrulle end finjustering.

Hvornår finjustering

Vælg finjustering, når du vil ændre, hvordan modellen svarer, ikke hvad den ved. Hvis du har brug for en konsistent stil, et bestemt svarformat eller specialiseret fagsprog, kan finjustering hjælpe. Det kræver dog træningsdata af høj kvalitet og mere arbejde.

Ofte er det bedste en kombination

I praksis kombinerer mange af de bedste løsninger begge: en finjusteret model, der svarer i det rette format, kombineret med RAG, der bringer aktuel viden. Start dog altid med RAG og god prompt-design — finjustering bør først overvejes, når det giver tydelig værdi.

De mest almindelige fejl

Den mest almindelige fejl er at vælge finjustering til et videnproblem. Hvis modellen ikke ved noget, hjælper finjustering normalt ikke — den lærer stil, ikke fakta. En anden typisk fejl er at bygge RAG oven på dårlige data: hvis dokumenterne er rodede eller forældede, er svarene det også. En tredje fejl er at glemme evaluering; uden et testsæt ved du ikke, om en ændring forbedrede eller forringede løsningen.

Omkostninger og vedligeholdelse

Omkostningerne ved RAG centrerer sig om søgeinfrastruktur og dokumentvedligeholdelse, mens omkostningerne ved finjustering opstår fra forberedelse af træningsdata og træningskørsler. På lang sigt er RAG ofte mere fleksibel: når information ændres, opdaterer du dokumenterne i stedet for hele modellen. En finjusteret model kræver derimod en ny træningsrunde, hver gang dens adfærd skal ændres væsentligt.