AI-functies toevoegen aan bestaande software

Begin met één smalle functie die met je bestaande data werkt, meet of die goed genoeg is en breid dan pas uit. Het taalmodel aanroepen is het makkelijke deel. Het werk zit in de juiste data ophalen, de rechten van gebruikers respecteren, de output testen en de kosten in de gaten houden.

Kies een smalle eerste functie

Goede eerste functies hebben twee dingen gemeen: de input is al in je systeem aanwezig, en er kijkt een mens naar de output voordat er iets gebeurt. Denk aan een ticket samenvatten voor de supportmedewerker, een conceptantwoord maken op basis van je kennisbank of binnenkomende documenten labelen.

Laat het model in de eerste versie niets zelf versturen, wijzigen of verwijderen. Een concept dat iemand moet goedkeuren, levert al tijdwinst op en kost weinig als het een keer misgaat.

Met RAG gebruikt het model jouw data

Een taalmodel weet niets van jouw klanten, producten of contracten. Met retrieval augmented generation (RAG) zoek je eerst de relevante stukken tekst op en stuur je die mee in de prompt.

Je hebt daarvoor meestal geen aparte vectordatabase nodig. De open source extensie pgvector voegt vector search toe aan Postgres, met HNSW- en IVFFlat-indexen. Draai je al op Postgres, dan staan je embeddings naast de rest van je data. Aleksa schreef over die keuze in Postgres als standaard database.

Drie dingen die ik vanaf het begin goed zou doen:

• Combineer vector search met gewone zoekopdrachten op trefwoorden. Productcodes, namen en nummers vind je met full-text search beter dan met embeddings.
• Filter op rechten bij het ophalen. Een gebruiker mag via het model nooit tekst zien die hij in de applicatie zelf niet mag openen.
• Test het ophalen los van het antwoord. Vindt het systeem de juiste stukken niet, dan lost geen prompt dat op.

Met tool use voert het model acties uit

Met tool use roept het model functies aan die jij definieert, bijvoorbeeld "zoek order op" of "maak concept-factuur". Je bestaande API is daarvoor het beste startpunt, want de validatie en autorisatie zitten daar al in.

De regels die ik hanteer:

• Begin met tools die alleen lezen.
• Een tool draait altijd met de rechten van de ingelogde gebruiker, nooit met een algemeen service-account.
• Laat schrijvende acties eerst bevestigen door een mens.
• Log elke aanroep met de input, de output en de gebruiker.

Draait je hoofdapplicatie in .NET of PHP en wil je de AI-logica in Python bouwen, dan kan dat als losse service. Hoe je dat opzet, staat in Python en FastAPI voor AI-backends.

Evaluatie voordat je live gaat

Zonder testset weet je niet of een LLM-functie goed werkt. Verzamel vijftig tot honderd echte voorbeelden uit je eigen data, met het antwoord dat je verwacht. Draai die set bij elke wijziging van de prompt, de retrieval of het model.

Meet apart of de retrieval de juiste stukken vond, of het antwoord klopt en of het model netjes weigert als het iets niet weet. Een tweede model kan antwoorden beoordelen, maar controleer steeds een deel met de hand. In productie log je de output en laat je gebruikers met een duim omhoog of omlaag aangeven of het klopte. Die voorbeelden gaan terug in je testset.

Kosten per functie

Je betaalt per token, voor input en output. Met RAG wordt de input snel groot, want je stuurt bij elke vraag een paar pagina's context mee. Reken daarom per functie uit wat één aanroep kost en hoe vaak die per gebruiker per dag voorkomt.

Prompt caching helpt als een groot deel van de prompt steeds gelijk is, zoals instructies of een vast document. Bij Anthropic kost input die uit de cache komt standaard een tiende van de normale inputprijs. Het wegschrijven naar de cache kost een kwart meer dan normale input. De cache leeft standaard vijf minuten en wordt bij elk gebruik verlengd.

Gebruik verder een kleiner model voor eenvoudige taken zoals labelen, zet een budget per klant of gebruiker en volg de kosten per functie, net als je andere cloudkosten.

Privacy en de AI Act

Stuur je persoonsgegevens naar een modelaanbieder, dan is die aanbieder een verwerker onder de AVG. Je hebt een verwerkersovereenkomst nodig en je wilt weten waar de data wordt verwerkt en hoe lang die blijft staan.

OpenAI gebruikt API-data standaard niet voor training. Logs voor misbruikcontrole bewaart OpenAI tot 30 dagen, en voor API-projecten is opslag en verwerking in Europa mogelijk, onder voorwaarden. Anthropic gebruikt input en output van zijn zakelijke producten, waaronder de API, standaard niet voor training.

Stuur ook niet meer mee dan nodig. Als een samenvatting geen BSN of e-mailadres nodig heeft, haal je dat er vooraf uit. API-keys voor modelaanbieders horen in je secrets-beheer, niet in de code. Boris schreef daarover in secrets en API-keys veilig beheren.

Sinds 2 augustus 2026 gelden de transparantieregels uit de Europese AI Act. Communiceert een gebruiker direct met een AI-systeem, zoals een chatbot, dan moet duidelijk zijn dat het om AI gaat. De AI-omnibus, die op 27 juli 2026 in werking trad, schoof vooral de regels voor hoog-risicosystemen op. Laat je eigen situatie juridisch toetsen.

Bronnen

• pgvector op GitHub
• Anthropic: prompt caching
• OpenAI: data controls in the OpenAI platform
• Anthropic Privacy Center: wordt mijn data gebruikt voor training?
• Houthoff: AI Act transparency obligations and the AI Omnibus Regulation