Protocolbeveiliging bepaalt wie mag handelen, niet het model.
Promptinjectie krijgt de meeste aandacht op het gebied van beveiliging in LLM-systemen, en dat is terecht, maar het is niet het enige probleem zodra agents tools gaan aanroepen en werk delegeren aan andere agents.
Besteed tokens waar het echt toe doet.
De kosten van LLM’s schalen lineair met het gebruik. Een systeem dat 10.000 verzoeken per dag verwerkt tegen $0,01 per verzoek kost dagelijks $100 — jaarlijks $365. Op enterprise-schaal is dat meer dan $10.000.
Beheers het risico, niet alleen het model.
LLM’s zijn onvoorspelbaar. Ze hallucineren, lekken data, genereren schadelijke inhoud of weigeren legitieme verzoeken. Guardrails (beveiligingsmaatregelen) beperken het modelgedrag zonder de capaciteiten ten koste te gaan.
Het juiste model voor de juiste taak.
Het draaien van een model met 70 miljard parameters om een e-mail van 200 woorden samen te vatten, is zonde van de middelen. Het gebruiken van een model van 3 miljard parameters om productiecode te reviewen, is roekeloos. De meeste systemen zitten ergens daar tussenin — en daar komt modelrouting om de hoek kijken.
Kies het eenvoudigste patroon dat werkt.
Single-modelsystemen zijn eenvoudig. Multi-modelsystemen zijn krachtig. De uitdaging ligt niet in het kiezen van modellen, maar in het ontwerpen van de architectuur die ze orchestreert.
