AI agents in productie: lessons learned na 6 maanden
Een half jaar geleden begon ik met AI agents bouwen voor ons product team. Niet als experiment maar echt in productie. Hier wat ik geleerd heb.
Wat werkt:
- Agents voor repetitieve taken met duidelijke regels. Onze support-classificatie agent heeft een accuracy van 94% en draait 24/7.
- Agents die data ophalen en samenvatten. Onze daily standup bot haalt Jira tickets, git commits en Slack berichten op en maakt er een samenvatting van.
- Agents met goede fallbacks. Als de agent het niet zeker weet, escaleer naar een mens.
Wat NIET werkt:
- Agents die te veel autonomie hebben. We hadden een agent die zelf Jira tickets kon aanmaken en aanpassen. Binnen een week had ie een chaos gemaakt met verkeerde prioriteiten en dubbele tickets.
- Agents zonder logging. Als er iets misgaat wil je precies zien wat de agent heeft gedaan en waarom.
- Te complexe chains. Meer dan 3-4 stappen in een chain en de kans op fouten neemt exponentieel toe.
Mijn advies: begin klein, meet alles, en bouw langzaam uit. De technologie is er, maar de implementatie vereist dezelfde discipline als gewone software engineering.
Stack: CrewAI voor de orchestration, Claude als LLM, Supabase voor logging.
Die les over autonomie beperken is zo belangrijk. Wij hebben hetzelfde meegemaakt. Nu heeft onze agent een confidence score - onder de 0.8 gaat alles naar een mens. Werkt veel beter.
Goeie post. Dat logging punt kan ik niet genoeg benadrukken. Wij loggen elke prompt, elke response en elke decision in Supabase. Onmisbaar voor debugging en auditing.
CrewAI is prima voor de start maar wij zijn overgestapt naar een eigen orchestration laag. Meer werk maar veel meer controle over het flow management. Hangt af van je schaal natuurlijk.
Herkenbaar verhaal. Die Jira chaos situatie heb ik ook gehad haha. De regel die ik nu hanteer: een agent mag lezen wat ie wil, maar schrijfacties altijd achter een approval stap.