RAG opzetten voor je eigen documenten: een praktische walkthrough

Ik krijg veel vragen over RAG (Retrieval-Augmented Generation) dus hier een no-nonsense uitleg van hoe ik het opgezet heb voor mijn eigen project. Wat is het probleem: je wilt een LLM vragen stellen over JE data - interne documenten, handleidingen, klant-informatie. Maar het model kent die data niet. RAG lost dit op door relevante stukken tekst op te halen en mee te geven als context. Mijn stack: - Supabase met pgvector extensie als vector database - OpenAI's text-embedding-3-small model voor embeddings (goedkoper dan ada-002 en betere kwaliteit) - Claude als het LLM dat de antwoorden genereert Het proces in stappen: 1. Documenten opsplitsen in chunks van 500-800 tokens. Niet te klein (verliest context) en niet te groot (verspilt tokens). Ik splits op paragraafgrenzen waar mogelijk. 2. Elke chunk door het embedding model halen. Dit geeft je een vector van 1536 dimensies. 3. Vectors opslaan in Supabase (pgvector kolom). 4. Bij een vraag: de vraag ook embedden, similarity search doen in Supabase, top 5 resultaten pakken. 5. Die 5 chunks meegeven aan Claude met de originele vraag. Wat ik fout deed in het begin: te grote chunks gebruiken. Mijn eerste versie gebruikte hele pagina's als chunks en de antwoorden waren vaag. Kleinere chunks met overlap van 50 tokens gaven veel preciezere antwoorden. Kosten: embedding kost bijna niks (minder dan 1 euro per 100.000 chunks). De Claude API calls zijn het duurste deel maar dat valt mee als je de context beperkt houdt. Voor wie het wil proberen: begin met een klein corpus van 10-20 documenten. Pas als dat goed werkt ga je opschalen.