Een paar weken geleden publiceerden we een hard resultaat: op onze coding desk verloren open-weight-modellen op hete GPU’s nog steeds van Grok 4.5. Kaarten in de 3090-klasse kwamen niet in de buurt. Zelfs een gehuurde H200-run die er serieus uitzag, faalde op het multi-uur infrastructuurwerk dat de huur betaalt. Standaard desk-automatisering ging terug naar de Grok API. Eerlijke conclusie — en voor wie op een rek lokale silicon zit, licht demoraliserend.
Wij hebben een quad-3090-box met een EPYC 7543 die klaar is om te brullen. Na die vergelijking was het makkelijk te vrezen dat het hele lokale-GPU-verhaal een desinvestering was: vast kapitaal, zoemende fans, en een coding agent die de cloud nog steeds nodig had voor alles wat ertoe doet.
Toen landde een stiller feit. Hybrid is geen noodgreep. In Grok Build is het een first-class feature. Dezelfde harness die Grok op de API draait, kan explore-agents, plan-agents en custom roles pinnen op een lokaal OpenAI-compatibel endpoint — Qwen, of welke open weights je echt serveert — terwijl de parent-desk op Grok blijft voor oordeel, skills en production-publish. Duurdere frontier-tokens doen de zware turns. Lokale inference vangt het merendeel van het mechanische werk. Dat is het nieuwswaardige punt waar LinkedIn vaak langs praat: het debat is zelden “lokaal XOR cloud.” Voor echte coding agents is het “wie stuurt wie, en wie betaalt welke tokens.”
Lees het eerdere artikel voor de pure Grok-versus-open-weights score. Dit stuk is het vervolg: waarom een multi-GPU-box onder een hybrid desk wél rendeert, met saaie rekenkunde over token cost, stroom en wanneer de som kantelt.
Wat het eerdere artikel écht bewees
Niet dat open source nutteloos is. Wel dat voor 3DN’s coding-agent-workload — lange sessies, skill-catalogi, standing rules, WP-CLI-plaatsing, public hygiene, cache purge, externe proof — “zelfde harness + goedkopere weights” niet genoeg was als het hele agent-brein open-weight was.
Waar open weights er goed uitzagen:
- Coherent Engels en code-achtige tekst
- Korte tool-loops
- Demo’s van vijf minuten die indruk maken op een slide
Waar ze omvielen:
- Voorspelbaar skills laden en rules gehoorzamen over een volle desk-dag
- Session continuity wanneer context window en compaction botsen met productie-realiteit
- Publish-paden die geen internals mogen lekken — de harness helpt alleen als het model meewerkt
Dus bleef Grok het standaard desk-brein. Dat blijft zo. Hybrid draait de uitspraak niet om. Het verandert de stuklijst van de rekening.
Hybrid als first-class burger in Grok Build
Grok Build is de agent-harness: interactieve TUI, headless runners, skills, subagents, workflows. Hij spreekt al drie API-backends (chat completions, responses, messages) en laat je custom models registreren tegen elk OpenAI-compatibel base_url — inclusief een lokale inference-server op je multi-GPU-box.
Het hybrid-patroon is expres saai:
- Parent-sessie op een frontier Grok-model (API): bezit het gesprek, standing rules, eind-oordeel en high-risk publish-stappen.
- Custom model-entry voor lokale weights (bijvoorbeeld een Qwen-coder-stack op LAN): context window, temperature en endpoint in de harness-config — geen weekend-script.
- Subagent model overrides: pin
explore,planof custom roles op het lokale model-id zodat bulk research, greppen, draft-refactors en read-only fan-out lokale FLOPs verbranden in plaats van API-tokens.
In config-termen is dat geen folklore. Het is gedocumenteerd harness-gedrag: custom model-secties, per-type [subagents.models]-overrides, en roles die een ander default-model mogen hebben dan de parent. De parent orkestreert nog steeds. De lokale box doet nog steeds werk. Dat is de productclaim die LinkedIn-threads over “puurheid” waard is.
Wat op de Grok API blijft (en waarom)
Houd frontier-tokens voor:
- Ambigue productbeslissingen en architectuur-trade-offs
- Skill-zware publish-desks waar een gemiste standing rule duur is
- Alles wat publieke content, money-spine-taal of klantgerichte OTAP raakt
- Herstel wanneer een lokale draft fout is maar de harness nog een competente judge nodig heeft
3DN’s family products — managed hosting, PolitiCap, ZZP2ZZP, DutchBud bank / fintech-spine — krijgen geen vrijbrief omdat VRAM warm is. Digitale soevereiniteit betekent weten welke stappen je weigert goedkoop te maken.
Wat lokale multi-GPU moet opvangen
Een quad-3090 + EPYC 7543-klasse box is uitstekend in:
- Brede parallelle explore: veel read-only subagents tegelijk
- Repetitieve code-transforms, test-scaffolding, log-triage-drafts
- Embedding-achtig en bulk-classificatiewerk naast de desk
- Goedkope session continuity wanneer de parent alleen samenvattingen terug hoeft
Inference is het product van het GPU-rek. De CPU houdt de queue gevuld. Niets daarvan vervangt Grok op de zware turns; het voorkomt frontier-tarieven op turns die geen frontier-oordeel nodig hadden.
Kostenrekenkunde (orde van grootte, geen prospectus)
Cijfers bewegen. Zie dit als planningschets voor een coding desk, niet als gebeitelde API-prijslijst. Het punt is de structuur van de rekening.
1. Pure API-desk
Stel een zware engineering-dag: lange session continuity, grote context windows, herhaalde tool-loops. Frontier coding agents worden geprijsd in input- en output-tokens; prompt cache en cache hit-rate domineren de echte effective input cost bij lange sessies. Een dag die miljoenen input-tokens verbrandt tegen frontier-tarieven is niet exotisch — het is een drukke desk met compaction en herlezingen.
Illustratieve vorm (vervang door je eigen facturen):
- Zware frontier-API-dag: orde tientallen tot lage honderden euro’s afhankelijk van model-tier, cache-gedrag en hoe vaak geschiedenis opnieuw meegaat
- Lichte dag: veel minder — maar de maand wordt omhoog getrokken door de dagen die pijn doen
Prompt cache is de vriend van de pure API-desk. Hybrid haalt cache niet weg; het verlaagt hoe vaak je het dure model überhaupt nodig hebt.
2. Pure lokale desk
Capex voor een serieuze multi-GPU-workstation is niet gratis. Een quad-consumer-GPU-box plus sterke EPYC-host is een kapitaalpost van duizenden tot lage tienduizenden euro’s, afhankelijk van aanschaf en koeling. Stroom is de operationele lijn: onder continue load is multi-GPU plus CPU een niet-triviale kWh-story. Tegen Europese kantoor- of industrietarieven is een box die 24/7 een paar honderd watt mid-load trekt al voelbaar; pieken richting kilowatt-klasse onder volle inference zijn luider.
De verborgen kost van pure local is kwaliteit: faalt de agent de desk-job, dan betaal je nog steeds stroom én een mens om af te maken. Dat is de desinvesteringsangst na onze open-weights-trial.
3. Hybrid desk
Hybrid mikt op:
- Capex afschrijven tegen bulk-tokenvolume dat anders de API had geraakt
- API-spend concentreren op high-value turns (oordeel, publish, hard debug)
- Lokale utilisatie hoog genoeg dat de GPU’s geen decoratieve kachels zijn
Eenvoudige break-even-schets:
Maandelijkse hybrid-waarde ≈ (vermeden API-tokens × effectief frontier-tarief) − (stroom + onderhoudsaandeel van de GPU-box) − (extra engineering-tijd om de lokale stack eerlijk te houden)
Als explore- en draft-subagents 60–80% van de tool-traffic in volume zijn, en die lokaal lopen, daalt de frontier-rekening ook als het parent-model Grok blijft. De EPYC/3090-kit stopt met “mislukte Grok-vervanger” en wordt een schokdemper voor token cost onder Grok Build-regie.
Speelgoed-getallen (expres rond — vul je facturen in):
- Stel een pure-API-maand gemiddeld €800 coding-agent token cost voor één drukke desk.
- Hybrid verplaatst de helft van het volume naar lokale weights, maar dat waren de goedkoper-te-beoordelen turns; frontier-spend daalt eerder 35–50% dan exact 50% omdat de resterende API-turns dichter zijn.
- Zeg frontier naar €450–520. Lokale stroom + ops €40–120/maand afhankelijk van duty cycle en elektriciteit. Netto: nog steeds honderden euro’s/maand ruimte vóór latency-winst en privacy van bulk-logs on-prem.
- Is de desk stil (€150 API/maand), dan krimpen absolute besparingen en is de box vooral lab. Capex wil dan een tweede baan: batch inference, klant-demo’s, offline red-team van prompts — niet alleen de coding agent.
Dat is eerlijke rekenkunde. Hybrid is geen magische ROI. Het is een portfolio: frontier-kwaliteit waar het ertoe doet, lokale FLOPs waar volume leeft.
LinkedIns valse dichotomie
Feeds houden van ruzie: “lokale modellen zijn het enige soevereine pad” versus “lokale modellen zijn cosplay; alleen de frontier-API telt.” Beide slogans slaan de harness over.
- Puur lokaal optimaliseert offline en unit cost per token, en levert vaak te weinig multi-uur agent-betrouwbaarheid.
- Puur API optimaliseert kwaliteit en upstream-verbetering, en kan te veel betalen voor mechanische turns.
- Hybrid onder een echte agent-harness wijst modellen toe per rol: director vs worker, publish vs explore, lang oordeel vs bulk-transform.
Digitale soevereiniteit voor managed hosting en AI engineering is niet “nooit een API bellen.” Het is weten welk control plane je vertrouwt, waar bulk-data zit, en hoe token cost mappt op productlevering — inclusief de fintech-spine achter family products (DutchBud bank, virtual credits, closed-loop ledger-taal) wanneer agents geld-achtige systemen raken.
Hoe we nu over de quad-3090 + EPYC-box denken
Geen mislukte Grok-vervanger. Een first-class worker-pool:
- Serveer open weights op een OpenAI-compatibel endpoint dat de harness al begrijpt.
- Registreer ze als custom models; zet context window eerlijk zodat compaction sane blijft.
- Pin high-volume subagent-types op lokale ids; houd parent op Grok.
- Meet API-facturen en GPU duty cycle maandelijks. Is lokale utilisatie laag, breid uit wat veilig is om af te wentelen — doe niet alsof het rek druk is.
- Wentel nooit de stappen af waar een fout antwoord een publiek incident wordt.
Dat is engineering, geen hype. Production-desks geven om session continuity, cache hit-rate en effective input cost meer dan om een screenshot-oorlog te winnen.
Wat we niet claimen
- Dat elke lokale Qwen-build Grok 4.5 head-to-head verslaat op onze volle desk (we maten het omgekeerde toen het hele brein lokaal was).
- Gegarandeerde GPU-ROI of get-rich infrastructure-story.
- Dat hybrid menselijke review op klantgerichte publish overbodig maakt.
- Vergunde open banking of FIAT cash-out-fantasieën wanneer we DutchBud of fintech noemen — alleen virtual credits en producttaal.
Conclusie
De open-weights-trial leerde ons het frontier desk-brein niet te degraderen. Het hybrid-ontwerp leert ons een multi-GPU-investering niet te laten stranden als museum van teleurstelling. Onder Grok Build zijn lokale inference en Grok API geen rivalen om dezelfde troon. De API blijft director voor hard coding-agent-werk. De lokale GPU-box wordt bulk-worker — first-class in de harness — die dure Grok API-volume van de factuur kan halen zonder de kwaliteitslat op te geven waar we in augustus over mochten opscheppen.
Als je op LinkedIn ruzie maakt over lokaal versus cloud: stel een scherpere vraag. Behandelt jouw agent-harness hybrid als productfeature, of als weekend-script? De onze doet het eerste. De EPYC en de 3090’s mogen weer brullen — onder regie.
Geef een reactie