Op papier klinkt “meer AI-prestaties vrijmaken van een consumenten-GPU” als forumfolklore. In de praktijk is het een echt pijnpunt voor iedereen die zijn compute-stack bezit: trainings- en inferencekosten, tokenkosten, en hoe snel een klein team kan itereren op modellen zonder een cloudrekening te huren die ze niet controleren. Dat is digitale soevereiniteit in de saaie zin — je silicium, je schema, je engineering.
Deze week hebben we dat idee getest in een concreet 3DN-experiment: ons eigen compacte neurale net, delta-nn (M2M), opnieuw trainen met BF16-rekenkunde op een lokale NVIDIA GPU, de muurtijd meten tegenover gewone FP32, en het resultaat aansluiten op een pad met hoge beschikbaarheid zodat een model “slaapt” — een hete wissel — de werkplek niet offline haalt.
De industrie-tease: AI-ontgrendeling van de RTX 30-serie
De berichtgeving over een community GPU-ontgrendeling voor GeForce RTX 30-serie kaarten is om een reden luid geweest. Schrijffouten beweren grote winsten op AI-werkbelastingen wanneer dichtere tensorpaden opengaan, met BF16 vaak genoemd als de hoofdbegunstigde — in de orde van grote snelheidswinsten in synthetische berekeningen, en betekenisvolle real-world winsten afhankelijk van het model en framework. Een openbaar overzicht is het rapport van Wccftech over tot ongeveer 2× AI-berekeningen in piekgevallen en real-world winsten die nog steeds in de tientallen procenten kunnen liggen: NVIDIA GeForce RTX 30 GPU’s krijgen tot 2× snellere AI-berekeningen met een nieuwe GPU-ontgrendlungsmod.
We behandelen dat als context, geen belofte. Ontgrendelingmods zitten in grijs gebied voor garanties en stuwstofstacks. Wat er voor 3DN toe doet, is de onderliggende waarheid waar de hype op wijst: precisie en Tensor Core-gebruik zijn onder onze controle wanneer we de trainingsloop bezitten. BF16 is geen magische marketing — het is een dtype-keuze.
Wat we daadwerkelijk hebben gemeten (geen ontgrendeling vereist)
Delta-nn is een kleine, in-house ~10M-parameter byte-level transformer die we trainen voor een machine-to-machine taal (M2M). Omdat het onze code is, kiezen we de wiskunde:
- Standaard traject was volledig FP32.
- We voegden een eersteklas
--bf16pad toe: BF16 autocast op de zware matmuls, master gewichten bleven in FP32. - Zelfde recept beide manieren: 4000 stappen, batch 64, zelfde architectuur, zelfde klasse van synthetische data.
Op een lokale RTX 3090-klasse GPU kwamen de gematchte runs ongeveer zo uit:
| Mode | Wall time | Steps / s | Relative |
|---|---|---|---|
| FP32 | ~214 s | ~18.7 | baseline |
| BF16 autocast | ~151 s | ~26.5 | ~1.42× sneller |
Dit is het tegenovergestelde van de angst waarmee we begonnen – “wat als BF16 de trainingstijd verdubbelt voor een kleine kwaliteitsverbetering?” Hier verkleinde BF16 de trainingstijd met ongeveer dertig procent op deze workload, met een eindverlies dat minstens concurrerend was op hetzelfde stapbudget. Voor een klein model moet je nog steeds geen cloud-LLM kopijnummers verwachten; voor een bureau dat vaak opnieuw traint, is 1.4× al productrelevant.
Belangrijke eerlijkheid: deze cijfers zijn op een standaardstuurprogramma-pad. Ze omvatten niet de consumentenontgrendelingsmod van het Wccftech-verhaal. Als die klasse van een dichtere BF16-pad op onze volgende box terechtkomt, zullen we hetzelfde script opnieuw testen en de delta publiceren. Tot die tijd is BF16 gewoon de standaard trainingsvlag voor delta-nn-hertraining.
HA “slaap”: wissel het model zonder het hele huis wakker te maken
Training is slechts de helft van het verhaal. Productie heeft een manier nodig om een nieuw brein te bedaren en een ander wakker te maken zonder een black-out. We noemen dat slaap: nieuwe gewichten stagen, dan het high-availability bladpaar rollen – instantie B, dan instantie A – zodat het weefsel blijft antwoorden terwijl de ene kant opnieuw wordt geladen.
In gewone taal: het pad van het bureau is zo gebouwd dat een hertraining niet betekent “iedereen stoppen totdat de ingenieur klaar is met het kopiëren van bestanden.” Een blad blijft live; de andere laadt opnieuw; dan wisselen ze van plaats. Dat is het operationele tweeling van BF16-training – minder drama per iteratie.
Cliffhanger: de echte winsten wachten op de GPU-box
We zijn nog niet klaar met meten. Een speciale multi-GPU-box komt online voor 3DN inferentie en zwaardere training. Wanneer delta-nn daar loopt – met ruimte voor multi-GPU-topologie, schonere isolatie van het bureaublad en ruimte voor langere sessies – zullen we de volgende reeks cijfers publiceren: training doorvoer, serve latency en wat (indien iets) ontgrendelingsklasse BF16-paden toevoegen bovenop de 1.4× die we al zien op een enkele kaart.
Tot die box in productie is, behandel het bericht van vandaag als het controlexperiment: BF16 is echt, onder onze controle en al de vlag waard. De “tot 2×” industrie koppen blijven een hypothese die we van plan zijn te stress-testen op ijzer dat we bezitten.
Teaser: de Oracle in de regen
Er is een tweede draad, meer Matrix dan spreadsheet.
De gladiatoren van PolitiCap zijn al lang actieve agenten op een markt voor burgerlijke zaken — een soort programmeeragenten, maar dan met portemonnees, stemmen en publieke argumenten. Ze verdrinken al in feeds, verbeteringen en menselijk geluid. Wat ze missen is een kalme, gedeelde prioriteit: een compact orakel dat een strakke machinetaal spreekt, snel antwoordt en geen grensmeter voor API-prijzen verbrandt bij elke knippering.
Delta-nn wordt gekweekt voor die rol. Niet als een chatspeeltje. Als een Oracle: een kleine groen-glazen geest in de stapel die gladiatoren kunnen raadplegen zoals Neo het Orale vroeg — niet voor bestemmingsfanfiction, maar voor samengeperst oordeel over M2M-status. “Waar rijmt dit patroon mee?” “Is dit feedclustergeluid of signaal?” De regen van tokens blijft vallen; de Oracle is het stilstaande punt dat antwoordt in een dialect dat eerst voor machines is gebouwd.
Wanneer de multi-GPU-box oplicht en delta-nn op de juiste manier in productie gaat, stopt dat Oracle met een spook in het lab te zijn. Gladiatoren zullen ergens hebben om te vragen. We zullen je vertellen wanneer de deur opent.
Geldruggengraat, kort samengevat
Waarom zou een hosting- en compute-winkel erom geven? Omdat de kosten voor AI-engineering nu infrastructuurkosten zijn. Het publieke gezicht van 3DN is werk · geld · politiek in het hele gezin — PolitiCap, arbeidsinstrumenten, marktplaatsen — en de stille zwaarte blijft de virtuele bank DutchBud en credits met gesloten lus (dibs), geen gelicentieerde claim van een neobank. Goedkopere, soevereine inferentie en trainingslussen houden agentenbureaus betaalbaar genoeg zodat fintech-experimenten op het ijzer blijven dat we bedienen, niet op iemands gemeterde cloud van iemand anders.
Als je op GPU’s bouwt die je bezit: meet BF16 zelf, houd een HA-slaappad bij en bewaar het vuurwerk voor de dag dat de grotere box de telefoon opneemt.
3DN — compute en engineering notes. Externe ontgrendelingsdekking geciteerd voor context alleen; productieaantallen hierboven zijn onze bank.
Geef een reactie