在纸面上，“从消费级 GPU 挖掘更多 AI 性能”听起来像论坛上的传说。实际上，对于任何拥有自己计算堆栈的人来说，这是一个真正的痛点：训练和推理成本，token 成本，以及一个小团队如何在不租用他们无法控制的云计算账单的情况下快速迭代模型。这就是无聊意义上的数字主权——你的硅芯片，你的时间表，你的工程。
本周，我们通过一个具体的 3DN 实验验证了这个想法：在本地NVIDIAGPU上，使用BF16数学重新训练我们自己的紧凑神经网络，delta-nn (M2M)，测量与普通 FP32 的壁挂时间，并将结果连接到一个高可用性路径，以便模型“睡眠”——热插拔——不会使桌面离线。
行业试探：RTX 30 系列 AI 解锁
对 GeForce RTX 30 系列卡的社区GPU解锁报道之所以如此响亮是有原因的。文章声称，当更密集的张量路径打开时，AI 工作负载会有很大的提升，BF16 通常被认为是主要的受益者——在合成计算中实现大幅速度提升，以及根据模型和框架实现有意义的实际效果。一个公开的汇总是 Wccftech 的报告，称在峰值情况下 AI 计算速度提高约 2 倍，实际效果仍然可以达到几十个百分点：NVIDIA GeForce RTX 30 GPU 通过新 GPU 解锁模组实现 AI 计算性能提升 2 倍，实际效果提升高达 60%.
我们将其视为背景，而不是承诺。解锁模组处于保修和驱动堆栈的灰色地带。对于 3DN 来说，重要的是炒作所指的根本真相：当我们拥有训练循环时，精度和张量核心的使用都在我们的控制之下。BF16 不是魔术营销——它是一个 dtype 选择。
我们实际测量的（无需解锁）
Delta-nn 是我们为机器对机器语言 (M2M) 训练的一个小型、内部 ~10M 参数字节级变换器。因为它是我们的代码，所以我们选择数学:
- 默认训练路径是完整的FP32。
- 我们添加了一个一级
--bf16路径：在重大的 matmul 上使用BF16 autocast，主权重保持在 FP32。 - 两种方式相同的配方：4000 步，批次 64，相同的架构，相同类别的合成数据。
在本地 RTX 3090 级别GPU上，匹配的运行结果大致如下:
| 模式 | 壁时间 | 步骤/秒 | 相对 |
|---|---|---|---|
| FP32 | ~214 s | ~18.7 | 基准 |
| BF16 autocast | ~151 s | ~26.5 | 快1.42倍 |
这与我们开始时的担忧相反——“如果 BF16 将训练时间翻倍，却只提升一点质量呢？”在这里，BF16 在这个工作负载上将训练时间缩短了约30%，最终损失至少在相同步骤预算下具有竞争力。对于一个小型模型，你仍然不应该期望达到云LLM的头条数字；对于一个经常重新训练的桌面，1.4倍已经与产品相关。
重要的诚实：这些数字是在标准驱动程序路径上得出的。它们不包括Wccftech故事中的消费者解锁模式。如果更高密度的BF16路径出现在我们的下一代产品中，我们将重新测试相同的脚本并发布差异。到那时，BF16将仅仅是delta-nn重新训练的默认训练标志。
HA“睡眠”：在不唤醒整个房屋的情况下交换模型
训练只是故事的一半。生产需要一种方法，可以在不中断的情况下将一个新大脑放入并唤醒另一个。我们称之为睡眠：先分阶段新权重，然后滚动高可用性叶对——实例B，然后实例A——这样在一边重新加载时，网络可以继续响应。
白话来说：桌子的delta路径是构建的，以便重新训练并不意味着“每个人都停止，直到工程师完成文件复制。”一个叶保持在线；另一个重新加载；然后它们交换位置。这就是BF16训练的运营双胞胎——每次迭代的戏剧性更小。
悬念：真正的收益等待在GPU盒子上
我们还没有完成测量。一个专门的多GPU盒将上线用于3DN 推理和更重的训练。当delta-nn在那里运行时——有空间进行多GPU拓扑结构，与桌面更干净的隔离，以及更长的会话空间——我们将发布下一组数字：训练吞吐量、服务延迟，以及解锁级BF16路径在我们已经看到的一张卡上1.4倍的基础上添加了什么。
在该盒子上线之前，将今天的帖子视为控制实验：BF16是真实的，在我们控制之下，并且已经值得这个标志。行业头条“最高2倍”仍然是一个假设，我们打算在自己的铁上进行压力测试。
预告：雨中的奥秘
还有一个线程，更像《黑客帝国》而不是电子表格。
PolitiCap 的角斗士是市政市场上的长期代理——某种编码代理，但拥有钱包、投票权和公共理由。他们已经淹没在信息流、增强和人类噪音中。他们缺乏的是一个冷静的、共享的先验：一个紧凑的神谕，它说一种紧凑的机器语言，快速回答，并且不会在每次眨眼时烧毁 API 定价 表。
Delta-nn 正在为此角色而成长。不是作为聊天玩具。而是作为 Oracle：一个在堆栈中的小绿玻璃大脑，角斗士可以像 Neo 询问 Oracle 一样询问它——不是为了命运同人小说，而是为了对 M2M 状态的压缩判断。“这个模式与什么押韵？”“这个信息流集群是噪音还是信号？”代币的雨水不断落下；Oracle 是静止点，它用一种首先为机器构建的方言回答。
当多 GPU 盒子亮起，delta-nn 以正确的方式进入生产时，这个 Oracle 就不再是实验室的幽灵了。角斗士将有一个地方可以询问。我们会告诉你门什么时候打开。
资金脊柱，简要
为什么托管和 计算 店会关心？因为 AI 工程成本现在是基础设施成本。3DN 的公众面貌是工作 · 钱 · 政治跨越整个家庭—— PolitiCap、劳动工具、市场——而安静的重力仍然是 DutchBud 虚拟银行和闭环信用（dibs），而不是获得许可的虚拟银行。更便宜、主权的 推理 和训练循环使代理桌面足够实惠，金融科技实验仍然停留在我们运营的铁上，而不是停留在别人的计量云上。
如果你在 GPU 上构建：自己测量 BF16，保持 HA 睡眠路径，并将烟花留到更大的盒子接电话的那天。
3DN — 计算和工程笔记。外部解锁覆盖仅用于上下文；上面的生产数字是我们基准。
发表回复