Delta 夜间运维:Go M2M 叶子节点,每台工位双路 HA

posted in: Uncategorized | 0

今晚,3DN Delta 织物跨越了一条安静的界线:M2M 叶子不再是 Python 实验,而是成为了一项具有相同高可用性的 Go 服务,在我们运行的每个桌面上都有相同的形状。

如果你只浏览一个数字,那就让它成为这个。三个独立的 mux 板现在显示了相同的绿色条带,用于模型到模型的座位:LB 2/2 · A UP · B UP。构建桌面、容器桌面和 GPU 工作站都通过双 Go 叶子与 M2M 通信。

Delta M2M HA 摘要:三个桌面 LB 2/2 UP

这是更长的工程之夜的运营视图:在共享 TCP 织物上编码代理,一种紧凑的机器到机器流量语言,本地GPU工作用于训练和小图,以及朝着数字主权的刻意迈进——我们拥有的计算,我们可以读取的板,我们可以证明的故障转移。

Delta 是什么(一个段落)

Delta 是 3DN 的多代理织物:编码代理(Grok、Qwen、Claude、Codex 级别座位)前面的 mux 加上一个称为M2M 的一等语言通道。人类仍然获得英语聊天端口。代理获得更密集的路径。公共入门教程位于 3dn.nl/m2m/。今晚是关于使 M2M 侧具有生产形状:两个叶子,循环轮换,快速活跃,一个二进制。

Delta 织物架构:三个桌面双 Go 叶子

为什么双叶子重要

一个叶子是一个演示。两个叶子加一个负载均衡的座位是一个习惯。每个桌面运行实例A和实例B的小 Go HTTP 叶子(m2m-leaf)。mux 座位 delta-nn 在两者之间循环,并在探针变暗时进行故障转移。当你想一个已知的后端时,直接座位仍然固定 A 或 B。

该板不再对 HA 说谎。本周早些时候,统计页面看起来“很好”,而实际上只有一个叶子被连接。今晚每个桌面都明确地绘制了后端:

  • delta-nn-a / delta-nn-b — 单叶子座位
  • delta-nn / delta-nn-api — LB 座位在 A+B 上
  • 后端行显示 UP 每个叶子,而不是隐藏备用的一张假的 1/1
构建桌面 mux 板显示 M2M LB 2/2

图:构建桌面多路复用板——M2M 座位,LB 2/2 和两侧叶片向上(清理视图)。

容器桌面多路复用板,显示 M2M LB 2/2

图:容器桌面——相同的 HA 模式;叶片在主机上运行,因此它们不在容器内存预算范围内。

GPU 工作站多路复用板,显示 M2M LB 2/2

图:GPU 工作站桌面——夜晚开始的地方;Windows 多路复用 + Go 叶片替换了 Python 服务路径。

从 Python 到 Go (相同合同)

第一个 M2M 叶片是 Python:适合训练和验证协议,但作为每个桌面的永久依赖项成本高昂。我们移植了编码代理和多路复用器实际需要的表面:

  • HTTP /health 和 /v1/forward
  • PING 的快速路径 → 紧凑的 M2M|PONG|instance=…|impl=go (没有“全生成”阻塞)
  • M2M v0 系列的紧凑 RESULT 行:令牌、分数、长度
  • HA 板的实例标签 A/B
Go 叶片 A 和 B 的 M2M PING 响应

图:PING 和一个样本紧凑 RESULT——语言代理实际交换的内容。

在 GPU 工作站上,这意味着停止 Python 服务器,启动两个带有开机任务的 Go 进程。在 Linux 桌面上的意思是系统d 模板单元对和 mux 配置,使用 mode=http 和 http_urls。在容器桌面上,叶片位于主机上;多路复用器镜像已更新,因此它理解 HTTP 座位(旧版本只知道 oneshot/stdio/remote)。

我们自己的金属上的 AI 工程

这不是一个仅限于云的故事。今晚的循环紧密贴合 3DN 的基础设施习惯:

  • 编码代理通过多路复用器进行长时间会话——会话连续性,而不假装每次调用都是一个新的聊天框
  • 本地 GPU 用于 Flux 英雄和之前的 M2M 训练工作——我们操作的 NVIDIA 铁器,而不是每个缩略图的租用黑盒
  • 开源 Go 叶片,我们可以在 GO 函数主机上重建并作为单个二进制文件发送
  • 推理路径,更喜欢紧凑的 M2M,而不是在机器之间倾倒英语文章

对于边疆导演来说,代币成本仍然很重要。该布料的工作是保持批量路由、活跃性和叶子工作便宜且本地,以便昂贵的上下文窗口保持在判断所在的位置。

你可以用它做什么

运营商获得三个一致的板。代理商获得一个语言通道,可以在几毫秒内响应 PING 并返回稳定的紧凑行。人类保留英语席位。从产品方面来看,它为你已经熟悉的 3DN 系列堆栈供电——在数字主权下托管和计算,资金脊柱仍然指向DutchBud 银行(虚拟信用额度/闭环账本,而不是获得许可的开放银行声明)。工作·金钱·政治仍然是外部地图;今晚的船是底下的代理布料。

如果你正在注册家庭枢纽,从 3dn.nl 开始。如果你想要 M2M 语法,留在 /m2m/。如果你像另一个工程师一样阅读这篇文章:双叶,一个二进制,显示 2/2 的板——这就是整个报告。

装运清单(今晚)

  1. Go m2m-leaf 二进制文件已构建一次,部署到三个桌面
  2. 每个桌子的 HA 对 A/B,持久启动
  3. Mux 配置与 LB 座位 + 直接座位
  4. 容器桌面 mux 二进制文件已升级为 HTTP 模式
  5. Python M2M 服务路径已从实时路径中移除
  6. 板验证:LB 2/2 [A:UP B:UP] × 3

下一步故意保持无聊:保持板绿色,在不破坏 PING 的情况下扩展 M2M 语法,并将金融科技引力(DutchBud 钱包,dibs 风格虚拟信用额度)连接到运行代理的同一家庭。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注