การใช้ GPU แบบ bulk MT ในเครื่องท้องถิ่น: Tower-Plus บน 3090 ช่วยลดต้นทุน frontier token สำหรับ 3DN และ PolitiCap

posted in: Uncategorized | 0

วันนี้เราทำการ์ดภาษาเต็มรูปแบบเสร็จแล้วโดยไม่ต้องใช้ API ในการทำงานแบบส่งจํากระบเวลา: 22 โพสต์ 3DN อังกฤษเป็นภาษาจีน, และ 37 โพสต์โน๊ต PolitiCap ตั้งแต่ 21 สิงหาคมเป็นภาษาดัตช์. เครื่องที่ทำการหมุนอยู่ก็อยู่บน LAN — NVIDIA RTX 3090 ที่มีชื่อบนโต๊ะทำงานเป็น Gaia — และกำลังทำงานด้วย Unbabel Tower-Plus-9B ผ่าน Ollama ในรูปแบบ Grok Build pin gaia-tower.

โต๊ะทำงานไฮブリッドในหนึ่งประโยค

Grok 4.5 (frontier) ยังคงมีสิทธิ์ในการตัดสินใจ, เลือกโทน, การทอป SEO และ “โพสต์นี้สามารถเผยแพร่ได้หรือไม่?”. GPU ท้องที่ มีสิทธิ์ในการทำสำ bảnอังกฤษ: ค้นหา/วางแผนงานคนบน Qwen 2.5 Coder 14B (gaia-gpu), และการแปลภาษาเครื่องใน Tower-Plus (gaia-tower). 부모ยังคงแพง; ตั๋วแบบส่งจํากระบเวลายังคงอยู่ใน VRAM ที่เราครอบครองแล้ว.

การเปรียบเทียบค่าใช้จ่ายระหว่าง frontier กับ local Tower
หนึ่งพ็อก: ค่าใช้จ่าย API frontier ประมาณการต่อกับไฟฟ้าบน 3090.

สิ่งที่เกิดขึ้นจริง

  • 3dn.nl — Polylang ได้ zh; ทุกโพสต์อังกฤษที่เคยเผยแพร่มีน้องจีนที่เชื่อมโยง.
  • politicap.eu — Polylang ได้ nl; ทุกโพสต์อังกฤษจาก 21 สิงหาคมไปนี้มีน้องดัตช์. สิทธิการสั่งทับเป็น EN | NL | 中文 | TH.
  • โครงสร้าง HTML, ลิंकของตั๋งและสัญลักษณ์ของแบรนด์ยังคงเหมือนเดิม; เพิ่งมีการย้ายเฉพาะโน๊ดของข้อความที่สามารถอ่านได้โดยคน.
จำนวนพ็อก ZH และ NL
การผลิตของ Tower-Plus ในการทำงานครั้งนี้: 22 อังกฤษ + 37 อังกฤษเป็นภาษาดัตช์.

การคิดเลขการหารายได้ (พ็อกนี้)

ลำดับที่ประมาณ แต่ยังคงเป็นระดับที่แท้จริงสำหรับ ~400,000 ตัวอักษรของ HTML ในบทความ (รวมหัวข้อ + เนื้อหาชุนแล้ว รวมค่าใช้จ่ายในการทำปจจัย):

เลน ประมาณการ
API Frontier หากการทำงานแบบส่งจํากระบเวลาแบบเดียวกันนี้เกิดขึ้นบน Grok-class pricing (~150,000 ตัวอักษรอินพุต + ~150,000 ตัวอักษรเอาท์พุตพร้อมค่าใช้จ่ายในการชุน) ≈ $8–15 (เราจองค่าธรรมเนียม $12 중간)
Local Tower-Plus บน RTX 3090 (~25–40 นาทีที่กำแพง, การเรียกใช้ GPU ประมาณ 300–350 W) ≈ 0.15 kWh · ~$0.02–0.04 ไฟฟ้า
ประหยัดในบ่ายนี้ ≈ $12 ในหนึ่งการ์ด

นี่ไม่ใช่ “AI ฟรี” นะ।มันคือ “ค่าโท큰” ที่ถูกย้ายไปยัง “การคำนวณ” ที่เราจ่ายแล้วสำหรับโครงสร้างพื้นฐาน。ทำซ้ำทุกครั้งที่โพสต์จะถูกเผยใช้ และตัวเลขที่น่าสนใจที่สุดคือตัวเลขที่ทุกปี: โต๊ะที่ส่งโพสต์ที่สามารถใช้ภาษาสองภาษา/สามภาษาได้ทุกสัปดาห์สามารถช่วยให้ค่าใช้จ่ายที่สูงถึงหลักหมันหลุดออกจากบัตรเครดิตในขณะที่ 3090 ยังคงร้อน ๆ สำหรับการประมวลภาพด้วยตนเอง (Typhoon) และพนักงานเขียนโค้ด (Qwen) ในส่วนที่เหลือของวันนั้น

การสังเกต

ผู้ส่ง Ollama ของ Gaia อยู่ในเส้นทางของ Prometheus ของเรือ (gaia_ollama_up, สินค้าของโมเดล, เครื่องมือ VRAM). เส้นทางการสร้าง Grok ที่เป็นไブリッドก็ปล่อย OTEL ออกในสตैकเดียวกัน; การดูโต๊ะที่เป็นไブリッドของ Grafana คือที่ที่เราจะดูความแปร่งของการกระจายของการใช้งานที่เป็นพื้นที่และที่เป็นขมจ้างเมื่อการเข้าถึงข้อมูลเริ่มไหลแล้ว หลังจากสลับไฟเราได้ล็อก Ollama ในงานบูทด้วยกันเลยก็เลยไม่ต้องพึ่งพามุมมองที่เปิดอยู่บนเดสก์ท็อปสำหรับการประมวลผลในเครือข่าย LAN

ทำไมสิ่งนี้เหมาะกับ 3DN

การมีอำนาจเหนือข้อมูลดิจิตอลไม่ใช่แค่ “จะใช้คลาวด์ไหน” นะ।มันคือว่าการประมวลผลจำนวนมากสำหรับทรัพย์สินของเราเองจะต้องออกไปจากอาคารหรือไม่ การให้บริการที่อยู่อาศัยและโต๊ะทำงานของพนักงานเขียนโค้ดนั้นอยู่แล้วบนเหล็กของเรา; การประมวลผล MT นั้นก็อยู่เคียงข้างพวกเขาด้วยแล้ว Grok ที่เป็นขมจ้างของ Frontier ยังคงเป็นปากกาที่คมที่สุด GPU คือเครื่องพิมพ์

แนวแกนด้านการให้บริการทางการเงินสำหรับครอบครัว: การดำเนินการเผยใช้ที่ถูกต้องจะหมายถึงความสามารถของโต๊ะทำงานที่มากขึ้นสำหรับผลิตภัณฑ์ที่สามารถเคลื่อนไหวเงินได้ — ธนาคาร DutchBud, การให้เครดิตแบบปิดวงจร และตลาดพลเมืองรอบ ๆ PolitiCap — โดยไม่ต้องเสมือนว่าเราเป็นผู้ให้บริการการเปิดเผยข้อมูลทางการเงินที่ได้รับการอนุมัติ

Grafana: hybrid Gaia GPU (live panels)

Screenshots from the live fleet dashboards via Grafana’s /render API (remote image renderer on the build host). Source boards: Grok Build · hybrid Gaia GPU and Grok CLI · queries & cost.

Grafana token rate by model
Token rate by model (parent Grok API vs Gaia local) — last 24h.
Grafana tokens in range by model
Tokens in range by model — last 7 days.
Grafana local share of tokens
Local share of Grok Build OTEL tokens (7d). Bulk Tower MT hits Ollama directly, so desk OTEL share stays low while Gaia GPU gauges still show the load.
Grafana Gaia GPU util and power
Gaia RTX 3090 — GPU utilization and power (24h).
Grafana Gaia VRAM
Gaia VRAM (Ollama loaded + nvidia used) — 24h.
Grafana estimated cost rate
Estimated cost rate by token type (Grok CLI cost board, 7d).

ใส่ความเห็น

อีเมลของคุณจะไม่แสดงให้คนอื่นเห็น ช่องข้อมูลจำเป็นถูกทำเครื่องหมาย *