Hybrid GPU desk: Grok Build ทำให้ Qwen ท้องถิ่นเป็น worker ระดับ first-class ภายใต้ Grok API

เมื่อไม่กี่สัปดาห์ก่อนเราเผยแพร่ผลที่ชัด: บน coding desk ของเรา โมเดล open-weight บน GPU ที่แรงยังแพ้ Grok 4.5 การ์ดระดับ 3090 เข้าใกล้ไม่ได้ แม้รัน H200 เช่าที่ดูจริงจังก็ยังล้มเหลวกับงานโครงสร้างหลายชั่วโมงที่จ่ายค่าเช่า ระบบอัตโนมัติของ desk กลับไปใช้ Grok API ข้อสรุปยุติธรรม — และสำหรับใครที่มีชั้น silicon ท้องถิ่น อาจทำให้ท้อเล็กน้อย

เรามีเครื่อง quad-3090 กับ EPYC 7543 พร้อมคำราม หลังการเปรียบเทียบนั้น ง่ายที่จะสงสัยว่าเรื่อง GPU ท้องถิ่นทั้งหมดเป็นการลงทุนที่ผิดทาง: ทุนจม พัดลมหึ่ง และ coding agent ที่ยังต้องใช้คลาวด์สำหรับทุกอย่างที่สำคัญ

แล้วความจริงที่เงียบกว่าก็ปรากฏ Hybrid ไม่ใช่ทางแก้เฉพาะหน้า ใน Grok Build มันเป็น first-class feature harness เดียวกันที่รัน Grok บน API สามารถปัก explore agents, plan agents และ custom roles ไปยัง endpoint แบบ OpenAI-compatible ท้องถิ่น — Qwen หรือ open weights ที่คุณ serve จริง — ขณะที่ parent desk ยังอยู่บน Grok สำหรับการตัดสิน skills และการ publish โปรดักชัน โทเคน frontier ที่แพงกว่าทำเทิร์นยาก Inference ท้องถิ่นรับงานกลไกจำนวนมาก นี่คือประเด็นข่าวที่ LinkedIn มักถกข้าม: การถกเถียงแทบไม่ใช่ “ท้องถิ่น XOR คลาวด์” สำหรับ coding agent จริงๆ คือ “ใครกำกับใคร และใครจ่ายโทเคนไหน”

อ่านโพสต์ก่อนหน้า หากต้องการคะแนน Grok กับ open-weights ล้วนๆ บทความนี้เป็นภาคต่อ: ทำไมกล่อง multi-GPU ยังคุ้มภายใต้ hybrid desk พร้อมเลขคร่าวๆ เรื่อง token cost ไฟฟ้า และเมื่อไหร่สมการพลิก

โพสต์ก่อนหน้าพิสูจน์อะไรจริงๆ

ไม่ได้พิสูจน์ว่า open source ไร้ค่า แต่พิสูจน์ว่าสำหรับ workload coding agent ของ 3DN — เซสชันยาว แคตตาล็อก skill กฎ standing, ตำแหน่ง WP-CLI, public hygiene, cache purge, หลักฐานภายนอก — “harness เดิม + weights ถูกกว่า” ไม่พอเมื่อสมอง agent ทั้งหมด เป็น open-weight

จุดที่ open weights ดูดี:

• ภาษาอังกฤษและข้อความรูปโค้ดที่ต่อเนื่อง
• ลูปเครื่องมือสั้น
• เดโม่ห้านาทีที่ดูดีบนสไลด์

จุดที่ล้ม:

• โหลด skill และเชื่อฟังกฎอย่างคาดเดาได้ตลอดทั้งวัน
• session continuity เมื่อ context window กับ compaction ชนกับความจริงของ production
• เส้นทาง publish ที่ห้ามรั่ว internals — harness ช่วยได้ก็ต่อเมื่อโมเดลยังทำตาม

ดังนั้น Grok ยังเป็นสมอง desk เริ่มต้น ยังจริงอยู่ Hybrid ไม่พลิกคำตัดสิน มันเปลี่ยนรายการต้นทุน

Hybrid ในฐานะพลเมือง first-class ของ Grok Build

Grok Build คือ harness ของ agent: TUI โต้ตอบ, headless runners, skills, subagents, workflows รองรับ API backend สามแบบอยู่แล้ว และให้ลงทะเบียน custom models กับ base_url แบบ OpenAI-compatible ใดๆ — รวมเซิร์ฟเวอร์ inference บนกล่อง multi-GPU ของคุณ

แพทเทิร์น hybrid ตั้งใจให้ธรรมดา:

1. เซสชัน parent บนโมเดล Grok frontier (API): ถือบทสนทนา กฎ standing การตัดสินสุดท้าย และขั้นตอน publish ความเสี่ยงสูง
2. รายการ custom model สำหรับ weights ท้องถิ่น (เช่นสแตก Qwen coder บน LAN): context window, temperature และ endpoint ในคอนฟิก harness — ไม่ใช่สคริปต์สุดสัปดาห์
3. Subagent model overrides: ปัก explore, plan หรือ roles พิเศษไปยัง model id ท้องถิ่น ให้งาน research จำนวนมาก การ grep ร่างรีแฟกเตอร์ และ fan-out แบบอ่านอย่างเดียว ใช้ FLOPs ท้องถิ่นแทนโทเคน API

ในแง่คอนฟิก นี่ไม่ใช่ตำนาน เป็นพฤติกรรม harness ที่มีเอกสาร: ส่วน custom model, [subagents.models] ต่อชนิด และ roles ที่ default โมเดลต่างจาก parent ได้ Parent ยัง orchestrate กล่องท้องถิ่นยังทำงาน นั่นคือข้ออ้างผลิตภัณฑ์ที่คุ้มกล่าวบนเธรด LinkedIn ที่ถกแต่ความบริสุทธิ์

อะไรอยู่บน Grok API (และทำไม)

เก็บโทเคน frontier สำหรับ:

• การตัดสินใจผลิตภัณฑ์คลุมเครือและ trade-off สถาปัตยกรรม
• desk publish ที่หนัก skill ซึ่งพลาดกฎ standing แล้วแพง
• ทุกอย่างที่แตะเนื้อหาสาธารณะ ภาษากระดูกเงิน หรือ OTAP ลูกค้า
• การกู้เมื่อร่างท้องถิ่นผิดแต่ harness ยังต้องมีผู้ตัดสินที่เก่ง

ผลิตภัณฑ์ในครอบครัว 3DN — managed hosting, PolitiCap, ZZP2ZZP, DutchBud bank / แกน fintech — ไม่ได้ผ่านฟรีเพราะ VRAM อุ่น Digital sovereignty รวมถึงรู้ว่าขั้นตอนไหนคุณไม่ยอมทำให้ถูก

Multi-GPU ท้องถิ่นควรรับอะไร

กล่องระดับ quad-3090 + EPYC 7543 เก่งที่:

• explore ขนานกว้าง: subagent แบบอ่านอย่างเดียวหลายตัวพร้อมกัน
• แปลงโค้ดซ้ำๆ โครงทดสอบ ร่างจัดเรียงล็อก
• งานแนว embedding และจัดประเภทจำนวนมากข้าง desk
• ทำให้ session continuity ถูกเมื่อ parent ต้องการแค่สรุปกลับ

Inference คือผลิตภัณฑ์ของชั้น GPU CPU คอยป้อนคิว ไม่มีอะไรแทน Grok ในเทิร์นยาก มันแค่หยุดไม่ให้คุณจ่ายเรท frontier กับเทิร์นที่ไม่ต้องใช้การตัดสิน frontier

แคลคูลัสต้นทุน (ระดับประมาณ ไม่ใช่หนังสือชี้ชวน)

ตัวเลขขยับ ถือว่าเป็นร่างแผนสำหรับ coding desk ไม่ใช่ราคา API สลักหิน จุดสำคัญคือโครงสร้างบิล

1. Desk ใช้ API ล้วน

สมมติวันวิศวกรรมหนัก: session continuity ยาว, context window ใหญ่, ลูปเครื่องมือซ้ำ Coding agent ระดับ frontier คิดตามโทเคนเข้า-ออก; prompt cache และ cache hit-rate ครอบงำ effective input cost จริงเมื่อเซสชันยาว วันที่เผาโทเคนอินพุตเป็นล้านในเรท frontier ไม่แปลก — คือ desk ยุ่งกับการ compaction และการอ่านซ้ำ

รูปคร่าวๆ (แทนด้วยใบแจ้งหนี้ของคุณ):

• วัน API frontier หนัก: หลักสิบถึงหลักร้อยยูโรต่ำ ขึ้นกับ tier โมเดล พฤติกรรมแคช และความถี่ที่ส่งประวัติซ้ำ
• วันเบา: น้อยกว่ามาก — แต่ค่าเฉลี่ยเดือนถูกดึงขึ้นโดยวันที่เจ็บ

Prompt cache เป็นเพื่อนของ desk API ล้วน Hybrid ไม่ลบแคช มันลดความถี่ที่คุณต้องใช้โมเดลแพงเลย

2. Desk ท้องถิ่นล้วน

Capex ของ workstation multi-GPU จริงจังไม่ฟรี กล่อง GPU ระดับผู้บริโภคสี่ใบบวกโฮสต์ EPYC แรงเป็นรายการทุนหลักพันถึงหลักหมื่นยูโรต่ำ ขึ้นกับการซื้อและความเย็น ไฟฟ้าเป็นบรรทัดปฏิบัติการ: ภายใต้โหลดต่อเนื่อง multi-GPU บวก CPU คือเรื่อง kWh ที่ไม่เล็ก ที่เรทยุโรป กล่องเฉลี่ยไม่กี่ร้อยวัตต์ทั้งวันทั้งคืนก็รู้สึกได้แล้ว; พุ่งระดับกิโลวัตต์ตอน inference เต็มจะดังกว่า

ต้นทุนซ่อนของ local ล้วนคือคุณภาพ: ถ้า agent ทำ desk job ไม่ผ่าน คุณยังจ่ายไฟและยังจ่ายคนมาจบ นั่นคือความกลัว desinvestment หลังทดลอง open-weights

3. Desk hybrid

Hybrid มุ่ง:

• ตัด amortize capex กับปริมาณโทเคนก้อนใหญ่ที่เคยชน API
• รวมการใช้จ่าย API ที่เทิร์นมูลค่าสูง (ตัดสิน, publish, ดีบักยาก)
• การใช้ GPU ท้องถิ่นสูงพอ ที่ไม่ใช่ฮีตเตอร์ประดับ

สเก็ตช์ break-even ง่ายๆ:

มูลค่า hybrid รายเดือน ≈
  (โทเคน API ที่เลี่ยงได้ × เรท frontier มีผล)
  − (ไฟ + ส่วนบำรุงกล่อง GPU)
  − (เวลาวิศวกรรมพิเศษให้สแตกท้องถิ่นซื่อสัตย์)

ถ้า explore และ draft subagents เป็น 60–80% ของทราฟฟิกเครื่องมือตามปริมาณ และรันท้องถิ่น บิล frontier หดแม้ parent ยังเป็น Grok ชุด EPYC/3090 เลิกเป็นโปรเจกต์ “แทน Grok ที่ล้ม” แล้วกลายเป็นโช้กของ token cost ภายใต้การกำกับของ Grok Build

ตัวเลขของเล่น (ตั้งใจปัด — ใส่ใบแจ้งหนี้จริง):

• สมมติเดือน API ล้วนเฉลี่ย €800 ค่าโทเคน coding agent ต่อ desk ยุ่งหนึ่งชุด
• Hybrid ย้ายครึ่งหนึ่งของปริมาณไป weights ท้องถิ่น แต่เป็นเทิร์นตัดสินถูกกว่า; การใช้ frontier อาจตกประมาณ 35–50% ไม่ใช่พอดี 50% เพราะเทิร์น API ที่เหลือแน่นกว่า
• สมมติ frontier เหลือ €450–520 ไฟ+ops ท้องถิ่น €40–120/เดือน ตาม duty cycle และค่าไฟ สุทธิ: ยังมีหลักร้อยยูโร/เดือน ก่อนนับ latency และความเป็นส่วนตัวของล็อกก้อนใหญ่บนไซต์
• ถ้า desk เงียบ (€150 API/เดือน) การประหยัดสัมบูรณ์หด และกล่องส่วนใหญ่เป็นแล็บ Capex ควรมีงานสอง: batch inference, เดโม่ลูกค้า, red-team พรอมป์ออฟไลน์ — ไม่ใช่แค่ coding agent

นั่นคือแคลคูลัสตรงไปตรงมา Hybrid ไม่ใช่ ROI วิเศษ มันเป็นพอร์ตโฟลิโอ: คุณภาพ frontier ที่สำคัญ FLOPs ท้องถิ่นที่ปริมาณอยู่

ทวิลักษณ์เทียมบน LinkedIn

ฟีดชอบทะเลาะ: “โมเดลท้องถิ่นคือเส้นทางอธิปไตยเดียว” กับ “โมเดลท้องถิ่นคือคอสเพลย์; มีแต่ frontier API ที่สำคัญ” ทั้งสองสโลแกนข้าม harness

• ท้องถิ่นบริสุทธิ์ เน้นออฟไลน์และต้นทุนต่อโทเคน และมักส่งมอบความเชื่อถือ agent หลายชั่วโมงไม่พอ
• API บริสุทธิ์ เน้นคุณภาพและความเร็วการพัฒนาต้นน้ำ และอาจจ่ายเกินสำหรับเทิร์นกลไก
• Hybrid ภายใต้ harness agent จริง กำหนดโมเดลตามบทบาท: director กับ worker, publish กับ explore, ตัดสินยาว กับแปลงจำนวนมาก

Digital sovereignty สำหรับ managed hosting และ AI engineering ไม่ใช่ “ห้ามเรียก API” แต่รู้ว่า control plane ไหนที่ไว้ใจ ข้อมูล bulk อยู่ที่ไหน และ token cost แมปกับการส่งมอบผลิตภัณฑ์อย่างไร — รวมแกน fintech หลังผลิตภัณฑ์ครอบครัว (DutchBud bank, virtual credits, ภาษา closed-loop ledger) เมื่อ agent แตะระบบรูปเงิน

ตอนนี้เราคิดถึงกล่อง quad-3090 + EPYC อย่างไร

ไม่ใช่ตัวแทน Grok ที่ล้มเหลว แต่เป็น worker pool ระดับ first-class:

1. Serve open weights บน endpoint แบบ OpenAI-compatible ที่ harness เข้าใจแล้ว
2. ลงทะเบียนเป็น custom models; ตั้ง context window ตรงๆ ให้ compaction ยังสมเหตุ
3. ปักชนิด subagent ปริมาณสูงไป id ท้องถิ่น; เก็บ parent บน Grok
4. วัดใบแจ้งหนี้ API และ duty cycle GPU รายเดือน ถ้าใช้ท้องถิ่นต่ำ ขยายสิ่งที่ปลอดภัยจะ offload — อย่าแกล้งว่าราคยุ่ง
5. อย่า offload ขั้นตอนที่คำตอบผิดกลายเป็นเหตุการณ์สาธารณะ

นั่นคือ engineering ไม่ใช่ hype Desk โปรดักชันสน session continuity, cache hit-rate และ effective input cost มากกว่าสงครามสกรีนช็อต

สิ่งที่เราไม่ได้อ้าง

• ว่า Qwen ท้องถิ่นใดๆ ชนะ Grok 4.5 ตัวต่อตัวบน desk เต็มของเรา (เราวัดตรงข้ามเมื่อสมองทั้งหมดอยู่ท้องถิ่น)
• ROI GPU การันตี หรือนิทานโครงสร้างรวยเร็ว
• ว่า hybrid เลิกต้องการรีวิวมนุษย์บน publish ลูกค้า
• จินตนาการ open banking มีใบอนุญาตหรือ FIAT cash-out เมื่อพูด DutchBud หรือ fintech — เฉพาะ virtual credits และภาษาผลิตภัณฑ์

สรุป

การทดลอง open-weights สอนไม่ให้ลดชั้นสมอง desk frontier การออกแบบ hybrid สอนไม่ให้ทิ้งการลงทุน multi-GPU เป็นพิพิธภัณฑ์ความผิดหวัง ภายใต้ Grok Build inference ท้องถิ่นกับ Grok API ไม่แย่งบัลลังก์เดียวกัน API ยังเป็น director งาน coding agent ยาก กล่อง GPU ท้องถิ่นเป็น bulk worker — first-class ใน harness — ที่ดึงปริมาณ Grok API แพงออกจากใบแจ้งหนี้ได้โดยไม่ยอมลดมาตรฐานคุณภาพที่ทำให้เราโอ้อวดได้ในเดือนสิงหาคม

ถ้าคุณเถียงบน LinkedIn เรื่องโมเดลท้องถิ่นกับคลาวด์ จงถามให้คมขึ้น: harness agent ของคุณถือ hybrid เป็นฟีเจอร์ผลิตภัณฑ์ หรือเป็นสคริปต์สุดสัปดาห์? ของเราเป็นอย่างแรก EPYC กับ 3090 สามารถคำรามอีกครั้ง — ภายใต้การกำกับ