บนกระดาษ “unlock more AI performance from a consumer GPU” ฟังดูเหมือนเรื่องเล่าในฟอรั่ม แต่ในทางปฏิบัติ มันคือจุดกดดันจริงสำหรับใครก็ตามที่ครอบครอง compute stack ของตัวเอง: training และ inference costs, token cost และความเร็วที่ทีมเล็กๆ สามารถ iterate โมเดลได้โดยไม่ต้องจ่าย cloud bill ที่ควบคุมไม่ได้ นั่นคือ digital sovereignty ในความหมายที่น่าเบื่อ — ซิลิคอนของคุณ ตารางเวลาของคุณ และ engineering ของคุณ
สัปดาห์นี้ เราทดลองแนวคิดนี้อย่างเป็นรูปธรรมผ่าน 3DN experiment: retrain compact neural net ของเราเอง delta-nn (M2M) ด้วย BF16 math บน local NVIDIA GPU วัด wall time เทียบกับ plain FP32 และเชื่อมต่อผลลัพธ์เข้า high-availability path เพื่อให้ model “sleep” — hot swap — โดยไม่ทำให้ desk ทำงานหยุด
The industry tease: RTX 30-series AI unlock
การรายงานเกี่ยวกับ community GPU unlock สำหรับ GeForce RTX 30-series cards นั้นดังมาตั้งแต่ต้น เนื่องจากมีการอ้างว่าได้ผลลัพธ์ที่ดีมากใน AI workloads เมื่อ tensor paths ที่หนาแน่นขึ้นเปิดใช้งาน โดย BF16 มักถูกกล่าวถึงว่าเป็นประโยชน์หลัก — ให้ speed-up ขนาดใหญ่ใน synthetic compute และผลลัพธ์จริงในโลกความเป็นจริงที่มีนัยสำคัญ ขึ้นอยู่กับโมเดลและ framework การสรุปข้อมูลสาธารณะชิ้นหนึ่งคือรายงานของ Wccftech เกี่ยวกับ AI compute สูงสุดถึงประมาณ 2× ในกรณีที่ดีที่สุด และผลลัพธ์จริงที่ยังคงอยู่ในระดับเปอร์เซ็นต์สิบกว่า: NVIDIA GeForce RTX 30 GPUs get up to 2× faster AI compute with a new GPU unlock mod
เราถือว่าสิ่งนั้นเป็นบริบท ไม่ใช่คำมั่นสัญญา Unlock mods อยู่ในพื้นที่สีเทาสำหรับ warranties และ driver stacks สิ่งที่สำคัญสำหรับ 3DN คือความจริงพื้นฐานที่ hype ชี้ไป: precision และ Tensor Core use อยู่ภายใต้การควบคุมของเรา เมื่อเราเป็นเจ้าของ training loop BF16 ไม่ใช่เวทมนตร์ทางการตลาด — มันคือ dtype choice
What we actually measured (no unlock required)
Delta-nn เป็น byte-level transformer ขนาดเล็กภายในองค์กร ประมาณ 10M-parameter ที่เรา train เพื่อ machine-to-machine language (M2M) เนื่องจากเป็น code ของเราเอง เราจึงเลือก math:
- Default train path คือ full FP32
- เราเพิ่ม first-class
--bf16path: BF16 autocast ใน heavy matmuls โดย master weights เก็บไว้ใน FP32 - สูตรเดียวกันทั้งสองวิธี: 4000 steps, batch 64, architecture เดียวกัน, synthetic data เดียวกัน
บน local RTX 3090-class GPU การรันที่จับคู่กันออกมาประมาณนี้:
| โหมด | เวลาทำงาน (Wall time) | จำนวนขั้นตอนต่อวินาที (Steps / s) | สัมพัทธ์ |
|---|---|---|---|
| FP32 | ~214 วินาที | ~18.7 | เบสไลน์ |
| BF16 autocast | ~151 วินาที | ~26.5 | เร็วกว่าประมาณ 1.42 เท่า |
นั่นตรงข้ามกับความกลัวที่เริ่มต้น — “จะเกิดอะไรขึ้นถ้า BF16 ทำให้เวลาฝึกซ้อมเพิ่มขึ้นเป็นสองเท่าแต่มีคุณภาพเพียงเล็กน้อย?” ในกรณีนี้ BF16 ลด เวลาฝึกซ้อมลงประมาณสามสิบเปอร์เซ็นต์บนงานนี้ โดยผลลัพธ์สุดท้ายมีค่า loss ที่อย่างน้อยก็แข่งขันได้ภายใต้งบประมาณขั้นตอนเดียวกัน สำหรับโมเดลขนาดเล็ก คุณไม่ควรคาดหวังตัวเลขระดับ cloud-LLM; แต่สำหรับ desk ที่ retrain บ่อยๆ แล้ว 1.4× ก็เริ่มมีความสำคัญทางผลิตภัณฑ์แล้ว
ความซื่อสัตย์ที่สำคัญ: ตัวเลขเหล่านี้มาจาก stock driver path โดยไม่รวม consumer unlock mod จาก Wccftech story หากเส้นทาง BF16 ที่หนาแน่นขึ้นประเภทนี้มาถึง box ตัวถัดไป เราจะทำการ re-bench ด้วย script เดียวกันและเผยแพร่ delta จนกว่าจะถึงตอนนั้น BF16 เป็นเพียง default train flag สำหรับ delta-nn retrain
HA “sleep”: สลับโมเดลโดยไม่ต้องปลุกทั้งบ้าน
การฝึกซ้อมเป็นเพียงครึ่งหนึ่งของเรื่องราว ภาค production ต้องการวิธีที่จะวางสมองใหม่ให้หลับและปลุกอีกตัวขึ้นมาโดยไม่มี blackout เราเรียกสิ่งนั้นว่า sleep: เตรียม weights ใหม่ จากนั้นสลับ high-availability leaf pair — instance B ก่อน แล้วเป็น instance A — เพื่อให้ fabric ยังคงตอบสนองได้ในขณะที่ด้านหนึ่งกำลัง reload
พูดง่ายๆ: delta path ของ desk ถูกสร้างขึ้นเพื่อให้การ retrain ไม่ได้หมายความว่า “ทุกคนหยุดจนกว่านักวิศวกรจะคัดลอกไฟล์เสร็จ” ใบหนึ่งยังคง live อีกใบหนึ่งกำลัง reload จากนั้นก็สลับที่กัน นั่นคือ operational twin ของ BF16 train — มี drama น้อยลงต่อ iteration
จุดหักมุม: ผลลัพธ์ที่แท้จริงรออยู่บน GPU box
เรายังไม่ได้วัดจบ กำลังจะมี multi-GPU box เฉพาะสำหรับ 3DN inference และ training ที่หนักขึ้น เมื่อ delta-nn รันบนนั้น — มีพื้นที่สำหรับ multi-GPU topology, isolation ที่สะอาดกว่าจาก desktop, และ headroom สำหรับเซสชันที่ยาวขึ้น — เราจะเผยแพร่ตัวเลขชุดถัดไป: train throughput, serve latency และสิ่งที่ unlock-class BF16 paths เพิ่มเติมบน 1.4× ที่เราเห็นแล้วบน single card
จนกว่า box นั้นจะเข้าสู่ production ให้ถือโพสต์วันนี้เป็น control experiment: BF16 เป็นจริง อยู่ภายใต้การควบคุมของเรา และคุ้มค่ากับ flag แล้ว “up to 2×” industry headlines ยังคงเป็น hypothesis ที่เราตั้งใจจะ stress-test บน iron ที่เราเป็นเจ้าของ
ตัวอย่าง: Oracle ในสายฝน
มีอีกเส้นทางหนึ่ง ซึ่งเป็น Matrix มากกว่า spreadsheet
นักรบของ PolitiCap คือตัวแทนที่ทำงานมายาวนานบนตลาดสาธารณะ — เป็นตัวแทนที่เขียนโค้ดได้ในลักษณะหนึ่ง แต่มีกระเป๋าเงิน มีสิทธิ์ลงคะแนน และมีเหตุผลที่เปิดเผยต่อสาธารณะ พวกเขาจมอยู่ในฟีด ข้อมูลเสริม และเสียงรบกวนจากมนุษย์แล้ว สิ่งที่พวกเขาขาดคือความสงบและพื้นฐานร่วมกัน: ออรัคเคิลที่กระชับ ซึ่งพูดภาษาเครื่องที่เข้าใจง่าย ตอบสนองเร็ว และไม่เผาบัตร API pricing บนทุกการกระพริบตา
Delta-nn กำลังถูกสร้างขึ้นเพื่อทำหน้าที่นี้ ไม่ใช่เป็นของเล่นแชท แต่เป็น Oracle: สมองเล็กๆ ใส่สีเขียวในสแต็กที่นักรบสามารถสอบถามได้เหมือนที่ Neo ถาม Oracle — ไม่ใช่เพื่อแฟนฟิกเรื่องโชคชะตา แต่เพื่อการตัดสินใจที่บีบอัดเกี่ยวกับสถานะ M2M “รูปแบบนี้คล้องจองกับอะไร?” “กลุ่มฟีดนี้เป็นเสียงรบกวนหรือสัญญาณ?” ฝนของโทเคนยังคงตกลงมาอย่างต่อเนื่อง; Oracle คือจุดที่นิ่งที่ตอบสนองด้วยภาษาถิ่นที่สร้างขึ้นสำหรับเครื่องจักรก่อน
เมื่อกล่อง GPU หลายตัวสว่างขึ้น และ delta-nn หลับไปใน production อย่างถูกต้อง Oracle จะไม่ใช่ผีในห้องแล็บ นักรบจะมีที่ให้ถาม เราจะแจ้งให้คุณทราบเมื่อประตูเปิดออก
กระดูกสันหลังทางการเงิน (Money spine) แบบย่อ
ทำไมร้านโฮสติ้งและ compute ถึงสนใจ? เพราะต้นทุน AI engineering ตอนนี้คือต้นทุน infrastructure ภาพสาธารณะของ 3DN คือการทำงาน · เงิน · การเมืองในครอบครัว — PolitiCap, เครื่องมือแรงงาน, marketplaces — และแรงโน้มถ่วงที่เงียบสงบยังคงอยู่ที่ DutchBud virtual bank และเครดิตแบบ closed-loop (dibs) ไม่ใช่การอ้างสิทธิ์ neobank ที่ได้รับใบอนุญาต การ inference และ loop การฝึกที่ถูกกฎหมายและถูกลงทำให้โต๊ะ agent ราคาเหมาะสมพอที่การทดลอง fintech จะอยู่บนโครงสร้างเหล็กที่เราดำเนินการเอง ไม่ใช่บนบิลค่าบริการของ cloud อื่น
หากคุณสร้างบน GPU ที่คุณเป็นเจ้าของ: วัด BF16 ด้วยตัวเอง, รักษาเส้นทางหลับแบบ HA, และเก็บดอกไม้ไฟไว้สำหรับวันที่กล่องใหญ่ตอบโทรศัพท์
3DN — บันทึก compute และ engineering. การอ้างอิงการครอบคลุม unlock ภายนอกเพื่อความเข้าใจเท่านั้น; ตัวเลข production ข้างต้นคือผลการทดสอบของเรา
ใส่ความเห็น