ฉันกำลัง mid-training บน liquid-cooled desktop GPU ที่ยัง climb ไปถึง ~80 °C ภายใต้ LoRA job ยาวๆ จ้องมอง open 6U steel chassis บนพื้น: four open-air RTX 3090 cards, two roughly 2 kW power supplies และแทบไม่มี case fans คำถามแรกคือ honest และ dumb: ฉันควรซื้อ 120 mm fans กี่ใบ?
คำถามนั้นไม่ survive เมื่อ contact กับ box สิ่งที่ฉันต้องการจริงๆ คือ a cold column แชร์กับ spare Gree ducted multi-split head ที่วางอยู่ใน ceiling carton ด้านบนของ rack — และ discipline ที่จะไม่ให้ HVAC CFM blow chassis ออกข้างนอก
นี่คือ builder log สำหรับคนที่มี rack, ชุด used 3090s และ duct indoor ที่ยังไม่ได้วายร์: Fans seal the steel. The Gree เป็น shared cold source. The divider PWM คือ balance valve. Stacking ทำงานได้ก็ต่อเมื่อ pass-through อยู่บน cold side
The box on the floor
Chassis คือ 6U steel multi-GPU frame ที่มีสอง chambers แบ่งด้วย center fan plane:
- Front chamber: dual high-watt PSUs อยู่หลัง honeycomb panel (room for three 120 mm mounts)
- Rear chamber: four open-air 3090s บวก motherboard
- Center plane: stock มี two lonely 120 mm fans ติดตั้งอยู่ bottom-right
- Lid: a slotted grate เราเคย assume ว่ามัน cover PSUs แต่มันไม่ได้ — มัน sit over the GPU bay ความผิดพลาดนั้นเกือบจะกลายเป็น AC bypass
Shopping list สำหรับ steel เพียงอย่างเดียว ก่อนติดตั้ง HVAC: +4 บน center plane (six total as a sealed wall) และ +3 บน front honeycomb = seven new fans. One Arctic SATA→PWM adapter เพื่อให้ divider six share a single PWM channel. Empty 120 mm cutouts ถูก seal — ช่องที่ไม่มี fan คือ leak ไม่ใช่ free lunch
Airflow rules we actually settled on
- Do not let PSU exhaust and GPU exhaust dump on each other.
- Do not let hot air from the rear chamber flow into the front chamber.
- Do not let the center plane become a hot air leak path.
- Do not let the lid become a hot air leak path.
- Do not let the divider PWM channel be used for anything other than balancing the cold column.
The cold column is a shared cold source. The divider PWM is the balance valve. Stacking only works if the pass-through stays on the cold side.
Chassis layout
The cold column
AC delivery
- AC arrives at the floor box.
- The AC outlet goes to a power strip with a dedicated PSU circuit.
- The power strip goes to the steel chassis.
The cold column is a shared cold source. The divider PWM is the balance valve. Stacking only works if the pass-through stays on the cold side.
ประเด็นสุดท้ายนี้คือเหตุผลว่าทำไมการปิดตะแกรงฝาครอบ GPU จึงไม่ใช่แค่เรื่องดีไซน์เสริมแต่อย่างใด แต่เป็นเทอร์โมไดนามิกส์ที่ใช้เทปกาว
ทางเลือกผิด: intake ด้านหน้าตลอดไป
ความจำแบบเกมมิ่งเคสบอกว่า “เย็นเข้าด้านหน้า ร้อนออกด้านหลัง” สำหรับ PSU กำลังสูงคู่ที่พ่นอากาศร้อนออกทางหน้าผ่านฮันนีคอมบ์ การเปิด intake ด้านหน้าหมายความว่าคุณกำลังต่อสู้กับ PSU และผสมพลูมสองชุดเข้าด้วยกัน เมื่อสามตัวแรกถูกล็อกเป็น exhaust ทางออกเดียวที่สมเหตุสมผลสำหรับอากาศเย็นคือตำแหน่งอื่น — เช่น collar เข้า PSU bay ให้ไกลจากฮันนีคอมบ์เท่าที่เหล็กจะอนุญาต
ทางเลือกผิด: ตะแกรงฝาครอบอยู่เหนือ GPUs
เราเดินรอบตัวเครื่องและเชื่อว่าตะแกรงฝาครอบที่มีรูพรุนวางอยู่ด้านพลังงาน แต่จริงๆ แล้วมันวางอยู่เหนือการ์ด open-air หากปล่อยให้เปิดอยู่ใต้ท่ออากาศจากเพดาน คุณจะสร้างปล่องไฟ: อากาศเย็นเข้าด้านบน พ่นตรงออกทางหลัง ส่วน GPUs ยังคงร้อนอยู่ในอากาศที่หมุนเวียนกลับมา ติดเทปกาวหรือเปลี่ยนตะแกรงฝาครอบ ก่อนจะเริ่มติดตั้ง duct
The Gree ด้านบนของ rack
กล่อง The Gree แบบ duct-type สำหรับใช้ในร่มที่ไม่ได้ใช้งานอยู่ในช่องว่างเพดานเหนือ rack — ขนาดประมาณ 150.5 × 55.5 × 26.0 cm มันแขวนติดกับ multi-split outdoor ดังนั้นความจึงถูกแบ่งปันกับหัวอื่นๆ ประโยคเดียวนี้คือหัวใจของ political economy ในการออกแบบนี้: คุณไม่ได้เป็นเจ้าของคอมเพรสเซอร์ outdoor เพียงลำพัง
- Supply flange → ท่อฉนวนเข้าไปใน rack
- Return: ไม่ได้อยู่บนท่ออากาศ supply drop ตะแกรง mesh บนเพดานข้าง rack ก็ยอมรับได้ แต่ดีกว่าคือ return แบบสี่เหลี่ยมบน ด้านตรงข้าม เพื่อให้พลูมร้อนต้องเดินบนเพดานแทนที่จะสั้นวงกับ coil
กับดักเทอร์โมสแตท: หัวท่อระบายอากาศมักตรวจวัดอากาศคืน ควันร้อนจาก GPU ที่ไหลกลับมาจะทำให้ Gree เข้าใจว่าห้องเป็นเตาอบ มันจึงระบายเย็นเกินไปและกินโหลดของ multi-split จนห้องนอนด้านไกลกลับอุ่นไม่พอ ใช้ ตัวควบคุมผนังแบบมีสาย (room sensor) ติดตั้งที่ระดับกลางห้องด้านเย็น ไม่ใช่ติดบนเพดานข้างแรกรถ
วิธีที่อากาศเย็นเข้าสู่โครงเหล็ก
ตัดปะเก็นในช่อง PSU compartment ของ 6U ด้านบน—ด้านข้างหรือฝาครอบ ให้ห่างจากฮันนีคอมบ์ด้านหน้ามากที่สุด นั่นคือจุดรับอากาศ (AC inlet) ฉนวนท่อ ดูแลขอบโลหะที่ตัดใหม่ (edges, rust, condensation) เพราะเมื่อคุณอยู่ต่ำกว่า dew point ในช่วงฤดูฝนของไทย ความชื้นจะควบแน่นจริงๆ
CFM ของท่ออากาศ Gree ไม่ใช่กราฟพัดลม PC โดยทั่วไป หัวท่อระบายอากาศมักเคลื่อนย้ายอากาศได้ประมาณ 600–1200 CFM พัดลม 120 มม. จำนวนหกตัวผ่านโครงตัวเครื่องอาจดูดอากาศได้แค่ 200–350 CFM หากโชคดีและผ่านการซีลแล้ว ถ้าส่งอากาศเย็นทั้งหมดเข้าไปในกล่อง PSU bay จะกลายเป็นบวก: อากาศเย็นจะพัด กลับออกมา จากฮันนีคอมบ์ด้านหน้า ในขณะที่ GPU ยังขาดอากาศ คุณไม่ได้ระบายอากาศให้คอมพิวเตอร์ แต่สร้างไดฟ์เฟอร์เสียงดังพร้อมตัวต้านทานราคาแพงสี่ตัวไว้ด้านหลัง
จุด T-junction (ไม่สามารถต่อรองได้)
ขาแรกรถต้องมี damper เริ่มต้นด้วยแบบ manual แล้วค่อยติดตั้ง damper แบบไฟฟ้าเมื่อ quad box ชุดที่สองทำให้โหลดไม่แน่นอน จาก GPU temperature ไม่ใช่จากเซ็นเซอร์อากาศคืนที่ Gree รายงานเท็จ
ภายในแต่ละ 6U หลังตัดปะเก็นแล้ว:
- cold column มีอยู่เฉพาะใน PSU bays เท่านั้น
- พัดลม divider พัดจาก PSU bay → GPU bay เพื่อให้อากาศคืนที่เหลือไปโดน intake ของ RTX 3090
- พัดลมด้านหน้ายังคงเป็น exhaust และทำงาน ช้ากว่า divider เพื่อไม่ชนะการแข่งขันและพัดอากาศเย็นออกฮันนีคอมบ์
- ด้านหลัง GPU ยังคงเป็น exhaust
ตัวอย่างการติดตั้ง:
- ติดตั้ง PSU compartment ด้านบนของแรกรถ
- ติดตั้ง cold column ภายใน PSU bays
- ติดตั้งพัดลม divider จาก PSU bay → GPU bay
- ติดตั้งพัดลมด้านหน้าเป็น exhaust แบบช้ากว่า divider
- ติดตั้งพัดลมด้านหลัง GPU เป็น exhaust
- ติดตั้ง T-junction ที่ปลายท่อระบายอากาศของ PSU compartment
- ติดตั้ง damper บนขาแรกรถ
- ติดตั้งท่อระบายอากาศจาก T-junction ไปยังห้องนอนด้านไกล
ห้องนอนด้านไกล (non-negotiable)
ห้องนอนด้านไกลต้องได้รับอากาศเย็นจาก PSU compartment โดยตรง ไม่ใช่จากอากาศคืนที่ไหลกลับมา
ห้องทำงาน (non-negotiable)
ห้องทำงานต้องได้รับอากาศเย็นจาก PSU compartment โดยตรง ไม่ใช่จากอากาศคืนที่ไหลกลับมา
ห้องนอนด้านไกล (non-negotiable)
ห้องนอนด้านไกลต้องได้รับอากาศเย็นจาก PSU compartment โดยตรง ไม่ใช่จากอากาศคืนที่ไหลกลับมา
ห้องทำงาน (non-negotiable)
ห้องทำงานต้องได้รับอากาศเย็นจาก PSU compartment โดยตรง ไม่ใช่จากอากาศคืนที่ไหลกลับมา
เป้าหมายภายใต้การฝึก: แกนกลาง mid-70s ถึง low-80s °C, VRAM junction ต่ำกว่า ~95 °C. Power-limit ใช้ 3090s ที่ประมาณ 250–300 W หากความร้อนหรือเสียงเป็นปัญหา Pads อาจยังคงต้องเปลี่ยนได้ไม่ว่าผนังพัดลมจะดูสวยงามแค่ไหน — 3090s แบบ open-air ไม่ใช่สิ่งมีชีวิตที่เป็นอมตะ
การวางซ้อน 6Us เพิ่มเติม: daisy-chain cold only
Chassis ที่สองไม่ได้รับ heroic supply drop ของตัวเองในวันแรก ตัดช่องในพื้น PSU-bay ของกล่องบนให้ตรงกับช่องในฝาครอบ/พื้น PSU-bay ของกล่องด้านล่าง Gasket รอยต่อ AC เข้ากล่องบนเดินลงมาตาม stack เป็น cold column
- แต่ละ chassis ยังคงปล่อยความร้อน front และ back ออกสู่ rack aisle
- ห้าม pipe GPU exhaust ไปยัง intake ถัดไป
- กล่องบนได้รับอากาศที่เย็นที่สุด — วาง GPUs ที่ hungriest ไว้ด้านบน หรือให้ lower boxes มี divider PWM เพิ่มขึ้น
- แต่ละ extra quad เป็นความร้อนเพิ่มเติมประมาณ 1.5–2 kW บน multi-split outdoor ที่แชร์กัน Fans ไม่ได้สร้าง compressor tons
ตำแหน่งใน Rack
- จอด 6U สูงพอที่คุณจะทำงานกับ collar และยังอ่าน labels ได้
- Blank U ที่ไม่ใช้งานเพื่อไม่ให้ plumes พันกลับเข้า grate
- Flaps หรือ backdraft dampers เฉพาะบน openings exhaust (front honeycomb อาจรวมถึง rear) — ห้ามใช้กับ cold inlet
- Baffle สั้นๆ เพื่อป้องกัน front exhaust ลอยขึ้นไปใน lid intake มีความสำคัญน้อยลงเมื่อ GPU grate ถูก sealed และ supply เป็น proper collar แต่ก็ยังเป็น insurance ที่ประหยัด
สิ่งที่ผมจะซื้อเป็นลำดับแรก vs ลำดับทีหลัง
ตอนนี้: เครื่องพัดลม 120 มม. จำนวนเจ็ดตัว, ฮับ/อะแดปเตอร์ PWM หนึ่งตัวสำหรับไดวิเดอร์หกตัว, วัสดุซีลิ่ง, ท่อฉนวน, ดัมเปอร์แบบแมนนวลบนขาตั้งของ T, การวางตำแหน่งคอนโทรลเลอร์ผนังที่วางแผนไว้ก่อนงานรถไฟขบวนแรก
ภายหลัง: ดัมเปอร์แบบมีไฟฟ้าควบคุมอุณหภูมิ GPU, คอร์เนอร์ที่สองเมื่อแชสซีนถัดไปเป็นโลหะจริง, อาจมี return แบบถาวรที่ผนังด้านไกลหาก mesh เพดานข้างๆ แร็คยังทำให้เกิด short-cycle
ผมจะไม่ซื้อพัดลมเคสตัวที่สิบสองเพื่อ “แก้” การขาด T-junction
รายการตรวจสอบการใช้งานจริง
- ตะแกรงฝา GPU ถูกซีลแล้ว
- ฮันนีคอมบ์ด้านหน้า: ลมร้อนออกมา, ไม่ใช่เสียง AC เย็นๆ หวิวออกมา
- ด้านหลังของช่อง GPU: ลมร้อนออกมา
- คอร์เนอร์: ลมเย็นเข้ามา
- เริ่มต้น divider PWM ที่ประมาณ 40–50% ปรับขึ้นจนอุณหภูมิ GPU เลียบ ลดลงหาก PSU ร้อนเกินที่คุณพอใจ
- สแตทผนังทำงานกับ Gree — ไม่ใช่ return เพดานข้างๆ แร็คที่ทำให้เกิด plume
- หลังจากรถไฟจริงๆ 20–30 นาที: อ่าน core และ VRAM, ไม่ใช่แค่ “ห้องรู้สึกโอเค”
- ทดสอบด้วยมือ: ถือกระดาษทิชชูที่ฮันนีคอมบ์ด้านหน้าและที่คอร์เนอร์ หากกระดาษโบกไปทางผิด ให้แก้ดัมเปอร์ก่อนฉลอง CFM
สิ่งที่ “ทำงานได้” รู้สึกเหมือนอย่างไร
การทำงานน่าเบื่อ อายไลน์จะอบอุ่นที่ด้านหลังช่อง GPU และที่ฮันนีคอมบ์ด้านหน้า ช่อง PSU มีกลิ่นพลาสติกเย็นๆ ไม่ใช่โอโซน Gree ไม่ได้เปิดเสียงดังทุกครั้งที่ coding agent เริ่มเซสชันยาว divider PWM เป็นปุ่มที่คุณแตะแค่สองครั้งต่อฤดูกาล ไม่ใช่ศาสนา
การไม่ทำงานก็เห็นได้ชัด: ลมเย็นพุ่งออกมาจากด้านหน้า ในขณะที่ 3090s อยู่ที่อุณหภูมิกลางๆ 90 องศา หรือ multi-split กลางแจ้งล็อกอยู่ที่โซนแร็ค ในขณะที่ส่วนที่เหลือของบ้านทะเลาะกับรีโมตผนัง
ทำไมนี่ถึงเป็น infrastructure ไม่ใช่ RGB
ที่ 3DN เราพูดถึง compute, multi-GPU งาน และต้นทุนเงียบๆ ของการรัน agents และ local models ข้างๆ สแต็กของครอบครัว — managed hosting, digital sovereignty preferences, แม้กระทั่ง fintech spine เบื้องหลังแบรนด์อย่าง DutchBud bank และเครดิตเสมือน (dibs) บนไซต์พี่น้อง ไม่มีส่วนไหนของ marketing นั้นอยู่รอดเมื่อแร็คทำให้ตัวเองร้อนเกินไป ความร้อนเป็นส่วนหนึ่งของ bill of materials
ดังนั้น ไม่ใช่: คำตอบไม่ใช่ “แค่เพิ่มพัดลมอีก” พัดลมเปลี่ยน 6U ให้กลายเป็นท่ออากาศ Gree เป็นแหล่งความเย็นร่วมที่จะเหนือกว่ากล่องเว้นแต่คุณ T และดัมเปอร์มัน divider PWM บาลานซ์สองห้อง Stacking จะใช้งานได้ก็ต่อเมื่อ pass-through ยังอยู่ฝั่งเย็น และทุกแชสซียังคงมี hot exhaust ของตัวเอง
ผมยังต้องการพัดลมเพิ่มกว่าที่มาพร้อมกับกล่องเหล็กเปล่า ผมยังต้องการดัมเปอร์, ตะแกรงซีล และความถ่อมตนที่จะเหลือ CFM ส่วนเกินไว้ให้ห้อง
ใส่ความเห็น