RACK-GPU PRO 128GB / AI INFRASTRUCTURE WORKSTATION
Rack-GPU Pro 128GB
On-prem LLM inference: 4 × Radeon AI PRO R9700, 128 GB VRAM, 2.560 GB/s.
Teklif fiyatı19.750 USD+ KDVKDV dahil 23.700 USD
Sistem mimarisi · 4U
Tek host, dört PCIe Gen5 x16 accelerator.
TRX50 platformunda her R9700 ayrı bir root complex'e, tam x16 hatla bağlı. Host tarafı Threadripper 9960X ve 64 GB DDR5 ECC; güç tek 2.500 W ATX 3.1 PSU'dan.
- Kart başına ayrı root complex
- 4 × Gen5 x16
- 128 GB VRAM + 64 GB DDR5
- 192 GB
- ATX 3.1 · 80 PLUS Platinum
- 2.500 W
- 186 × 445 × 455 mm · rack rayı
- 4U
Accelerators
4 × Radeon AI PRO R9700
- GDDR6 · 4 × 32 GB · kart başına 256-bit
- 128 GB
- Toplam bant genişliği · 4 × 640
- 2.560 GB/s
- Navi 48 · RDNA4 · gfx1201
- 256 CU
- INT4 teorik · 4 × 191
- 764 TFLOPS
Decode · memory-bound
Decode hızının üst sınırı bant genişliğidir.
Her decode adımında aktif ağırlıkların tamamı VRAM'den okunur; adım süresini FLOPS değil okuma hızı belirler. Batch'te aynı okuma tüm eşzamanlı isteklere paylaştırılır, throughput bu yüzden eşzamanlılıkla artar.
tok/s≈bandwidth÷bytes / token
Tensor parallel · TP=4
Her katman dört karta bölünür.
Ağırlık matrisleri dört shard'a ayrılır; her kart kendi çeyreğini hesaplar, kısmi sonuçlar katman sonunda RCCL all-reduce ile birleşir.
- bf16 ölçülen · 10 dk
- 382,3 TFLOPS
- All-reduce · 32 MiB
- 40,0 GB/s
- Kartlar arası fark
- %0,5
Host · ikinci bellek katmanı
128 GB VRAM + 64 GB DDR5 = 192 GB.
Threadripper 9960X (24C/48T, 4,2–5,4 GHz), DDR5-5600 ECC RDIMM. VRAM'e sığmayan tensör host RAM'de kalır ve GPU tarafından UVA ile doğrudan okunur: test sisteminde 169 GB'lık model 112 GB VRAM + 70 GB host RAM ile servis edildi; bu model için RAM yükseltmesi gerekir.
- VRAM · 4 × 32 GB GDDR6
- 128 GB
- Host RAM · DDR5-5600 ECC
- 64 GB
- Kullanılabilir toplam
- 192 GB
Power · ATX 3.1
2.500 W, her karta ayrı native 12V-2x6.
Tek ATX 3.1 PSU, 80 PLUS Platinum, tam modüler. Her R9700 kendi kablosundan beslenir; adaptör ya da splitter yok. ATX 3.1 kısa süreli yük sıçramalarında (power excursion) toplamda 2×, GPU hattında 3× tepeyi karşılar.
Ölçülen yük / PSU kapasitesi1.544 / 2.500 W · %62
- GPU toplamı · 1.198 W
- Sistem peak · 1.544 W
- Boş kapasite · 956 W
- Native · kart başına bir kablo
- 4 × 12V-2x6
- Kart TBP / konnektör sınıfı
- 300 / 600 W
- Verim, tipik yük · Platinum
- ≥ %94
- AC giriş · 15 A · tek hat
- 200–240 V
Airflow · front-to-back
Tek hava yolu: önden emiş, arkadan atış.
3 × 140 mm fan petek delikli ön panelden çeker. R9700'ler blower tipidir: ısıyı kasa içinde dolaştırmadan slot braketinden dışarı atar, bu yüzden dört kart 2-slot aralıkla yan yana çalışır.
- Ön emiş
- 3 × 140 mm
- Blower, braketten dışarı
- 4 × 300 W
- Peak junction · throttling yok
- 105 °C
Bileşenler
Teklif yapılandırması
- İşlemci
- AMD Ryzen Threadripper 9960X24C / 48T · 4.2–5.4 GHz · 350 W · sTR5
- Bellek
- 64 GB DDR5-5600 ECC RDIMM2 × 32 GB
- Accelerator
- 4 × AMD Radeon AI PRO R970032 GB GDDR6 · 256-bit · 300 W · blower · 2-slot
- Anakart
- TRX50 · sTR5 · E-ATXPCIe Gen5 x16 per GPU
- Depolama
- 1 TB NVMe PCIe Gen4M.2 2280
- Güç kaynağı
- 2 500 W ATX 3.1 · 80 PLUS Platinum4 × native 12V-2x6 · fully modular
- Kasa
- Rack-GPU 4U3 × 140 mm · 8 PCIe slots · 186 × 445 × 455 mm
Operasyon
Gözetimsiz çalışma için yapılandırılmış.
- systemd service · boot'ta başlar · Restart=on-failure
- wait-amdgpu.sh · dört kart hazır olmadan servis başlamaz
- D3 kapalı · sensör okuması ve P2P sürekliliği korunur
- CPU governor: performance, kalıcı
- RCCL preflight · P2P/IPC · 40 GB/s
- OpenAI-compatible · /v1/completions · /v1/chat/completions
Montaj ve test
Radius'ta monte edilir ve test edilir.
R9700 kartları stokta. Siparişten teslimata yaklaşık 1 hafta; montaj ve test dahil.
Rack-GPU Pro 128GB
- 4 × R9700
- 128 GB GDDR6
- 64 GB DDR5 ECC
- 2.500 W ATX 3.1
- 4U
Radius mühendisliğiyle Türkiye'de tasarlandı.
Teklif fiyatı19.750 USD+ KDVKDV dahil 23.700 USD
Sorularınız için: 0 (216) 344 54 64
