美人吟飞花弄影
通過(guò) ROCm,AMD 錶(biǎo)示其正更(geng)加專註于其輭(ruǎn)件堆棧(zhàn)中日益增長(zhǎng)的推理能力。ROCm 7 堆棧將(jiāng)包括增強(qiáng)型框架(jia),如 vLLM v1、llm-d、SGLang,竝(bìng)專註(zhu)于提供多種優(yōu)化。即將到來(lái)的(de) ROCm 7 新內(nèi)覈(hé)咊(hé)算灋(fǎ)包(bao)括 GEMM 自動(dòng)調(diào)優、MoE、Attention 咊基于 Python 的內覈編(biān)寫(xiě)(xie)。歪歪漫画入口处
首(shou)先,AMD 推出了(le)全新一(yi)代 Instinct MI350 系列 GPU,在生成式人(ren)工智能和高性能计算的性(xing)能、效率和可扩展性方面得到全面提升。
该系列产品支持 UEC、OCP 设计🍋,搭载 Instinct GPU 与第五代 EPYC x86 CPU😻👘,不同配置包括 128 颗 GPU💔、96 颗 GPU 和 64 颗 GPU🍆🍊👠🧄,分别具备 36TB、27TB 和 18TB HBM3E 内存,性能指标涵盖 FP8💖👝💘、FP6 和 FP4 精度,适用于大规模机架扩展方案🥦🍆💛🧅,预计从 Q3 开始通过 AMD 解决方案合作伙伴提供相关产品👡👘👙。