Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Blockbeats12г тому

"Photon Stock God": Інвестиції Nvidia допомагають Nokia трансформуватися в інфраструктуру штучного інтелекту, а інсайдери активно збільшують свої активи протягом останнього місяця

币界网13г тому

Представляючи пошук AlphaGo, новий фреймворк MCTS для генерації відео пропонує довші тривалості відео, ніж Sora.

币界网14г тому

Річний дохід зріс до 600 мільйонів доларів, а постачальник послуг інференції ШІ Baseten планує залучити 1 мільярд доларів за оцінкою 11 мільярдів доларів

Blockbeats16г тому

«Nvidia-challenger» Cerebras впав на 35,8% за два тижні після запуску, а найбільший короткий продаж CBRS в мережі заробив $1,26 мільйона

币界网17г тому

Qualcomm і ByteDance досягли угоди про купівлю мільйонів чипів ШІ

Blockbeats19г тому

Очікується, що кілька криптокомпаній будуть включені до індексу Russell, а Bitmine і Galaxy можуть увійти до Russell 1000

Blockbeats20г тому

Ринкові чутки свідчать, що Маск може об'єднатися зі SpaceX і Tesla, при цьому співпраця у сфері штучного інтелекту та ланцюгів постачання між двома сторонами поглибиться

Blockbeats23г тому

«Новий акційний бог» Serenity прогнозує, що ринкова капіталізація Micron перевищить один трильйон: наступна Nvidia, яка прагне досягти $1,5 трильйона до 2027 року

Blockbeats1д тому

Завантажено до максимуму! Провідний аналітик UBS підвищив найвищу цільову ціну Micron на Волл-стріт до $1,625, що стало найсильнішим каталізатором у пам'ять ШІ

ChainCatcher1д тому

Платформа агрегації моделей ШІ OpenRouter завершила раунд фінансування серії B на суму 113 мільйонів доларів, очолюваний CapitalG