Publicar

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Aviso legal: o conteúdo do OKX Orbit é fornecido apenas para fins informativos. Saber mais

Respostas

Ainda sem comentários. Sê a primeira pessoa a responder!

Related Flash News

Blockbeats29 min.

O "desafiante da Nvidia" Cerebras caiu 35,8% em duas semanas após o lançamento, com o maior vendedor a descoberto da CBRS on-chain a receber 1,26 milhões de dólares

币界网2 horas

A Qualcomm e a ByteDance chegaram a um acordo para comprar milhões de chips de IA

Blockbeats3 horas

Espera-se que várias empresas cripto sejam incluídas no Russell Index, com a Bitmine e a Galaxy possivelmente a entrarem no Russell 1000

Blockbeats5 horas

Rumores de mercado sugerem que Musk poderá fundir-se com a SpaceX e a Tesla, com a colaboração entre IA e cadeia de abastecimento a aprofundar-se entre os dois lados

Blockbeats7 horas

O "Novo Deus das Ações" Serenity prevê que a capitalização bolsista da Micron ultrapassará um trilião: a próxima Nvidia, com o objetivo de 1,5 biliões de dólares até 2027

Blockbeats9 horas

Carregado ao máximo! O principal analista da UBS aumentou o preço-alvo mais alto em Wall Street para a Micron, com 1.625 dólares, injetando o maior catalisador na memória de IA

ChainCatcher17 horas

A plataforma de agregação de modelos de IA OpenRouter completou uma ronda de financiamento Série B de 113 milhões de dólares, liderada pela CapitalG

Blockbeats20 horas

A "Nova Deus das Ações" Serenity está profundamente comprometida com o SIVE: após a sua 191.ª chamada de pedido de encomenda, é chamada de ação conceitual CPO mais atrativa

Blockbeats22 horas

Wintermute: O principal nível de suporte do Bitcoin situa-se na faixa dos 75.000–76.000 dólares, indicando que a estrutura do mercado ainda não se deteriorou totalmente

Blockbeats22 horas

"Novo Deus do Stock" Serenity grita 190 vezes! As três ações 'parafusos' de chips de IA dispararam, registando um retorno máximo de 19,6 vezes