Bài đăng

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Miễn trừ trách nhiệm: Nội dung OKX Orbit chỉ để tham khảo. Tìm hiểu thêm

Phản hồi

Chưa có bình luận. Trở thành người phản hồi đầu tiên!

Related Flash News

Blockbeats6 giờ trước

"Photon Stock God": Khoản đầu tư của Nvidia giúp Nokia chuyển đổi thành cơ sở hạ tầng AI, với những người trong cuộc tích cực tăng lượng nắm giữ của họ trong tháng qua

币界网8 giờ trước

Giới thiệu tìm kiếm AlphaGo, khung tạo video MCTS mới cung cấp thời lượng video dài hơn Sora

币界网8 giờ trước

Doanh thu hàng năm tăng lên 600 triệu đô la và nhà cung cấp dịch vụ suy luận AI Baseten có kế hoạch huy động 1 tỷ đô la với mức định giá 11 tỷ đô la

Blockbeats10 giờ trước

"Kẻ thách thức Nvidia" Cerebras đã giảm 35,8% trong hai tuần sau khi ra mắt, với công ty bán khống CBRS trên chuỗi lớn nhất kiếm được 1,26 triệu đô la

币界网11 giờ trước

Qualcomm và ByteDance đã đạt được thỏa thuận mua hàng triệu chip AI

Blockbeats13 giờ trước

Một số công ty tiền điện tử dự kiến sẽ được đưa vào Chỉ số Russell, với Bitmine và Galaxy có thể tham gia vào Russell 1000

Blockbeats15 giờ trước

Tin đồn thị trường cho thấy Musk có thể sáp nhập với SpaceX và Tesla, với sự hợp tác giữa AI và chuỗi cung ứng ngày càng sâu sắc giữa hai bên

Blockbeats17 giờ trước

"Thần chứng khoán mới" Serenity dự đoán vốn hóa thị trường của Micron sẽ vượt quá một nghìn tỷ: Nvidia tiếp theo, đặt mục tiêu đạt 1,5 nghìn tỷ đô la vào năm 2027

Blockbeats19 giờ trước

Tải đến mức tối đa! Nhà phân tích hàng đầu của UBS đã nâng giá mục tiêu cao nhất trên Phố Wall cho Micron ở mức 1.625 USD, bơm chất xúc tác mạnh nhất vào bộ nhớ AI

ChainCatcher1 ngày trước

Nền tảng tổng hợp mô hình AI OpenRouter đã hoàn thành vòng gọi vốn Series B trị giá 113 triệu USD, do CapitalG dẫn đầu