Posteo

Perplexity开源推理底座pplx-garden,绕过英伟达网络税实现多卡极速通信

币界网
币界网
币界网消息,Perplexity AI正式开源高性能推理基础设施工具包pplx-garden。该项目核心是自研的Rust点对点通信库fabric-lib,旨在打破英伟达专属通信协议的硬件绑定,帮助开发者在无需昂贵网络交换机的前提下,实现万亿参数大模型在异构多显卡集群上的极速运行。fabric-lib完美适配NVIDIA ConnectX-7网卡,并支持AWS EFA传统以太网卡,将多卡网络带宽提升至400 Gbps。为解决AWS EFA乱序传输问题,Perplexity首创immcounter计数器同步机制,实现高效的「零拷贝」数据流转。pplx-garden在异步强化学习训练中,仅需1.3秒完成万亿参数模型的权重同步与下发,显著提升工程效益。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

ChainCatcherHace 4 h

La startup de IA Groq está recaudando 650 millones de dólares para sus nuevas entidades

OdailyHace 6 h

La rotación del dinero caliente se acelera: de Bitcoin al oro, luego a la IA y los semiconductores de almacenamiento

币界网Hace 9 h

NVIDIA lanzó Gamma-World, un modelo de mundo multiagente que soporta colaboración en cuatro personas y 24 FPS en tiempo real

ChainCatcherHace 10 h

Las principales acciones de IA y tecnológicas mantienen su fuerte impulso, mientras Gate amplía su cobertura global de operaciones de activos

币界网Hace 12 h

El marco de entrenamiento de IA en lengua C desarrollado por SpaceX está casi completo y se utilizará para entrenar Grok v5

币界网Hace 15 h

Los inversores extranjeros han comprado acciones japonesas por octava semana consecutiva

BlockbeatsHace 16 h

El trading de acciones estadounidense crea riqueza en la cadena: una dirección invirtió 4,3 millones de yuanes en capital para entrar en el mercado bursátil estadounidense, con un aumento del 280% en dos meses.

BlockbeatsHace 1 d

"Photon Stock God": La inversión de Nvidia ayuda a Nokia a transformarse en infraestructura de IA, con personas internas aumentando activamente sus participaciones durante el último mes

币界网Hace 1 d

Introduciendo la búsqueda AlphaGo, el nuevo marco de generación de vídeo MCTS ofrece duraciones de vídeo más largas que Sora

币界网Hace 1 d

Los ingresos anualizados se dispararon hasta 600 millones de dólares, y el proveedor de servicios de inferencia de IA Baseten planea recaudar 1.000 millones de dólares con una valoración de 11.000 millones