Допис

Perplexity开源推理底座pplx-garden,绕过英伟达网络税实现多卡极速通信

币界网
币界网
币界网消息,Perplexity AI正式开源高性能推理基础设施工具包pplx-garden。该项目核心是自研的Rust点对点通信库fabric-lib,旨在打破英伟达专属通信协议的硬件绑定,帮助开发者在无需昂贵网络交换机的前提下,实现万亿参数大模型在异构多显卡集群上的极速运行。fabric-lib完美适配NVIDIA ConnectX-7网卡,并支持AWS EFA传统以太网卡,将多卡网络带宽提升至400 Gbps。为解决AWS EFA乱序传输问题,Perplexity首创immcounter计数器同步机制,实现高效的「零拷贝」数据流转。pplx-garden在异步强化学习训练中,仅需1.3秒完成万亿参数模型的权重同步与下发,显著提升工程效益。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

币界网2г тому

Аналітик: Ринкова капіталізація біткоїна впала приблизно до $1,09 трильйона, виходячи з топ-10 у світі

币界网2г тому

XBIT DEX: Очікується, що NVIDIA стане найбільшою компанією до кінця червня з ймовірністю 87,5%

ChainCatcher8г тому

Стартап у сфері штучного інтелекту Groq залучає $650 мільйонів для своїх нових компаній

Odaily10г тому

Обертання гарячих грошей прискорюється: від біткоїна до золота, потім до штучного інтелекту та напівпровідників зберігання

币界网13г тому

NVIDIA випустила Gamma-World — мультиагентну модель світу, що підтримує співпрацю чотирьох осіб і 24 кадри в секунду в реальному часі

ChainCatcher14г тому

Акції ШІ та провідні технологічні компанії продовжують свій сильний імпульс, тоді як Gate розширює глобальне покриття торгівлі активами

币界网16г тому

Власноруч розроблений SpaceX фреймворк навчання мові C AI майже завершений і буде використаний для навчання Grok v5

币界网18г тому

Іноземні інвестори купують японські акції вже восьмий тиждень поспіль

Blockbeats20г тому

Торгівля акціями США створює багатство на ланцюгу: адреса інвестувала 4,3 мільйона юанів у капітал для виходу на американський фондовий ринок, з зростанням на 280% за два місяці.

Blockbeats1д тому

"Photon Stock God": Інвестиції Nvidia допомагають Nokia трансформуватися в інфраструктуру штучного інтелекту, а інсайдери активно збільшують свої активи протягом останнього місяця