跳到正文
Hacker News-首页· laginimaineb·· 7 天前精选AI 评分77

Maxwell:一款打通代码与硬件的新型代码执行模型

Maxwell: A new kind of model that sits between code and hardware

AI 导读

doubleAI 推出了新型代码执行模型 Maxwell,它能在程序运行时理解并改进代码、推理硬件与数据,并对所有优化进行形式化等效证明。Maxwell 支持 CPU 与 GPU,其实测表现包括将数据处理管线提速 38 倍、AI 推理内核提速 4.25 倍,并使 LTX-2.5 的 4K 视频生成时间缩短近一半。

推荐理由

原文介绍了能在运行时优化二进制代码并提供形式化等价证明的新型模型,读者可以据此了解其在数据管线和推理内核上的性能表现。

正文 · AI 翻译

作者:doubleAI

Maxwell 在代码运行的同时理解并改进代码,它不仅能理解代码,还能对硬件和数据进行推理。每一次改进都经过形式化验证,确保与原代码等价。阅读宣言 

  • 38×数据处理流水线加速
  • 4.25×AI 推理核心加速

什么是代码执行模型?

一部包含旁白和字幕的简短动画短片,介绍了 Maxwell:绝大多数代码在运行时尚不了解其运行的硬件或处理的数据。Maxwell 在程序运行时对其进行监测,在底层重写二进制文件以适配特定的机器和数据,并对每一项改进进行形式化证明,确保其与原代码等价。它运行于 CPU 和 GPU 之上,能够加速数据流水线和 AI 推理核心。

精选客户

LTX-2.5 以一半的时间生成 4K 视频

LTX 从第一天起就将效率作为 LTX-2.5 的核心,实现了端到端编译、跨 GPU 的序列并行,并在手写注意力机制核心上进行解码。这是一个由顶尖人类专家构建和优化的流水线。Maxwell 使其 4K 生成速度提升了近两倍。

(打开 ltx.io)

  • 1.87×4K 视频生成加速
  • 134秒/ 每个在两块 B200 上的 4K 剪辑,原为 250 秒

阅读故事 

Maxwell 演示

观看 Maxwell 优化基于 GPU 和 CPU 的代码的实际效果。一旦 Maxwell 收集到足够的运行时数据,它就会在程序持续运行的同时,无缝替换为专门针对该机器定制且经过形式化验证的优化方案。

使用 Whisper 的基于 GPU 的语音转文字

两个终端在同一台 RTX 4090 上运行相同的 Python 脚本:使用冷启动的 Whisper-small 进行 180 次转录。没有 Maxwell 时(左侧),耗时 106.23 秒。使用 Maxwell 时(右侧),耗时 49.82 秒完成。两者产生完全相同的转录结果。录像以 4 倍速播放。

基于 CPU 的图算法

两个终端在同一台机器上运行相同的 Python 脚本:NetworkX 中介中心性计算,运行 15 次。没有 Maxwell 时(左侧),耗时 61.44 秒。使用 Maxwell 时(右侧),耗时 17.50 秒完成。两者输出完全相同的结果。录像以 4 倍速播放。

Maxwell 背后的研究

  1. Maxwell 在 Blackwell 上逼近光速(Speed of Light)

    经过一天的搜索,Maxwell 在 SOL-ExecBench 的 90% 的 Blackwell 核心上超越了 NVIDIA 的 PyTorch 基准。

    (在 doubleai.com 上打开)
  2. doubleAI 的 Maxwell:大规模超越专家编写的核心

    独立生成并验证了 NVIDIA cuGraph 的超优化替代版本,平均速度提升 3.6 倍。

    (在 doubleai.com 上打开)
  3. 无需修改一行代码,即可获得极速 pandas

    Maxwell 针对现代硬件从头彻底重写了 pandas 的核心。

    (在 doubleai.com 上打开)

来源:Hacker News-首页 · heymaxwell.ai