Speeding Up AI: Bringing Google Colossus to PyTorch via GCSFS and Rapid Bucket

Thomas Wolf 详解 TRL 库新增的 AsyncGRPO 功能，解决了训练前向传播（FP32）与 vLLM 推理服务器（BF16）精度不匹配导致 RL 无法收敛的问题。通过将推理与训练解耦，实现更快、更 hard 的 scaling。附有完整 detective story 风格的技术解析，从问题复现到修复路径均有覆盖，是训练大模型 RLHF 流程的进阶参考。

UCSD 研究团队在 Google TPU 上实现 DFlash（块扩散推测解码），将 LLM 推理速度平均提升 3.13 倍，峰值接近 6 倍。通过在单次前向传播中并行生成整块候选 token，突破传统自回归草稿的 O(K) 串行瓶颈。DFlash 在 TPU v5p 上相比 EAGLE-3 实现了 2.29 倍端到端加速，代码任务（mbpp）从 9.81ms/token 降至 3.48ms/token。关键发现：在高端 TPU 上，验证 1024 token 与 16 token 成本几乎相同，瓶颈从验证成本转为草稿质量。已开源集成到 vLLM TPU inference 仓库。

三星电子 Q1 营业利润 57.2 万亿韩元（约 386 亿美元），创历史新高，半导体部门贡献 53.7 万亿韩元，利润率超 70%，超过英伟达和台积电同期。三星已签多年期约束性合同锁定产能，警告 2027 年存储芯片供需缺口将比 2026 年更大。AI 数据中心对 HBM 的需求是核心驱动力。

华为预计 2026 年 AI 芯片营收约 120 亿美元，同比增长 60%。下一代昇腾 950PR 已进入量产，DeepSeek V4 发布后字节跳动、腾讯、阿里加速抢购。华为计划今年出货约 75 万颗 950PR。黄仁勋此前警告：如果 DeepSeek 新模型率先在华为芯片上全面适配，对美国在全球 AI 领域的战略地位将是灾难性打击。