GPU到底是如何工作的？这篇AI Infra入门全部告诉你

Google《智能体设计模式》之 智能体推理引擎的内部视角 - 附录F 中翻版 原创 企业AI小蜜书 企业AI小蜜书 企业AI解构局 在小说阅读器读本章 去阅读 在小说阅读器中沉浸阅读 点击上方 蓝字 关注，一起畅游AI 前言： 这本由谷歌资深工程主管 Antonio Gulli 免费分享的 《智能体设计模式》 ，系统性地提炼出 21 个核心智能体设计模式，涵盖从提示链、工具使用到多智能体协作、自我修正等关键技术。 本书的中文翻译流程为「AI 初次翻译 → AI 交叉评审 → 人工评审 → 人工交叉评审」，所有翻译内容将会持续更新到开源项目：github.com/ginobefun/agentic-design-patterns-cn。 我参与了第十四章（RAG）和附录F（LLM内部推理引擎）的翻译，请大家在本文/开源项目地址提交指正。...

从注意力机制原理出发，详解 KV Cache 的工作原理与工程权衡。自回归生成中 Token 1-49 的 K/V 每次都重算是 O(n^2) 浪费；KV Cache 把历史 K/V 只算一次并缓存，新 Token 只追加自己的 K/V，实现约 5x 提速；代价是显存占用，context window 翻倍意味着单请求 cache 翻倍。Prefill 阶段（首个 Token）最贵，因为要一次性算完所有历史 K/V，这就是 TTFT 瓶颈的来源。GQA/MQA 通过共享 K/V head 显著降内存，是大规模服务必用方案。

GitHub - PacktPublishing/LLM-Engineers-Handbook: The LLM's practical guide: From the fundamentals to... The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices - PacktPublishing/LLM-Engineers-Handbook LLM Engineer's Handbook: Maste...

关于Enhancing Cursor and CodeBuddy的收藏文章