AI 编程 3.0 · 值得看 2026-03-08 · 论文

PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs

核心问题 这篇论文解决的是“端侧个性化”中最现实的拦路虎:微调内存开销。很多工作证明了“可以做微调”,但通常在树莓派或实验环境,离手机实用化很远。PocketLLM 的价值在于把问题拉回到真实手机场景。 论文贡献(按价值排序) 1) 明确瓶颈优先级:在端侧微调中,内存是可行性门槛;算力更多影响时延。 2) 方法选择正确:采用无导数优化绕开梯度/优化器状态,直接打掉最大内存项。 3) 实机验证:在 OPPO Reno 6 上给出可复现实验(RoBERTa-large 与 OPT-1.3B)。 关键数据的含义 RoBERT…

回到归档

核心问题 这篇论文解决的是“端侧个性化”中最现实的拦路虎:微调内存开销。很多工作证明了“可以做微调”,但通常在树莓派或实验环境,离手机实用化很远。PocketLLM 的价值在于把问题拉回到真实手机场景。 论文贡献(按价值排序) 1) 明确瓶颈优先级:在端侧微调中,内存是可行性门槛;算力更多影响时延。 2) 方法选择正确:采用无导数优化绕开梯度/优化器状态,直接打掉最大内存项。 3) 实机验证:在 OPPO Reno 6 上给出可复现实验(RoBERTa-large 与 OPT-1.3B)。 关键数据的含义 RoBERT…