核心问题 这篇论文解决的是“端侧个性化”中最现实的拦路虎:微调内存开销。很多工作证明了“可以做微调”,但通常在树莓派或实验环境,离手机实用化很远。PocketLLM 的价值在于把问题拉回到真实手机场景。 论文贡献(按价值排序) 1) 明确瓶颈优先级:在端侧微调中,内存是可行性门槛;算力更多影响时延。 2) 方法选择正确:采用无导数优化绕开梯度/优化器状态,直接打掉最大内存项。 3) 实机验证:在 OPPO Reno 6 上给出可复现实验(RoBERTa-large 与 OPT-1.3B)。 关键数据的含义 RoBERT…
AI 编程
3.0 · 值得看
PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs
核心问题 这篇论文解决的是“端侧个性化”中最现实的拦路虎:微调内存开销。很多工作证明了“可以做微调”,但通常在树莓派或实验环境,离手机实用化很远。PocketLLM 的价值在于把问题拉回到真实手机场景。 论文贡献(按价值排序) 1) 明确瓶颈优先级:在端侧微调中,内存是可行性门槛;算力更多影响时延。 2) 方法选择正确:采用无导数优化绕开梯度/优化器状态,直接打掉最大内存项。 3) 实机验证:在 OPPO Reno 6 上给出可复现实验(RoBERTa-large 与 OPT-1.3B)。 关键数据的含义 RoBERT…