SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?

论文试图解决什么问题？ 大语言模型（LLM）在代码生成和理解任务上表现出色（如 GitHub Copilot、GPT-4 Code Interpreter），但在深度代码推理方面仍有明显局限。具体问题包括： 表面模式匹配：LLM 往往基于关键词和表面模式，而非深度语义理解。例如，对代码 if (x > 0) return x; else return -x;，LLM 可能识别出"返回绝对值"，但无法推理出"如果 x 是负数，返回 -x 的数学意义"。 推理不一致：对同一代码的不同提问，LLM 可能给出矛盾答案。例如，问"这个函数的时间复杂度？"可能回答 O(n)，问"这个函数会超时吗？"可能回答"不会"，但两者矛盾。 缺乏可解释性：LLM 的推理过程是黑盒，难以验证结论正确性。开发者无法判断 LLM 的结论是基于真实理解还是表面模式。...

论文标题: Towards a Science of AI Agent Reliability 精读时间: 2026-03-20 论文类型: AI agent、 可靠性工程、 评估方法 技术栈: LLM、 AI agent、 评估框架 核心问题 1.1 研究问题 如何系统化地评估AI智能体的可靠性？ 1.2 问题背景 现实痛点: 能力与可靠性的脱节: 噩点:AI智能体在基准测试中表现优秀 现实:实际部署中频繁失败 原因:评估方法只关注准确率,忽略了行为的一致性、鲁…

论文： Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models arXiv： 2503.16779v1 精读日期： 2026-03-13 一、核心问题 研究问题： 如何让大型语言模型（LLMs）在链式思维（CoT）推理过程中高效地利用大量外部工具，包括训练时未见过的工具？ 子问题： 效率问题： 如何在拥有大量工具（数千个）时高效选择合适的工具？ 泛化问题： 如何处理训…

一、核心问题 1.1 研究背景 大语言模型（LLM）的推理能力日益重要，但： 训练成本高：扩大模型规模需要巨额算力 性能瓶颈：传统方法（CoT、ToT）性能趋于饱和 效率问题：零阶搜索方法（如Best-of-N）样本效率低 奖励稀疏：长推理链中奖励信号难以传播 1.2 核心问题 如何在不重新训练模型的情况下，通过测试时优化显著提升LLM推理能力？ 关键子问题： 能否利用梯度信息而非仅奖励值？ 如何在离散token空间中进行可微优化？ 推理时优化与训练时优化的联系是什么？ 二、创新点 …