Multigres 支持跨池化连接的 Listen/Notify
Multigres 现在支持在连接池化场景下使用 PostgreSQL 的 Listen/Notify 机制,使不同连接之间能够可靠地接收和传递通知消息。这一功能解决了池化环境下长连接监听与通知的常见难题,提升了应用的实时通信能力。
本文详细讲解了如何在Jax框架下从零构建并训练一个小型GPT-2模型(34亿参数)。作者按照从二元语言模型到完整Transformer架构的顺序,逐一实现每个核心组件,包括嵌入层、自注意力机制、前馈网络等,并提供了完整的代码示例和训练流程,适合希望深入理解LLM内部原理的开发者学习。
本文详细讲解了如何在Jax框架下从零构建并训练一个小型GPT-2模型(34亿参数)。作者按照从二元语言模型到完整Transformer架构的顺序,逐一实现每个核心组件,包括嵌入层、自注意力机制、前馈网络等,并提供了完整的代码示例和训练流程,适合希望深入理解LLM内部原理的开发者学习。
Multigres 现在支持在连接池化场景下使用 PostgreSQL 的 Listen/Notify 机制,使不同连接之间能够可靠地接收和传递通知消息。这一功能解决了池化环境下长连接监听与通知的常见难题,提升了应用的实时通信能力。
Slughorn 是一个基于 MIT 许可的开源字体/字形渲染库,专为 OpenGL、OSG(OpenSceneGraph)、Vulkan 等 GPU 驱动图形 API 设计。它采用 GPU 无关架构,能够高效渲染 Slug 字体,为跨平台图形应用提供灵活且高性能的文字渲染解决方案。
本分析由 AI 生成,可能存在不准确之处。请以原始来源为准。
未找到相关论文。
在2026年7月的一篇博客文章中,Armin Ronacher探讨了日益复杂的AI模型与用于构建它们的开发者工具之间不断扩大的鸿沟,通过使用Jax追溯从二元语法到GPT-2的演变过程。[^1] 文章着重指出,模型能力的提升速度已远超工具生态系统的易用性,开发者不得不将日益复杂的组件拼凑在一起,而调试、可视化或工作流支持方面却未能得到相应改善。Ronacher的动手实践既是一份技术教程,也是对现代机器学习开发中固有摩擦的犀利评论——随着模型日益强大,这一鸿沟只会愈发明显。
<p>A very strange <a href="https://github.com/earendil-works/pi/issues/6278">Pi issue</a> sent me down a rabbit hole over the last two days. The short version is that newer Claude models sometimes call Pi’s edit tool with extra, invented fields in the nested <code>edits[]</code> array. And not Haiku or some small model: Opus 4.8. The edit itself is usually correct but the arguments do not match the schema as the model invents made-up keys and Pi thus rejects the tool call and asks to tr
Persistent Context Across Sessions for Every Agent – Captures everything your agent does during sessions, compresses it with AI, and injects relevant context back into future sessions. Works with Claude Code, OpenClaw, Codex, Gemini, Hermes, Copilot, OpenCode + More
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
未找到维基百科文章。
2026年7月4日,Armin Ronacher 在其个人网站 lucumr.pocoo.org 上发表了一篇题为「从 Bigrams 到 GPT-2,一次一个组件(基于 Jax)」的博客文章,记录了他在使用代码编辑工具 Pi 配合新版 Anthropic Claude 模型时观察到的一个令人意外的退化现象。该调查源于 Pi 仓库中提交的一个 GitHub issue,用户报告称,新版 Claude 模型在调用 Pi 的编辑工具时,有时会在嵌套的 edits[] 数组中包含额外的、凭空捏造的字段。
根据 Ronacher 的分析,该问题特指 Anthropic 更高级的模型——Opus 4.8 和 Sonnet 5——而较旧的 Claude 模型则未表现出这一行为。他明确指出,Haiku 等较小模型并未观察到这一问题。值得注意的是,编辑操作本身通常能正确执行,但模型传入的参数包含不符合预期模式的虚构键值,导致 Pi 拒绝该工具调用并要求模型重试。Ronacher 刻意避免测试「Fable」模型,担心其分类器可能会将他静默降级为 Opus 模式,从而干扰结果。
Ronacher 描述的核心机制是:LLM 工具调用本质上基于文本。模型接收到一段对话记录、一条系统提示以及一系列可用工具。服务端将这些内容处理成一个包含特殊标记 token 的大型提示。由于模型在训练和强化学习中见过大量此类格式的示例,在生成过程的某一时刻,它会输出 API 或客户端可解释为「用这些参数调用该工具」的内容。这种带内信令方式为模型生成畸形或虚构的工具调用结构留下了空间,尤其是在模式(schema)复杂或模型训练数据与工具定义不完全吻合的情况下。
Ronacher 文章的更广泛背景,是从 bigrams 到 GPT-2 的演进历程(使用 Jax),他将这一工具调用退化现象置于一个更大的叙事之中——即模型能力与开发者工具生态之间日益扩大的差距。他认为,模型能力的提升速度已远远超过了用于构建和与之交互的工具的易用性,导致开发者不得不拼装日益复杂的组件,而调试、可视化或工作流支持方面的改进却未能同步跟上。
社交媒体监测尝试未返回任何结果。所查询的四个平台——Twitter、Reddit、微博和知乎——均未返回与「Claude Opus 4.8 extra fields tool call Pi issue」相关搜索词匹配的任何帖子。观察到的帖子总数为零,未捕获到任何引用或情感分布数据。
社交媒体活动的缺失可能反映了该话题的技术性和小众性、其相对较新的发表日期(2026年7月4日),或者目前讨论仍集中在 GitHub 和个人博客而非更广泛的社交平台这一事实。另一种可能是,所使用的查询词与社区讨论该问题时使用的词汇不匹配,或者监测期间这些平台本身暂时无法访问。
由于未收集到任何社交数据,无法报告情感分析、趋势模式或社区反应。
学术文献检索使用了包括「GPT-2」「Jax」「LLM tool calling」「Claude」「Anthropic」和「bigrams」在内的关键词,未返回任何论文。观察到的 arXiv 条目数为零。
这一结果表明,Ronacher 所描述的具体现象——较新的前沿模型比其前辈产生更多畸形的工具调用——尚未在学术场所得到正式研究或发表。他记录的退化现象可能过于新颖、过于小众,或过于特定于 Anthropic 与 Pi 之间的交互,因而尚未引起学术界的关注。另一种可能是,该现象在行业博客文章、技术报告或其他预印本服务器(而非 arXiv)上有所讨论,但这些未被本次检索覆盖。
学术参考文献的缺失意味着 Ronacher 的观察目前仍是一份经验性的、逸事式的报告,而非经过严格复现或同行评审的发现。其他研究人员或开发者的独立复现对于确定该退化现象是否在不同工具模式和模型中具有系统性,是必要的。
已确定的唯一原始来源是 Armin Ronacher 在 lucumr.pocoo.org 上发表的博客文章。该文章于2026年7月4日发布,标题为「From bigrams to GPT-2, one component at a time (in Jax)」。与该内容相关的最早 URL 是 https://lucumr.pocoo.org/2026/7/4/better-models-worse-tools/。
溯源链条仅包含一个节点:博客文章本身。在溯源过程中未检测到后续文章、新闻报道或衍生作品。从该链条中提取的叙事摘要将 Ronacher 的工作描述为一篇「探讨了先进 AI 模型与用于构建它们的开发者工具之间日益扩大的差距,使用 Jax 追溯从 bigrams 到 GPT-2 的演进历程」的文章,并指出他的「动手实践既是技术教程,也是对现代机器学习开发中固有摩擦的一针见血的评论」。
值得注意的是,原始数据中提供的博客文章标题(「From bigrams to GPT-2, one component at a time (in Jax)」)与 URL slug(better-models-worse-tools/)略有不同。这一差异可能表明该文章涵盖了多个主题,工具调用退化现象只是关于模型演进和工具挑战的更广泛技术叙事中的一部分。
文章中引用的 GitHub issue——https://github.com/earendil-works/pi/issues/6278——是 Ronacher 调查的主要经验触发点,但本简报中并未将其作为独立来源进行检索。
与核心发现最直接相关的公司是 Anthropic,一家总部位于美国的 AI 安全与研究公司。Anthropic 的官网将其描述为「一家致力于构建可靠、可解释且可操控 AI 系统的 AI 安全与研究公司」。
与退化现象相关的产品是 Claude,Anthropic 的大型语言模型系列。根据 Ronacher 的报告,受影响的模型版本是 Opus 4.8 和 Sonnet 5,这两个版本被描述为更新、能力更强的模型,但反而产生了更多工具调用错误。Ronacher 明确将它们与 Haiku 等较小模型区分开来,后者似乎不存在同样的问题。
搜索结果中与 Anthropic 相关的主要仓库是 GitHub 上的 thedotmack/claude-mem,描述为「每个智能体的跨会话持久上下文」工具,可在会话期间捕获智能体活动,用 AI 压缩,并将相关上下文注入未来会话。该仓库拥有 86,437 颗星,主要使用 JavaScript 编写。它声称兼容 Claude Code、OpenClaw、Codex、Gemini、Hermes、Copilot、OpenCode 等工具。然而,该仓库并非 Anthropic 官方产品,而是一个与 Claude 交互的第三方项目。公司数据中未识别出任何官方 Anthropic 仓库。
提供的公司数据中未包含 Anthropic 的融资信息。
GitHub issue 仓库 earendil-works/pi——原始问题报告提交处——是拒绝 Claude 畸形工具调用的工具。然而,公司数据中未提供关于 Pi 工具或其开发者的详细信息,因此无法在此对 Pi 产品进行进一步分析。
Ronacher 的发现——更新、能力更强的 Claude 模型比旧版模型生成更多畸形工具调用——构成了一个关于前沿 LLM 在实际开发者工作流中行为的有价值的经验性观察。该发现的几个维度值得仔细考量。
首先,这一退化现象看似反直觉。通常人们会预期,更先进的模型经过更多数据训练和强化学习精炼后,各项任务(包括工具调用等结构化输出生成)的表现都会单调提升。Ronacher 的观察挑战了这一假设,并表明语言理解、推理或创造力方面的能力提升,可能以降低严格格式化任务的可靠性为代价。这可能反映了 LLM 设计中的一个根本性张力:随着模型在生成流畅、多样且富有创造性的文本方面变得更好,它们可能在进行需要严格遵循模式的生成(如工具调用)方面变得不那么可靠。使 Opus 4.8 在开放式推理方面更出色的机制,可能恰恰使其在生成完全合规的 JSON 方面表现更差。
其次,关于这一现象的学术文献的缺失意味着它仍是一份逸事报告。如果没有跨不同工具模式、不同模型系列和不同提示策略的独立复现,很难判断这是前沿模型的系统性属性,还是 Claude 与 Pi 编辑工具模式之间特定交互的奇特现象,抑或 Ronacher 特定测试环境的产物。社交媒体讨论的缺失进一步表明,该发现尚未得到更广泛开发者社区的广泛验证或质疑。
第三,Ronacher 的文章并未充分探讨一些合理解释。例如,较新的模型可能使用不同的提示格式或不同的工具调用强化学习数据进行训练,这可能会意外地降低其在旧模型专门优化的模式上的表现。或者,较新的模型可能更容易「过度思考」——生成额外字段作为一种细化输出形式——因为它们的训练激励了全面性。在没有 Anthropic 内部评估数据的情况下,这些都只能是假设。
第四,Ronacher 文章的更广泛框架——模型能力正在超越工具生态——提出了关于使用前沿 AI 系统进行开发的开发者体验的重要问题。如果最强大的模型在结构化任务上也最不可靠,开发者就将面临两难:使用更智能但偶尔在简单工具调用上失败的模型,或者使用更笨但更可靠、整体能力却较弱的模型。这种权衡对 AI 工具的设计、测试和生产环境部署具有重要影响。
最后,Ronacher 因担心静默降级而刻意避免测试 Fable 模型这一事实,凸显了 AI 生态系统中更广泛的信任和透明度问题。如果用户无法确定他们实际查询的是哪个模型版本,诊断退化现象就会变得异常困难。这种不透明性削弱了开发者社区要求模型供应商对性能退化负责的能力。
总之,Ronacher 的报告是一份有价值的经验证据,值得进一步调查。Opus 4.8 和 Sonnet 5 在工具调用可靠性方面比旧模型更差的发现,既令人惊讶,也具有实际意义。然而,证据基础仍然薄弱——仅是一位博主的观察,尚未得到学术复现或广泛社区验证的支持。最审慎的立场是将其视为一份可信但未经证实的报告,应促使 Anthropic 和独立研究人员进行系统性测试。如果得到确认,这将对「前沿模型在所有性能维度上都严格优于其前辈」的假设构成有意义的挑战。
本文介绍了在 Linux 系统上使用 Keychron 键盘启动器时遇到的 HID 访问被拒(HID Access Denied)错误及其解决方法。通过调整 udev 规则和权限配置,用户可以让 Keychron Launcher 正常识别并配置键盘,从而在 Linux 环境下获得完整的键盘自定义体验。
Nodeup 是一款自动化工具,帮助开发者简化 Node.js 版本升级和 NPM 包迁移流程。通过自动检测当前环境、升级 Node.js 版本并同步迁移相关 NPM 依赖包,Nodeup 旨在减少手动操作带来的错误和时间成本,提高开发效率。
作者以JAX框架从零构建并训练了一个GPT-2 Small模型(参数量与原始论文一致),全程仅凭笔记,不参考任何现有代码。训练耗时37小时15分钟,在测试集上的损失(3.418784)优于等效PyTorch模型(3.538161)和原版GPT-2 Small(3.499677)。文章详细记录了从最简单的"映射到自身"模型开始,逐项添加位置编码、LayerNorm、多头注意力、Transformer块等组件,并验证每一步确实降低了损失的过程。
Miles 是一个专为大规模 LLM 强化学习后训练设计的 PyTorch 原生技术栈。它整合了分布式训练、高效采样和奖励建模等关键组件,旨在简化并加速大语言模型在强化学习阶段的训练流程。该框架充分利用 PyTorch 生态系统的优势,为研究人员和工程师提供了一套灵活、可扩展的工具集。
本文探讨了 Autoconf 中使用临时 Shell 模板的独特设计理念,分析了这种看似过时的方法如何在实际开发中展现出意想不到的优雅与强大。作者通过具体案例展示了这种模板机制如何解决跨平台兼容性问题,并反思了现代工具链中过度抽象化的趋势。
Xata 推出了一款 GitHub 应用,可为每个 Pull Request 自动创建独立的 Postgres 数据库分支。该分支与主数据库隔离,允许开发者在不影响生产环境的情况下测试 Schema 变更和数据迁移。合并 PR 后,分支可一键合并回主库,简化了数据库与代码的协同开发流程。
本文详细讲解了如何在Jax框架下从零构建并训练一个小型GPT-2模型(34亿参数)。作者按照从二元语言模型到完整Transformer架构的顺序,逐一实现每个核心组件,包括嵌入层、自注意力机制、前馈网络等,并提供了完整的代码示例和训练流程,适合希望深入理解LLM内部原理的开发者学习。
近期研究发现,Anthropic 的新一代模型(Opus 4.8 和 Sonnet 5)在调用 Pi 的编辑工具时,会在嵌套的 edits[] 数组内凭空生成额外的字段(如 requireUnique、oldText2、type 等),导致工具调用被拒绝。尽管实际编辑内容完全正确,但模型会随机添加不存在的键。这并非随机退化,而是训练产物——新一代模型在强化学习阶段高度适配了 Claude Code 的平坦编辑工具格式(old_string/new_string),导致对其他模式(如 Pi 的嵌套结构)的遵循能力下降。即使模型理解 schema,也会在嵌套 JSON 的高熵区域(多行字符串结束后)随机采样不存在的字段名。这一问题揭示了闭源模型在单一工具生态中过度优化带来的风险:工具 schema 不再中立,其他工具的兼容性可能因此受损。
作者以Sebastian Raschka的《从零构建大语言模型》为教材学习现代AI,在独立完成PyTorch模型训练后,为了验证理解而非机械复现代码,选择用JAX框架编写LLM训练循环。本文记录了从零构建A-to-A(输入等于输出)的最小模型与训练流程的过程,涉及数据加载、设备内存管理、优化器配置等关键技术细节,以及从PyTorch迁移到JAX/Flax NNX/Optax生态的经验教训。
本文介绍了在调试JAX/Flax NNX训练循环时的一个实用技巧:通过对模型参数进行哈希处理,来检测参数是否真的在更新。作者在训练一个拥有7700万参数的LLM时,发现损失值一直停留在10.82不变,通过打印梯度值看起来正常,但无法直接观察参数变化。解决方案是将NumPy数组转换为字节后计算哈希值,这样即使是微小的参数变化也会导致哈希值完全改变。最终发现问题是使用了`@jax.jit`而不是Flax NNX专用的`@nnx.jit`装饰器,导致参数无法进行原位更新。
社交媒体
未找到相关讨论。