《LLM学习笔记：最好的学习方法是带着问题去寻找答案》中有简要讲到如何构建一个LLM，看过后应该会想，最初被预训练、后训练修正的原始“模型”是怎么来的，为什么给数据，经过不断训练就能得到一个会说人话的“超大函数”出来呢？

谷歌DeepMind掌门人断言，2030年AGI必至！不过，在此之前，还差1-2个「Transformer级」核爆突破。恰在NeurIPS大会上，谷歌甩出下一代Transformer最强继任者——Titans架构。

Getting your own Transformer/Bluetooth speaker/tape deck won’t come cheap. Robosen has rolled out preorders for Soundwave ...

现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比（O (N2)）。

作者｜周一笑邮箱｜zhouyixiao@pingwest.com如果把现在的顶尖大模型比作一个人，那它一定患有一种罕见的神经系统疾病：顺行性遗忘症（Anterograde Amnesia）。这是 Google Research ...

导语：Transformer 语言模型具有单射性，隐藏状态可无损重构输入信息。 最近，一篇名为《Language Models are Injective and Hence Invertible》的论文在学术界和科技圈引起了广泛讨论，甚至连老马的 Grok 官方也下场转发。 这篇论文出自意大利罗马第一大学（Sapienza University of Rome）的 GLADIA Research ...

对于技术的演进速度，李飞飞认为在五年内，我们有望看到AI在理解物理世界方面取得重大进展。她描绘了一个基于“多重宇宙”（Multiverse）的未来图景：通过大幅降低3D内容生成的门槛，人类可以低成本地创造出无数个平行世界，这些数字平行世界将成为人类物理体验的无限延伸，重塑娱乐、教育、远程协作以及科学探索等多个领域场景 ...

八年前，谷歌 Transformer 奠基之作出世，彻底改变了 AI 界。如今，谷歌另一个极有潜力成为 Transformer 的全新架构 ——Titans，正式在 NeurIPS 2025 亮相。 它完美融合了「RNN 极速响应 +Transformer 强大性能」，集两者之大成。即便在 200 万 token 上下文中，Titans 召回率和准确率最高。博客一出，在全网掀起了海啸级地震。

Review every major moment from Transformers: EarthSpark Season 3, including betrayals, new powers, and the explosive ...