大规模推荐系统的特点是依赖于高基数、异构特征，并需要每天处理数十亿个用户操作。尽管在数千个特征上使用了大量的数据进行训练，但工业界中大多数深度学习推荐模型（DLRMs）在计算方面都无法扩展。 受到语言和视觉领域中Transformer的成功启发，我们重新审视了推荐系统的基本设计选择。我们在生成建模框架中将推荐问题重新定义为序列传导任务（“生成式推荐”），并提出了一种新的架构HSTU，专为高基数、非平稳流式推荐数据设计。 HSTU在合成和公共数据集上的NDCG性能比基准提高了高达65.8％，而在8192长度序列上比基于FlashAttention2的Transformer快5.3倍至15.2倍。基于HSTU的生成式推荐器，具有1.5万亿个参数，在在线A / B测试中提高了12.4％的指标，并已部署在拥有数十亿用户的大型互联网平台的多个表面上。更重要的是，生成式推荐器的模型质量在三个数量级的训练计算中经验性地呈现出幂律规模，达到了GPT-3/LLaMa-2规模，这减少了未来模型开发所需的碳足迹，进一步为推荐领域的第一批基础模型铺平了道路。

由于深度神经网络（DNNs）的非线性特性，当使用仅依赖局部信息的优化器（如SGD）时，无法保证收敛到损失函数唯一的全局最小值。事实上，在该领域发展的早期，这曾是人们质疑DNNs可行性的主要原因之一。过去几十年深度学习的发展表明这种怀疑并不恰当，并且大量实证证据显示，遵循标准训练协议的足够大的DNN能够展现出良好的优化动态行为，并最终收敛到性能优异的解。 这一成功使研究社区倾向于将凸优化作为理解学习过程的心理模型，导致在改进优化器时的关注重点放在训练效率方面，比如所需的迭代次数、计算量（FLOPs）或实际运行时间。我们认为，尽管这种视角带来了极大的成果，但还有一个专属于DNN的独特视角却未受到足够重视：优化器不仅影响收敛速度，还会影响所学解的性质。换句话说，优化器会引入归纳偏置，并改变给定模型类别的实际表达能力。此外，我们相信优化器可以成为在学习过程中编码设计目标的一种有效方式。 因此，我们主张社区应致力于理解现有方法所带有的偏置，并且应以明确诱导解的特定性质为目标来构建新的优化器，而不仅仅依据其收敛速度来评判优化器的优劣。我们希望我们的观点能够激发相关研究，增进我们对学习过程如何影响最终收敛解类型的理解，并促使人们更广泛地认识到：优化器的设计是塑造模型结果的重要手段，它与架构和数据共同发挥作用，是一个不可或缺的关键杠杆。

我们提出了TransEvalnia，这是一种基于提示的翻译评估与排序系统，它在执行评估和排序时运用了推理能力。该系统基于“多维质量指标”（https://themqm.org/）的一个子集提供细粒度的评估，不仅能判断哪个翻译为最佳，还能为各个维度以及整体翻译质量提供具体的评分。我们证明，在我们自己的英日语料以及多个WMT共享任务中的若干语言对上，TransEvalnia的表现等于或优于当前最先进的MT-Ranker系统（Moosa等人，2024年）。我们使用Anthropic公司的Claude-3.5-Sonnet和Qwen-2.5-72B-Instruct作为评估所用的大语言模型（LLM），结果显示，系统给出的评估结果在人类评分者看来具有高度可接受性；Sonnet及其他LLM模型为翻译结果分配的分数，也与人类评分者的打分高度一致。我们还注意到我们的系统以及MT-Ranker对翻译呈现顺序的敏感性，并提出了应对这种位置偏差的方法。所有数据，包括系统的评估与推理过程、人类评估结果以及代码均已公开发布。

潜在的随机微分方程（SDE）是时间序列和序列建模的强大工具。然而，训练潜在SDE通常依赖于伴随敏感性方法，这些方法依赖于模拟和通过近似的SDE解进行反向传播，这限制了其可扩展性。在本工作中，我们提出了一种新的无需模拟的训练潜在SDE的方法——SDE匹配。受现代评分匹配和流匹配算法用于学习生成动力学的启发，我们将这些思想扩展到时间序列和序列建模的随机动力学领域，消除了对昂贵数值模拟的需求。我们的结果表明，SDE匹配在显著降低计算复杂度的同时，实现了与伴随敏感性方法相当的性能。

这本书是一本自包含的介绍现代(深度)神经网络设计的书籍。因为“神经”这个术语带有很多历史背景，所以作者更喜欢在文本中使用更简单的术语“可微模型”。这本250页的书的重点是构建处理$n$D数据的高效块，包括卷积、变换器、图层和现代循环模型(包括线性变换器和结构化状态空间模型)。由于这个领域正在快速发展，作者试图在理论和代码、历史考虑和最近趋势之间取得良好的平衡。作者假设读者对机器学习和线性代数有一定了解，但在必要时也会涵盖基础知识。 这本书是作者在Sapienza教授的名为“数据科学应用的神经网络”课程的讲义的精细草稿。作者没有涵盖许多高级主题(生成建模、可解释性、提示、代理)，这些主题将随着时间的推移在伴随网站上发布。

我们提出了“爱因斯坦场”（Einstein Fields），这是一种神经表示方法，旨在将计算密集型的四维数值相对论仿真压缩为紧凑的隐式神经网络权重。通过建模广义相对论中的核心张量场——即所谓的“度规”（metric），爱因斯坦场使得可以通过自动微分推导出各种物理量。然而，与传统的神经场（例如有符号距离场、占据场或辐射场）不同，爱因斯坦场是一种“神经张量场”，其关键区别在于：当将广义相对论中的时空几何结构编码进神经场表示时，动力学特性会自然地作为副产品浮现出来。爱因斯坦场展现出显著的潜力，包括对四维时空的连续建模能力、不依赖网格、存储高效、导数精度高以及使用简便等优点。我们在多个经典的广义相对论测试场景中解决了相关挑战，并发布了一个基于JAX的开源库，为更可扩展且更具表达力的数值相对论研究方法铺平了道路。代码可在以下地址获取：https://github.com/AndreiB137/EinFields

我们探索了如何利用单目视频实现动态场景的新视角合成。先前的方法要么依赖于在测试时对4D表示进行代价高昂的优化，要么在以前馈方式训练时无法保持场景的几何结构。我们的方法基于三个关键见解：（1）对于在输入视角和目标视角中均可见的共可见像素（covisible pixels），可以通过首先重建动态的3D场景，并从新视角渲染该重建结果来实现渲染；（2）对于新视角中被遮挡的像素，则可以使用前馈的2D视频扩散模型进行“补全”（inpainted）。值得注意的是，我们的视频补全扩散模型（CogNVS）可以通过2D视频进行自监督学习，使我们能够使用大量真实场景视频对其进行训练。这进而实现了第三个关键点：（3）CogNVS可以通过测试时的微调，零样本（zero-shot）地应用于新的测试视频。我们通过实验验证了CogNVS在单目视频动态场景新视角合成任务中，表现优于几乎所有的现有方法。

链式思维（CoT）提示已成为与大型语言和多模态模型交互的广泛使用策略。尽管研究表明CoT在许多任务中可以提高性能，但确定其有效性的场景仍是一个持续的努力。特别是，CoT在哪些情况下系统性地降低模型性能仍然是一个开放的问题。在这篇论文中，我们试图通过借鉴认知心理学，识别出CoT降低性能的任务特征，具体来看以下两种情况：(i) 人类在口头思考或深思熟虑时表现受损的情况，以及 (ii) 影响人类表现的约束条件是否适用于语言模型。我们研究了三种这样的情况：隐式统计学习、视觉识别和处理包含例外模式的分类任务。在所有这三种设置的广泛实验中，我们发现一系列最先进的模型在使用推理时的表现显著下降（例如，OpenAI o1-preview相比GPT-4o的绝对准确率下降了高达36.3%）。我们还识别了三个满足条件(i)但不满足条件(ii)的任务，并发现在这些任务中，虽然口头思考会降低人类的表现，但CoT保留或提高了模型的表现。总体而言，我们的结果表明，尽管模型的认知过程与人类的认知过程并不完全平行，但考虑那些思考对人类表现产生负面影响的情况，可以帮助我们识别出思考对模型表现产生负面影响的场景。通过将关于人类深思熟虑的文献与CoT评估联系起来，我们提供了一个新的工具，可用于理解提示选择和推理时思考的影响。

我们提出了SemCSE，这是一种用于学习科学文本语义嵌入的无监督方法。在文本嵌入对比学习最新进展的基础上，我们的方法利用大语言模型（LLM）生成的科学摘要来训练模型，使其在嵌入空间中将语义相关的摘要表示得更接近。这一目标确保了模型能够捕捉文本的真实语义内容，与之相比，传统的基于引用的方法未必能反映语义上的相似性。为了验证这一点，我们设计了一个新的基准测试，用于评估模型理解和编码科学文本语义内容的能力，证明了我们的方法在嵌入空间中实现了更强的语义区分能力。此外，我们还在全面的SciRepEval科学文本嵌入基准测试中评估了SemCSE，结果表明，在同等规模的模型中，它达到了最先进的性能水平，从而突显了采用语义导向训练方法的优势。

大语言模型（LLMs）的性能从根本上取决于推理过程中所提供的上下文信息。本文提出了“上下文工程”（Context Engineering）这一正式的研究领域，它超越了简单的提示设计，旨在对提供给大语言模型的信息内容进行系统性优化。我们提出了一个全面的分类体系，将上下文工程分解为其基础组成部分，以及将这些部分整合进智能系统中的高级实现方式。我们首先探讨了基础组成部分：上下文的检索与生成、上下文处理以及上下文管理。随后，我们研究了这些组件如何在架构层面进行整合，从而构建出复杂的系统实现，包括：检索增强生成（RAG）、记忆系统与工具集成推理、以及多智能体系统。通过对超过1300篇研究论文的系统分析，我们的综述不仅为该领域建立了技术发展路线图，还揭示了一个关键的研究空白：模型能力之间存在根本性的不对称。尽管当前模型在先进上下文工程的辅助下，已展现出对复杂上下文的强大理解能力，但它们在生成同样复杂且长篇的输出方面仍存在明显局限。弥补这一差距是未来研究的关键优先事项。最终，本综述为推动上下文感知人工智能的研究人员和工程师提供了一个统一的框架。