推进一流的大型模型、计算优化的强化学习智能体以及更透明、更道德和更公平的 AI 系统
第三十六届神经信息处理系统国际会议 （NeurIPS 2022） 将于 2022 年 11 月 28 日至 12 月 9 日在美国新奥尔良举行，作为混合活动。
NeurIPS是世界上最大的人工智能（AI）和机器学习（ML）会议，我们很自豪能够作为钻石赞助商支持该活动，帮助促进AI和ML社区的研究进展交流。
来自 DeepMind 的团队将展示 47 篇论文，其中包括 35 篇虚拟小组和海报会议的外部合作。以下是我们介绍的一些研究的简要介绍：
一流的大型模型
大型模型 （LM） - 基于大量数据训练的生成式 AI 系统 - 在语言、文本、音频和图像生成等领域产生了令人难以置信的性能。他们的成功部分归功于他们的规模。
然而，在 Chinchilla 中，我们创建了一个700 亿参数的语言模型，它的性能优于包括 Gopher 在内的许多大型模型。我们更新了大型模型的缩放定律，显示了以前训练的模型对于执行的训练量来说太大了。这项工作已经塑造了遵循这些更新规则的其他模型，创建了更精简，更好的模型，并在会议上获得了杰出主轨道论文奖。
基于Chinchilla和我们的多模态模型NFNets和Perceptionr，我们还介绍了火烈鸟，一个很少学习视觉语言模型的家族。处理图像、视频和文本数据，火烈鸟代表了纯视觉和纯语言模型之间的桥梁。单个火烈鸟模型为各种开放式多模态任务的少镜头学习设定了新的技术水平。
然而，规模和架构并不是对基于变压器的模型的强大功能至关重要的唯一因素。数据属性也起着重要作用，我们将在有关促进转换器模型中上下文学习的数据属性的演示中对此进行讨论。
优化强化学习
强化学习（RL）作为一种创建通用人工智能系统的方法显示出巨大的前景，该系统可以解决各种复杂的任务。它导致了从Go到数学的许多领域的突破，我们一直在寻找使RL智能体更智能，更精简的方法。
我们引入了一种新方法，通过大幅扩大可用于检索的信息规模，以计算高效的方式提高RL智能体的决策能力。
我们还将展示一种概念简单但通用的方法，用于在视觉复杂的环境中进行好奇心驱动的探索 - 一种名为BYOL-Explore的RL智能体。它实现了超人的性能，同时对噪音具有鲁棒性，并且比以前的工作简单得多。
算法进步
从压缩数据到运行模拟以预测天气，算法是现代计算的基本组成部分。因此，渐进式改进可以在大规模工作时产生巨大影响，有助于节省能源、时间和金钱。
我们分享了一种基于神经算法推理的全新且高度可扩展的计算机网络自动配置方法，表明我们高度灵活的方法比当前技术快 490 倍，同时满足大多数输入约束。
在同一次会议中，我们还对先前的“算法对齐”理论概念进行了严格的探索，强调了图神经网络和动态规划之间的微妙关系，以及如何最好地将它们结合起来以优化分布外性能。
负责任地开拓
DeepMind使命的核心是我们致力于成为人工智能领域负责任的先驱。我们致力于开发透明、合乎道德和公平的人工智能系统。
解释和理解复杂人工智能系统的行为是创建公平、透明和准确系统的重要组成部分。我们提供了一套捕捉这些雄心壮志的desiderata，并描述了实现这些雄心壮志的实用方法，其中包括训练人工智能系统来构建自身的因果模型，使其能够以有意义的方式解释自己的行为。
为了在世界上安全和合乎道德地行事，人工智能智能体必须能够推理伤害并避免有害行为。我们将介绍一种称为反事实伤害的新统计度量的合作工作，并演示它如何克服标准方法的问题，以避免追求有害的政策。
最后，我们将介绍我们的新论文，该论文提出了诊断和减轻由分布偏移引起的模型公平性故障的方法，展示了这些问题对于在医疗保健环境中部署安全ML技术的重要性。
