智源社区周刊：Gary Marcus谈大模型研究可借鉴的三个因素；OpenAI提出视频预训练模型VPT，可玩MC游戏...

汇聚每周必看AI观点、研究和各类资源，不错过一条重要资讯！欢迎扫码订阅，获取邮件推送。点击阅读原文，访问完整文章、资源及观看链接。

观点

“如果我们要关注到预训练大模型缺失的要素，应该关注以下三个关键因素：

1.参考（Reference）:词语和句子并不是孤立存在的。语言是词语/句子与外部世界之间的联系，而大型语言模型中的单词序列及其缺乏与外部世界的联系。

2.认知模型（Cognitive models）：语言系统的最终目标是更新对于世界的，持续但动态的感知。大模型并不产生这样的认知模型，至少没有产生人们能够可靠地加以使用的这种认知。

3.组成（Compositionality）：复杂的整体，在大多数情况下，能够系统地解释其所在的部分，以及这些部分如何组织在一起的方式。像DALL-E这样的系统在涉及组成的问题时，面临显著的挑战。例如，GPT......不能产生反映句子之间结构关系的、可解释的表示。”

——近日，在谈到预训练大模型的缺陷时，纽约大学教授Gary Marcus认为可以从语言学中学到三个重要因素。

“（在本文中）我提出了名为智能体的通用模型（Common Model of the Intelligent Agent）这一概念，这种决策者（Decision Maker）可以实质性且广泛地应用于心理学、人工智能、经济学、控制理论和神经科学等多个学科......这种通用模型包括多个方面：决策者与其直接的交互，需要有输入、输出和目标，以及决策者内部的系统构成，用于感知、决策、内部评估，以及一个世界模型。我注意到它们在不同的学科中有着不同的名字，但是本质上是同样的概念......现在是时候认可并构建一个实质性的通用智能体模型，能够横跨并融合多个领域了。”

——在今年的一篇新论文中，强化学习之父Richard Sutton提出了智能决策者的通用模型思路，认为能够统一多个学科领域的研究。

科学家动态

1. 德克萨斯州大学奥斯汀分校教授Scott Aaronson入职OpenAI

6月20日，德克萨斯州大学奥斯汀分校教授Scott Aaronson宣布将在OpenAI工作一年，其主要职责是思考人工智能安全和对齐（AI Safety and Alignment）的理论基础。Scott Araonson是德克萨斯大学奥斯汀分校计算机科学教授，担任量子信息中心主任，他的研究领域包括量子计算机的性能与局限，更广义的计算复杂度理论等。2020年他因在量子计算领域的贡献获得ACM计算奖。

1. AI2 CEO Oren Etzioni即将卸任，董事会已开始招募继任者

Oren Etzioni是华盛顿大学的荣誉教授，曾任计算机科学与工程系的教授。目前他将继续担任首席执行官至今年9月30日，之后担任董事会成员和顾问。AI2是由已故微软联合创始人Paul Allen于2014年在美国创建的一家人工智能研究机构，开展包括NLP等在内的人工智能研究和工程项目， 知名项目包括学术搜索引擎Semantic Scholar等。

1. 盘点这些年AI科学家加入的初创公司

近两年，从国内外科技大公司离职的科学家们，主要有两条发展路径：一是从工业界回到学术界，二是从大厂离开、自己创业。本文盘点了AI科学家加入的国内创业公司，如小冰、创新奇智、循环智能等，以及这些科学家的发展情况。

研究前沿

点击阅读原文查看完整内容

1. 谷歌提出基于Pathways的自回归文生图模型Parti，效果媲美Imgen

2. 强化学习之父Richard Sutton撰文：追寻智能决策者的通用模型

3. 清华天机芯X芯片登上Science Robotics

4. OpenAI提出视频预训练模型VPT，可以玩Minecraft游戏

机构动态

点击阅读原文查看完整内容

1. OpenAI三大产品（GPT-3、Copilot、DALL-E）注册用户均破百万，DALL-E实现这一目标不到三个月

2. CIFAR公布第二阶段泛加拿大AI战略，将在十年内提供超过4.43亿美元的资金支持

3. Cohere、OpenAI、AI21联合发布部署模型的三大最佳实践准则

活动

1. 视频回放 | 2022智源大会开幕式及分论坛视频上线

2. 活动报名 | 中国人工智能学会：2022中国国际智能驾驶论坛-科技变革的智能驾驶（6月25日）

3. 活动报名 | MIT、威斯康星、UMass、犹他大学等研究者：MLNLP第八期学术研讨会（6月26日）

4. 活动报名 | 伊利诺伊大学厄巴纳-香槟分校（UIUC）李博：可信机器学习之机器学习与知识推理相结合（6月30日）

资源

点击阅读原文查看完整内容

1. FlagAI飞智：AI基础模型开源项目，支持一键调用OPT等模型

2. 北约集团研究报告：知识表示与推理-技术现状和未来机遇综述

3. 2021年中国深度学习软件框架市场研究报告

4. CVPR2022微软《视觉语言预训练进展》教程

---

查看预训练、强化学习等领域周刊内容，欢迎点击阅读原文。

周刊线索征集和合作，请联系：editor@baai.ac.cn