头条实验室联合伯克利大学让人工智能的推理快

伯克利大学 2018-10-29 13:45:37

  国际人工智能联合会议(IJCAI)上周在纽约召开,作为人工智能领域的盛会,来自大学伯克利分校计算机系的博士二年级学生吴翼带着自己的论文参加了IJCAI,他的另一个身份是今日头条实验室实习生。

  吴翼用两年时间,跟头条实验室负责人李磊博士一起,开发出了一个编译系统,名叫“Swift”。这套系统可以把概率程序语言的运算速度提高60-100倍。

  吴翼和李磊设计的编译系统Swift,是到目前为止,在解决概率编程的运行速度问题上,效果最好的编译器。

  比如,传统的概率程序语言需要150秒才能实现对6000个手写文字的训练和识别。使用Swift之后,只需要5秒,计算机就能全部训练识别完这6000个文字。效率提高了30倍。

  为了证明Swift的有效性,吴翼做了非常多的对比实验。其中重要的一项是对台风登录的预测。没有使用Swift之前,关于台风走势的100万次采样,需要30秒时间;使用Swift之后,只需要0.4秒就能实现全部采样,从而推测出台风登陆的可能性。效率提高75倍。

  他的指导老师——伯克利大学电子工程与计算机系前系主任罗素教授(Stuart Russell),和大学柏迪珂教授(Rastislav Bodik)——分别是人工智能领域和程序语言领域的著名教授。

  Stuart Russell写的《人工智能——一种现代的方法》,被翻译成超过一百种语言,成为全球一千多所高校的人工智能课程教材。

  在Stuart Russell看来,人工智能的最终目标,是要让机器能够像人类一样。如何把结构性的知识通过程序语言,让机器掌握,并进行逻辑推理,一直是一个难点。

  目前大热的深度学习,其实并不能解决逻辑推理的问题。深度学习目前还只能用来做比较简单的数据预测。那么,如何能够让机器学会逻辑推理?概率程序语言可以实现这一目的,它提供了人工智能一项基础任务的解决方法——知识如何表示。它可以对不确定性事件建模,然后预判出不确定性事件未来的。概率程序语言通过通用推理引擎可以对任意概率模型自动作推理,让更多并不精通机器学习的人也可以非常方便的使用人工智能技术。Stuart Russell和他早期学生Brian Milch发明了贝叶斯逻辑(BLOG)即是一种能力强大的概率程序语言。

  ▲用BLOG语言描述的防盗与地震警报模型,上图为概率图模型,下图为BLOG概率程序。

  不过,传统的概率程序语言运算速度非常慢。为此,美国高等研究计划署在2014年设立了一项大型研究计划,资助概率编程与高级机器学习的前沿研究。每年有超过千万美金的科研经费投入到相关实验室里。

  ▲Swift编译系统推理速度与其他系统在几个评测模型上的对比。Swift比其他系统快百倍。

  这篇论文对比了美国各大实验室目前采用的概率推理引擎,在时间与有效性的对比中,Swift完胜微软、MIT、哥伦比亚大学等其他各家开发的系统。“这也是我们给它取名的初衷,Swift,就是要实现逻辑推理真正的敏捷、快速。”李磊说道。

  头条实验室负责人李磊博士,在伯克利作博士后研究时发起了这项研究项目。作为一家把人工智能当做核心技术的互联网公司技术实验室负责人,他深知前言领域的探索性研究对一家公司的意义所在。

  “2011年,沃森机器人挑战游戏;今年,阿尔法狗挑战围棋。它们的意义已经远远超出学术界,对大众的教育和认知意义深远。

  人工智能正在成为改变我们生产生活方式、提高效率的最大动力。对任何一家技术公司而言,一旦科研成功成产品 ,效率的提高,一定是呈几何指数增长的。

  学术界的研究追求认识理解世界的本质,而工业界的研究追求经济有效实用化。我们认为这两者是相互促进的,今年Swift的论文就是从理解世界工业应用的一项基础研究。“

  IJCAI专门设立了一天”工业日“,共各大使用人工智能的企业展示他们的产品,或者推广他们的技术。IBM、索尼、谷歌等企业的技术负责人系数到场,畅谈人工智能在工业界具体产品上的应用。

  大学计算机系朱军教授读了头条实验室这篇论文,他认为这是国内互联网公司的一个可喜变化。” 国内有很多所谓的大数据公司,大部分的公司都是只有数据,没有数据分析。好的数据分析一定需要好的算法,成立实验室的今日头条,在算法上下功夫,才可以让这些数据真正体现出价值。“

  头条实验室是今日头条设立的旨在推动人工智能技术研究的技术平台,致力于让算法更好地理解文字、图片、视频、场景和用户兴趣,从而促进人类信息与知识交流的效率和深度。

  实验室目前研究领域为机器学习、自然语言理解、计算机视觉、人机交互与机器人等方向,聚集了国内外名校(卡耐基梅隆、伯克利、中科院等)毕业的科学家以及在拥有多年一线机器学习应用开发经验的工程师团队,在广告推荐、文本理解、图像视频识别等方面建立了独特技术优势。