悠悠2015-12-17 4:32 PM

Computer and Information Science

Science最新:机器能像人类那样学习了!

人类可以通过查看一个概念(concept)的一个或者几个简单的例子(instances)就能够识别出更多其他例子,更具体说,例如人第一次看到一头猪,就能识别这头猪的一些概念特征,耳朵很大,鼻子突出,大鼻孔等等,当人得知长这样的物体是猪之后,下次他去农场,就能将猪认出来,就算那里还有更多其他家畜。 这是人类很重要的一种学习能力。

现在,科学家们已经开发了一种算法,它捕获了人类同样的学习能力, 能够使计算机识别并绘制简单的视觉概念。

这项研究被发表在《科学》杂志上,它极大地缩短了计算机学习新概念的时间,并扩大了他们在更有创造性的任务上的应用。

“我们的研究结果发现通过反向工程人类思考问题的模式,我们可以开发一个更好的算法” 论文的第一作者,纽约大学穆尔 - 斯隆数据科学研究员Brenden Lake解释到,“此外,这项研究也为其他机器学习能力的差距缩小提供了方法。”

当人类接触一个新的概念,例如一件新的厨房用具,一个新的舞蹈动作,或者一个我们不熟悉的语言的新词时,我们往往只需要看一个或者几个例子就能明白它的组成并且能够识别新的其他类似的物体,但是机器到现在为止只能识别几种样式,例如ATM机器可以读取支票上的数字,但它具有这种能力是因为人类输入了几千几万个例子它才获得了一定的读取准确性。

“要让机器只需要人类学习时候那么少的数据就能学习一个新的概念是非常困难的,” 该研究联合作者,多伦多大学计算科学助理教授Ruslan Salakhutdinov表示,“复制人类的学习能力是一个让人兴奋的领域,它需要整合机器学习,统计学,计算视觉和认知科学。”


字母‘A’的例子


Picture from Futurity.com
Picture from Futurity.com


Salakhutdinov 十年前在和他的博士生导师 Geoffrey Hinton 合作进行的一项最终发表于《科学》的研究时就已经建立了对“深度神经网络” 的学习兴趣。 在这项研究中,他们的算法学习了从0到9这10个手写数字的结构,他们给予了每个数字6000个例子,也就是说一共6万个例子。

在新的研究中,研究人员缩短了学习的过程并且使之拥有更接近人类获取和应用知识的方式,举例来说,只通过学习几个例子就执行一系列任务,比如创建一个概念的新的例子或者创建一个全新的概念。

为了实现这一点,他们开发了一个“Bayesian Program Learning” (BPL) 框架,在这个框架中概念可以像简易的计算机程序那样被展示,举例来说,一个字母‘A’可以被展现为计算机代码,这些代码和程序员书写的代码非常类似,运行这些代码可以生成一个字母的不同例子。 到现在为止这个机器学习的过程都不需要程序员:算法可以自行编程构建代码来构建他们自己看到的字母。

和标准计算机代码每次运行都只能输出同样的内容不一样,这种概率程序每次输出不同的内容。这使得他们可以捕获一个概念所展现的多样的例子,就像两个不同的人会写出两个不同的字母‘A.

通过学会的学更多(learns to learn)

研究人员将BPL 模型应用到了世界上50个手写系统的超过1600种手写字母

标准的样式识别算法通过像素配置和一系列特征集合来展现一个概念,而BPL 方法学习了现实世界处理的使用的“生成模型”,使得学习成为通过将提供给算法的数据进行“建模”和“解释”的一个事件。

在识别和书写字母过程中,BPL 被设计成可以捕获现实世界处理过程中所产生的所有正式和非正式的写作方式,这使得算法能够更有效地利用数据。 BPL 模型还能够“learns to learn”, 即通过利用之前已经学会的概念的知识来加速它们学习新概念的速度,例如,它们可以利用学习拉丁字母获得的知识来学习希腊字母。

研究作者将这一模型应用到了世界上50个手写系统的超过1600种手写字母,包括梵文,藏文,古吉拉特语,对格拉哥里,甚至还包括那些例如电视剧Futurama发明的字母。


通过图灵测试


机器和人同时输出字符
机器和人同时输出字符


为了测试这个算法识别一个概念新的例子的能力,研究作者让人和计算机在看到每个字母的几个例子之后就同时手写一系列这个字母。 或者有时候,让人和计算机同时在看了几个字母后创建一个新的同式样的字母。研究人员们然后通过“视觉图灵测试”比较这些人类和计算机的输出, 也就是给人类裁判几组混合了原始的参考字符,计算机输出字符和人类输出的字符图片,让它们辨别哪一些是由计算机创建的。 结果发现,人类裁判的识别正确率仅为25%,和随机的结果差不多。也就是说这一算法通过了视觉图灵测试。

“孩童在进入幼儿园之前就已经学会了通过几个简单的例子就能辨别一个新的概念,并且能够想像它们从来没有看到过的新的例子,” 研究作者之一,来自麻省理工大学大脑科学和认知科学部门的教授Joshua Tenenbaum表示,“我从90年代末还在读博士期间就一直想构建这种这种牛叉的学习能力。 我们离构建像孩童那样聪明的机器还有很大的距离, 但这是我们第一次拥有一种能够学习和利用大规模现实世界概念的机器,就算只是一些简单的但是连人类都不容易的辨认的手写字母的视觉概念。”

该研究得到了美国国家科学基金会,麻省理工学院的大脑,心智与机器研究中心,陆军研究办公室,海军研究办公室和纽约大学穆尔 - 斯隆数据科学实验室的支持。


参考文献:

Brenden M. Lake, Ruslan Salakhutdinov, Joshua B. Tenenbaum. (2015). Human-level concept learning through probabilistic program induction. Science. DOI: 10.1126/science.aab3050


新闻原文:

Scientists teach machines to learn like humans

New York University

https://www.sciencedaily.com/releases/2015/12/151210144535.htm



KEYWORDS

Machine Learning Science

SHARE & LIKE

COMMENTS

ABOUT THE AUTHOR

悠悠

主编 唧唧堂 内容运营

唧唧堂主编,热爱八卦和运动,学术的话最近最感兴趣的是各种医学的研究~~欢迎大家加我个人微信:hiyouyouxuan, 一起探讨如何把唧唧堂变得更好~~

11 Following 23 Fans 0 Projects 56 Articles

SIMILAR ARTICLES

几十年的互联网发展已经证明其是人们信息共享强有力渠道,并且开始成为实现所谓的“群众的智慧”的重要根据地。互联网经济新近的一个重要的趋势是,各种评价系统不断涌现,这种评价系统有针对餐馆酒店的,比如大众点评; 有评价旅游景点的,比如穷游网; 有打算评价教授大学的,比如唧唧堂,甚至有评价宗教人士的,小编暂时

Read More

我们都知道,即使在产业内,公司的生产率也是不同的。 在国家层面这种差别更大,特别是当我们比较处于不同经济发展阶段的国家时。另外,在资本的边际收益产品中我们也可以发现这种生产率的差别。 该论文发表之前已经有研究试图从不同行业国家经济变量参数的边际产品波动中识别出资源的不当配置程度,以及这种不当配置对社会

Read More

没有一个城市是单一产业的城市,就连好莱坞或者硅谷都不是。 同样,也没有任何一个城市是拥有完全不同产业的。 传统的城市系统模型聚焦的城市非常两极化,要么研究产业完全专业化的城市(completely specialized city),要么研究完全不同的城市(completely diverse cit

Read More

人类可以通过查看一个概念(concept)的一个或者几个简单的例子(instances)就能够识别出更多其他例子,更具体说,例如人第一次看到一头猪,就能识别这头猪的一些概念特征,耳朵很大,鼻子突出,大鼻孔等等,当人得知长这样的物体是猪之后,下次他去农场,就能将猪认出来,就算那里还有更多其他家畜。 这是

Read More

很多经济学家认为增加最低工资可以解决穷人的贫困问题,所以在他们的推动下,美国多次提高了最低工资,例如2007美国工人每小时最低工资为5.15美元,这一数字在2009年上升到了7.25美元。但是最低工资真的可以解决贫困问题吗?增加的最低工资是谁买单的?是公司,我们知道,一般雇佣最低工资员工最多的是餐馆和

Read More

每年12月,英国伦敦的Digital Science公司都会评选出该年最热门的100篇论文,他们的评论标准,并不是根据论文发表杂志的影响因子,而是利用他们自己建立的Altmetric评价系统, 基于论文在媒体、博客、推特、脸书和维基百科等类非学术共同体被引用或转发的情况而定的,所以选出的论文不仅有重大

Read More

Moodle 设计开发是依据以下对 “社会构建教育”的理解展开的。 对社会教育的理解包括以下几个方面,我觉得对唧唧堂的发展应该也有知道意义。 Constructivism (构建主义) From a constructivist point of view, people actively

Read More

悠悠 Sep 06 | 06:40 PM

建构主义学习理论

创造产业是许多科技人员的梦想,虽然这很不容易做到。一位很优秀的博士生,导师是“大牛”,在国际学术界有一定知名度。博士生已在IEEE Trans发表了多篇论文,有的还在国际会议上得奖。但面临毕业后的选择,仍然很艰难。因为他清楚,继续堆SCI可以在科技界呆下去,但处在应用科学界,原创性贡献的方向在哪里?与

Read More

This is a lay summary for the article <Repeated Interactions and Improved Outcomes: An Empirical Analysis of Movie Production in the United States> tha

Read More

我提过多次的MIT认知科学家Josh(今年将来中国做邀请演讲)发表在pnas的论文中,比较了抽象知识的不同表征结构,如星形结构、聚类结构、环形结构等等,最终还是意识到,人类的最佳知识结构是树形结构。只有树形结构,才是最符合人类认知特点的一种结构,从树的上一层到下一层,是具备唯一通道,便于大脑将知识从记

Read More