跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
抗浪涌电阻捷比信 · 专业器件主题站

深度学习现状的乐观分析

尽管如今深度学习仍然很热门,但加里·马库斯(Gary Marcus)向我们倒水了。加里·马库斯(Gary Marcus)说,不要忽视深度学习的各种问题。实际上,深度学习的现状一点也不乐观。我们还有很多问题要解决。我们学到的知识不是很深,很难转移。纽约大学心理学教授加里·马库斯(Gary Marcus)是优步(Uber)人工智能实验室的负责人。他创立的人工智能初创公司Geometric Intelligence被Uber于2016年12月收购,他加入Uber帮助他们建立了一个人工智能实验室。加里·马库斯(Gary Marcus)还呼吁研究人员“借用认知科学领域的知识”。建立更多类似于人类的认知概念。但是,加里·马库斯(Gary Marcus)并不是一个非常令人鼓舞的“积极人”。实际上,他一再向人工智能和深度学习领域泼冷水,警告每个人我们正在取得的进展多么微不足道,以及人们的乐观程度如何。在圣诞节和新年假期之后,加里·马库斯(Gary Marcus)在arXiv上上传了一篇论文,并对热门深度学习的现状进行了全面而又不乐观的分析。他在论文中指出了当前炙手可热的深度学习的十个问题。编辑简要介绍了这十个问题,如下:首先,渴望大量的数据,人类学可以按照清晰的规则学习,例如学习一个未知数中的三个二次方程式。填写完此表格后,可用于解决各种问题;您还可以从一些示例中快速学习隐式定律。看到Pekingba和Shiba Inu之后,当您看到Demu时,您就会知道它也是一种狗。但是,深度学习并非如此。 “更多数据=更好的模型性能”;是深度学习的基本法则。它没有能力从字面上给出的法律中学习。对于企业而言,在深度学习时代,IT巨头更容易使用大量数据来建立Matthew效应,而二线竞争对手已开始担心。学者们对此也不是很乐观。杰弗里·欣顿(Geoffrey Hinton)在最近的一篇胶囊论文中还提到了“新类别中卷积网络泛化能力的困难”。或将特征检测器复制到网格中,网格的大小随维数成指数增加,或者标记的训练集的大小成指数增加。”在可用数据有限的情况下,深度学习通常不是最佳选择。第二,学到的知识不是很深入,很难转移。大家都知道,“深”是指深度学习的含义是指网络的深度和隐藏层的数量,以及人类喜欢和尊重的事物的运行规律的深刻总结,这是深度学习中找不到的。即使对于需要与环境互动并且应该更好地了解环境规律的强化学习模型,一旦环境发生变化,他们仍然需要重新适应-实际上,他们并没有真正理解“墙”是什么, “渠道”"这是什么。除了具有这种特征的DeepMind用于玩Atari游戏的强化学习模型外,许多其他研究人员还在各自的研究领域中观察到,输入数据的微小变化会导致输出结果产生巨大差异。深度学习模型学习到的数据模式似乎比我们想象的要弱得多。 3.层次结构难以处理。例如,对于大多数深度学习语言模型,句子只是一串单词。但是,在语言学家的眼中,句子具有固有的层次结构。长英语句子中的定语从句是一个典型的例子。这也是一个结构基本完整的句子。从层次结构的角度来看,它只是对某个单词或短语的补充说明。深度学习对于各种层次结构来说是无能为力的。人类可以将“煮饭”的目标划分为两个目标。放入“洗米,加水,并设定燃烧时间”一步一步地完成这些动作。游戏AI还需要在单个操作和全球策略之间找到平衡与协调。然而,深度学习不能提供层次的理解,总结,控制等。它学习的特征是“平坦的”或非层次的,并且每个特征只是列表中的一项。因此,深度学习系统本身不具有表达层次结构的能力,并且尝试使用某些技术尝试提取层次结构的模型(例如Word2Vec)可以立即脱颖而出。但是,考虑到大多数任务,大多数数据和大多数电气系统具有明显的层次结构(