卷积神经网络和长期短期记忆网络的核心，是深度学习的两个主要支柱，甚至在像Google的Transformers这样的更现代的网络中，大多数计算都是线性代数计算，称为张量数学。最常见的是将一些输入数据转换为向量，然后将向量乘以神经网络权重矩阵的列，然后将所有这些乘积相加。称为乘法和加法，这些计算在计算机中使用所谓的“乘法-累加”表示。电路或“ MAC”。因此，仅通过改善MAC并在芯片上创建更多MAC以提高并行度，即可立即改善机器学习。领导AI培训的Nvidia和领导CPU进行机器学习推理的Intel都试图调整其产品，以利用这些原子线性代数功能。 Nvidia在其中添加了“张量核心”其Tesla GPU来优化矩阵乘法。英特尔已经斥资300亿美元收购了从事机器学习的公司，包括Mobileye，Movidius和Nervana Systems，其中最后一家应引起“神经网络神经处理器”的发展。在某个时候，尽管有所延迟。到目前为止，这些举措还无法满足诸如Facebook的LeCun之类的机器学习的需求。在2月份与ZDNet的一次聊天中，LeCun认为：“我们需要的是竞争对手，现在是主要的供应商[Nvidia]。”他说，这并不是因为英伟达没有取得良好的议价能力。这是“因为他们做出了假设”。他继续说：“并且拥有一套可以用来补充当前擅长的GPUS的硬件是一个不错的选择。”他说，有缺陷的假设之一是假设训练神经网络将是“整洁的阵列”。可以解决的问题。相反，未来的网络可能会使用大量的网络图，其中神经网络的计算图的元素将作为指针流式传输到处理器。 LeCun表示，芯片必须执行大量的乘法运算，但是对于如何将这些乘法运算呈现给处理器，人们有不同的期望。作为TPU芯片的贡献者之一，谷歌软件工程师Cliff Young去年10月在硅谷举行的一次芯片活动上发表了主题演讲时更加直言不讳。 “很长一段时间以来，我们都拒绝了，并说英特尔和Nvidia在建立高性能系统方面非常擅长。”杨说。 “五年前，我们已经超过了这个门槛。”在这种漏洞中，新芯片来自诸如Google之类的人工智能巨头以及众多由风险资本支持的初创公司。除了现在已经进行了第三次迭代的Google TPU之外，Microsoft还具有可编程处理器，即“ FPGA”处理器。名为Project Brainwave的项目，客户可以通过其Azure云服务进行租用。亚马逊表示将推出自己的定制芯片“ Inferentia”。今年晚些时候。当LeCun在2月份与ZDNet交谈时，他提到Facebook有自己的议价芯片。 “当然，拥有大量产品（例如Google和Facebook）的公司对您自己的引擎工作有意义。”乐村说。 “这方面有内部活动。”初创公司包括Graphcore，这是位于伦敦西南一个半小时的港口城市布里斯托尔（Bristol）的五年初创企业； ZDNet描述了Cornami，Effinix和Flex Logix。硅谷的Los Altos的Cerebras Systems和Cerebras Systems仍处于秘密模式。这些初创公司中有许多有一个共同点，那就是大大增加用于矩阵乘法的计算机芯片区域（即MAC单元）的数量，以便在每个时钟周期中挤出最大的并行化。 Graphcore是所有创业公司中最遥远的公司，也是第一家将生产芯片实际发送给客户的公司。第一块芯片最引人注目的一件事就是大量的内存。为了纪念世界上第一台数字计算机，Colossus被称为具有806平方毫米巨大面积的芯片。首席技术官西蒙·诺尔斯（Simon Knowles）称其为“迄今为止最复杂的处理器芯片”。 Colossus由1,024个独立的内核组成，这些内核称为“智能处理单元”，每个内核都可以独立处理矩阵数学运算。众所周知，每个IPU都有自己的专用存储器，即256 KB的快速SRAM存储器。总共304兆字节的内存是芯片中最常用的内存。没有人知道芯片上这么多内存的存在将如何改变所构建的神经网络的类型。可能是因为通过访问越来越多的内存，访问速度非常低，并且更多的神经网络将专注于重用