百度CTO王海峰：框架是深度学习的核心

　　6月28日消息 日前有报道称，新晋百度首席技术官王海峰日前受邀出席了第二十三届中国国际软件博览会，并在全球软件产业发展高峰论坛上发表了演讲！那么，王海峰在演讲中都说了些什么呢？感兴趣的朋友，不妨来了解一下。

　　据悉，王海峰在演讲中指出，深度学习已经广泛应用，它的核心的东西是深度学习框架，可以说深度学习框架是智能时代的操作系统，它向下会对接芯片，芯片会针对深度学习框架里面的这些运算来进行优化，向上是支撑各种应用，核心的部分有训练框架，有了很多数据，跟应用相关的数据，然后进行训练，训练得到模型。然后预测框架会基于已经训练好的模型，针对应用与应用相结合，最后实现真正的应用。除了训练框架和预测框架以外，还有相应的各种辅助工具。

　　王海峰认为，深度学习一旦应用到某一个行业里面，包括旅游、物流、零售、汽车等，都会带来很大的商业价值的提升！另外，王海峰还重点介绍了百度的深度学习平台飞桨（Paddle），目前该平台支持超过70个主流的模型，包括视觉的自然语言处理的、推荐的、语言的等。

　　以下为王海峰演讲全文：

　　今天会议的主题是软件，我就跟大家分享一个人工智能时代非常重要的技术软件平台，深度学习平台。百度的深度学习平台的中文名是飞桨、英文名字叫Paddle。

　　我们知道人类社会过去几百年已经经历了三次工业革命，第一次工业革命为人类带来了机械技术，第二次带来了电器技术，第三次带来了信息技术。每一次工业革命核心的驱动技术都有一个共同特点，就是它们是相对通用的，不仅仅是某一个行业，而是在各行各业都会起作用。就像我们熟悉的电在我们生活中已经无处不在。我们很幸运，我们处在一个时代，这个时代是正在经历人类的第四次工业革命，这次工业革命核心的驱动技术就是人工智能技术，人工智能已经成为新一轮科技革命和产业变革的核心驱动力量，人工智能正推动我们这个时代进入智能时代。

　　人工智能经历过60多年的发展，应该说经历了三个很典型的阶段，从人工智能技术的角度，早期是靠人工的规则，后来有了机器学习，过去这些年推动人工智能在各行各业广泛应用的是深度学习，当然深度学习也是机器学习的一个分支。

　　我刚才说起推动工业革命的技术往往是通用的，我们看几个例子，比如说人工智能里面一个很典型的任务做文字的识别。早期文字识别更多用规则，然后引入一些机器学习的技术，那时候一个文字识别过程很复杂，比如一个典型的OCR系统要分六步，从区域检测、行分割、字分割等等处理下来才能识别出来一些文字。用了深度学习技术以后，缩减为两步，一个检测一个识别，当然依托的是大数据的技术。深度学习技术在OCR进一步的演进变成了端到端的识别系统，实现了多任务联合训练，端到端的联合学习，包括特征的互用和互补。

　　再看另一个在人工智能领域的技术，自然语言处理，经历了从人工规则到自动学习到深度学习过程，早期自然语言处理规则往往是靠专家，尤其是语言学专家结合各种领域知识来写的规则，这时候开发成本非常高。而且从一个领域迁移到另一个领域，或者从一个语言迁移到另一个语言都非常困难。后来有了机器学习自然语言处理以后，有大量的模型，我们为了使用这些模型要进行数据选择、训练、模型的选择还有特征工程等等，虽然自动化程度高了很多，但还很不标准化，同时过程也很复杂。用了深度学习以后进一步实现了更好的标准化和自动化。深度学习既然已经广泛应用，它的核心东西是什么？核心的东西是深度学习框架。我们可以说深度学习框架是智能时代的操作系统，它向下会对接芯片，芯片会针对深度学习框架里面的这些运算来进行优化，向上是支撑各种应用，核心的部分有训练框架，有了很多数据，跟应用相关的数据，然后进行训练，训练得到模型。然后预测框架会基于已经训练好的模型，针对应用与应用相结合，最后实现真正的应用。

　　除了训练框架和预测框架以外，还有就是有相应的各种辅助工具。比如说怎么样让网络选择更自动化，比如说更低门槛的进入等等，有很多辅助工具。

　　这就是百度的飞桨深度学习平台，大家看到这个平台最下面是核心框架，我刚才说的训练框架、预测框架等等都在里面，但是每一部分又有很多事情要做，比如说大规模分布式训练、工业级预处理，要做安全的加密等等，同时为每一个典型的领域又会提供很多的模型库，比如说自然语言处理，对计算机视觉、语音、推荐等等这些。工具组建，除了基本的学习框架以外，有深度学习的工具组建、有迁移学习的、有强化学习的，同时还有自动化的网络设计。从服务平台这一层，比如说EDL，你即使不懂深度学习技术也不懂写代码，利用这个平台可以零基础的定制和训练以及提供服务。

　　现在飞桨已经官方支持超过70个主流的模型，包括视觉的自然语言处理的、推荐的、语言的等等。比如说像其中刚才提到的自然语言处理，就提供了一系列面向工业应用的中文的LP的工具集，包括基础网络层，也包括应用层，比如说中文的词法分析、情感分析、语义匹配、对话等等。

　　这里我讲一个对于语义的解释，基于语义的解释可以完成很多分析理解处理的任务。大家可能听说过Google出了一个自动学习，我们从数据里面去自动训练自动学习，但同时，人类的智能大家都知道，很重要一点还是有知识的，所以我们做的知识增强的语义表示模型，大家可以看到，跟基础的系统相比，各方面的性能都会得到一个很大的提升，而且已经得到了广泛的应用。

　　再举一个视频的例子，视频的工具集包括视频的自动分类、视频的语义项量、视频标签集等等，这些也会应用于很多任务，比如做信息流、包括搜索包括语义上的各种系统。右边是一个视频的例子，大家可以看到怎么样分析这个视频。为了用好深度学习，一方面算法要有先进的算法，另一方面算力的支撑也非常重要，所以我们有一系列分布式计算的技术里面，大家可以看到，从单机单卡到单机双卡到多机多卡，整个训练的技术也会有很大的提升。为了支撑，我们有一个大规模的参数服务器，这个也是在应用中很重要的一部分，它可以适应不同的场景，比如说有超大规模的数据、海量的特征以及适应数据自膨胀的特点，包括高频率的可以进行模型的迭代。为了做工业机数据的自处理，我们有一系列技术，右边有一些技术优势，比如说分布式文件系统，IO直尺，高性能、多生产者、多消费者的设计等等这些。还有很重要的一点，我们为了让它更广泛的应用，往往在做一个应用的时候，不仅仅是其中一个模块做好就行了，更重要的还要有端到端的全流程部署方案。

　　大家看到，我们要做好这个全流程的真正部署到一个应用里面去，需要有底层硬件的支持，不管CPU、GPU还是移动端的硬件，以及相应要有推理引擎，然后有各种不同的程序设计语言的支持，相应的工具以及提供软硬一体的方案等等一系列，形成全流程的部署方案。举个例子，比如说我们把这样一套设备端部署解决方案用来进行识别虫害，这样一个任务，我们涉及到底层的平台，涉及到工具站，涉及到模型怎么样训练、怎么样部署等等，当然这一系列是基于百度的平台支持。

　　我们都知道现在深度学习的核心是神经网络，网络第一步要干什么？第一步要做网络结构的设计，网络结构设计早些年更多是靠人类专家来做这个设计，靠他的经验，经验更足，人可能把网络设计的更好，从而得到更好的结果。但是这个过程其实是专业度很高同时也不容易的一个过程，现在我们已经可以进行自动化的网络设计，这里就是一个自动化网络设计的例子，大家可以看到，左边是专家手工设计的网络，右边是机器自动设计的一个网络。我们基于这套自动设计网络AutoDL，也进行了开源，也在Paddle进行了AutoDL部分的开源，同时也进行了模型的开源，效果达到了比人工设计网络更好的效果，相当于它自动化程度更高，省时省力，同时效果也更好。

　　前面我提起深度学习现在用的非常广，但并不是每一个人都很全面的掌握了深度学习技术，那么我们能提供一个更方便的工具平台，可以让基础不太多甚至零基础的人也能来用、来解决自己的问题，我们提供了这样一个定制化训练和服务平台，EasyDL，可以把各种数据送进来进行加工学习、部署，最后提供服务，既可以提供云端服务也能提供各种智能设备上的服务。

　　这里我不再讲EasyDL背后的各种技术，但是给大家看一个曲线，我们看一下基于EasyDL进行模型训练的数量在持续的增长，现在已经有超过三万个第三方应用的模型，基于EasyDL实现，然后来解决自己的任务。

　　这是另一个例子，农作物，在农耕地块的识别，这里涉及到在这个应用场景里面提取相应的数据，然后用卫星遥感数据进行模型训练，然后进行融合、部署，最后完成一个，比如说这个地块里面，作物长得怎么样，有没有灾害等等进行这种识别，自动的就可以进行农耕地的监测。刚才举的只是两个行业，我们看一下，实际上百度的飞桨这个深度学习平台，已经用在很多行业里面，用在很多行业里面，我们也相应的要看一看各个行业发展的趋势。当然这个报告是麦肯锡提供的报告，我们可以看到，深度学习一旦应用到某一个行业里面，可能带来的提升幅度，大家看到，旅游、物流、零售、汽车等等，各个行业都可以因这个深度学习的应用带来很大的商业价值的提升。时间也到了，我今天的报告就到这里，我希望我们的飞桨深度学习平台能推动人工智能发展，加快产业智能化。

　　谢谢大家！