<cite id="vflnt"><strike id="vflnt"><thead id="vflnt"></thead></strike></cite>
<cite id="vflnt"></cite>
<cite id="vflnt"></cite>
<cite id="vflnt"></cite>
<cite id="vflnt"><strike id="vflnt"></strike></cite>
<var id="vflnt"></var>
<var id="vflnt"><video id="vflnt"><thead id="vflnt"></thead></video></var>
<cite id="vflnt"></cite><cite id="vflnt"></cite><ins id="vflnt"></ins>
<var id="vflnt"></var>
<cite id="vflnt"><video id="vflnt"><thead id="vflnt"></thead></video></cite><var id="vflnt"></var><var id="vflnt"><strike id="vflnt"></strike></var><var id="vflnt"><strike id="vflnt"></strike></var>
<var id="vflnt"></var>

分享GPU、CPU人工智能推理服务优化

2019-11-08 23:19:00

分享GPU人工智能推理服务优化,开放的视觉推理和神经网络优化工具包,使开发人员能够根据学习框架,不同的深度,如目前流行的TensorFlow,MXNet来自Caffe和框架,如AI模型进行了优化,并将其部署到各种产品。更高效由于以前本领域英特尔投资,包括CPU,FPGA,现场可编程门阵列等VPU Movidius视觉处理单元。
据了解,对于人工智能的推理服务优化,除了常见的CPU与GPU计算资源,对多种使用OpenVINO 进行异构计算加速人工智能算法的方案进行了开发评估,包括FPGA、VPU等计算资源。已完成开发的多种性能自动化评估工具、以及延时与吞吐最优部署自动化评估工具,也大幅提升了对不同人工智能算法加速与优化的开发效率。
GPU、CPU混用的方案,能够在不同情况下切换算力硬件,满足视频平台的各种需求。
以AI布局为例,公司里面CPU的资源池要比GPU的资源池大得多,CPU池子比较容易做负载的调度,从而得到较强的抗高峰能力;另一方面,非高并发情况下,整体基于CPU的推理成本也比GPU要低很多,吴杰珂介绍道。
在OpenVINO调整好(准确率和延时)之后,平台整体获得了6-8倍的延时性能的提升,基本已接近纯GPU方案的性能了。
吴杰珂表示,OpenVINO 工具包自面世以来也一直在优化,在特定应用和场景下,GPU和CPU各有优略,另外,除了后台应用,OpenVINO还能在前端如Window设备上落地优化方案。所以,对于公司来说,两种硬件混合调用的方案能够将优势结合,且通过长期优化硬件的布局数量,能够持续提升性价比。
值得一提的是,英特尔这几年在人工智能领域的投入逐年升高,在并购Altera后不到一年,又并购了Movidius公司。
“神经网络计算棒可能是这家公司给大部分人的第一印象,现在在京东上大约550元和750元就可以分别买到第一代和第二代计算棒。我们也正在对基于Movidius芯片的方案进行评估,当然,不是计算棒,而是单板集成多片Movidius芯片的推理加速板卡?!?br /> 由于AI雷达是实时请求的服务,需要让TV用户快速得到反馈结果,所以需要按全量部署资源。如果服务部署在GPU平台上,分享协调大量的GPU资源,用于满足峰值服务调用会产生很大的浪费,因为这些GPU的利用率在非峰值期间会很低,且价格偏高。相比之下,CPU 相对容易资源协调,价格也低许多。但 CPU 方案同样具有弱点,就是没有优化的服务在 CPU 上的延时性能没法满足需求。
基于英特尔 OpenVINO 并从计算机视觉的角度与 AI 结合应用于流媒体,已完成数十个it应用的 CPU 优化,基于CPU进行人工智能服务的优化和部署,提升CPU上人工智能服务性能最高可达到10倍以上,数千核 CPU 服务的部署,等量替换一百多个 GPU 资源,可降低深度学习云平台超过 50% 成本。

www.moku8.com
36kr.com

上一篇:

下一篇:

关于我们

固镇新闻网是领先的新闻资讯平台,汇集美食文化、教育科研、商旅生涯、房产家居、投资理财、生活百科、等多方面权威信息

版权信息

固镇新闻网版权所有,未经允许不可复制本站镜像,本站文章来源于网络,如有侵权请邮件举报!

澳洲幸运5计划贴吧