在算力新时代,从通用计算到智算,CPU可以做更多,价值也更加凸显。
作为一种基于人工智能(AI)技术的计算方式,其含义既包含了AI,还包含了对高性能算力的要求。
拥抱大模型不容易
ChatGPT的横空出世拉开了AI大模型的新时代,而近期的文生视频模型SORA又让业界为之激动不已。据了解,Sora所需token(文本处理最小单位)数量相较于文本及图片模型的推理呈数量级增长。经中信证券简单估算,对于一个60帧的视频(约6至8秒),Sora要生成至少约120万个token,这是相当大的计算量。
科技爆炸的背后需要算力膨胀来匹配,大型AI模型的兴起带来了对智能计算能力的积极需求,于是,我们看到业界在算力基础设施方面进行积极布局,芯片需求得到极大释放,但是现实却有点不尽如人意。
网上信息显示,以OpenAI在GPT-3模型为例,该模型拥有1750亿个参数,需要庞大算力,训练成本高达1650万美元。使用GPT-3开发的ChatGPT在推论方面的成本更高,每月烧掉4千万美元 。这不仅大大增加了企业成本,对地球资源、环境可持续发展性也可能产生影响。
被广泛应用于人工智能的训练、推理、科学计算等领域的GPU似乎成为顶流,并且愈发呈现出“一卡难求”的趋势。但是对于实际的企业AI落地应用而言,真的无法低成本拥抱大模型了吗?业务场景的需求对AI算力要求几何?如何挖掘现有算力潜能?
俗话说,“自古华山一条道”,但是对于算力芯片却不是,特别是对于大语言模型(以下简称:LLM)推理,CPU在某些场景下其实更适合。
为什么选择CPU?
相比GPU,CPU此前在LLM的热度表现并不算高,业界往往认为CPU在AI时代已经“过时”。
但事实并非如此。
大模型通常都分为训练和推理两个阶段,在训练环节需要处理海量数据,因此对算力性能要求较高;但推理阶段不仅几乎贯穿业务全流程,对算力的要求也没有那么高,随着CPU性能的提升,在部分场景下用CPU来完成AI推理工作对企业来说是更加适合的选择。
一方面,CPU资源更容易获取,也不需要导入异构硬件平台,额外进行相关人才的储备,更容易实现广泛部署;另外,充分利用现有IT设施有助于TCO(总体拥有成本)优化,以用更低的成本实现更优的性能表现。
其次,通过分布式的解决方案,能够有效解决CPU计算速度的问题。CPU甚至可以支持几百GB的内存,能够轻松应付甚至70B的LLM ,而且CPU的特性是通用和灵活,以及在软件兼容性方面的多年积累,在承载和部署人工智能应用工作负载方面更具优势。
这就是CPU的破局,选择CPU进行LLM探索逐渐成为企业的新选择。
近年来,随着大模型的迅速发展,光学字符识别(OCR)技术已成为LLM的重要入口。亚信科技就在自家OCR-AIRPA方案中采用了CPU作为硬件平台,实现了从FP32到INT8/BF16的量化,从而在可接受的精度损失下,增加吞吐量并加速推理。将人工成本降至原来的1/5到1/9,效率还提升了约5-10倍。
深耕医疗行业多年,已帮助多家三甲医院推进信息化和数字化建设的卫宁健康就选择与英特尔合作,通过软硬适配、优化模型算法等手段,成功在CPU(第五代至强® 可扩展处理器)上提升了面向医疗垂直领域的大模型WiNGPT的性能,让基于它的AI应用的交付、部署和应用更为高效便捷,能在任何一家已使用卫宁WiNEX系统的医院迅速上岗。
第五代至强® 可扩展处理器每个内核均具备AI加速功能,无需添加独立加速器,即可处理要求严苛的端到端AI工作负载。英特尔® 高级矩阵扩展(英特尔® AMX)为矩阵运算的加速提供了强大支持,可支持BFloat16和INT8两种数据类型,完全有能力处理要求严苛的AI工作负载。
相比同样内置AMX的第四代至强® 可扩展处理器,得益于自身在微架构和整体性能上的提升,五代® 至强的推理性能提升高达42%。
目前,LLM更多是云端部署,但是由于涉及隐私安全,本地部署LLM的需求也越发强烈。针对会议摘要、文章总结等离线场景,百亿参数的LLM就可以完全胜任,CPU的性能就可以运行,成本优势更加明显,还能降低部署成本。
更强通用计算,兼顾AI加速
当然,AI不是只有大模型, 英特尔® 至强® 可扩展处理器除了持续在CPU加速AI这条路上深耕,也一直在持续挖掘CPU在通用计算领域的价值。
与前一代产品相比,第五代英特尔® 至强® 可扩展处理器有高达1.84倍的平均性能提升,可在进行通用计算时将整体性能提升高达21%,并在一系列客户工作负载中将每瓦性能提升高达36%。
例如制造领域在高度精细且较为耗时的瑕疵检测环节,部分企业就复用了既有的CPU平台,构建了横跨“云-边-端”的AI 缺陷检测方案。为了达到更好的应用效果,在使用计算机视觉方案之外,还可以融入深度学习和机器学习的技术,构建三者混合模式的方案。
星环科技则基于第五代至强® 可扩展处理器推出了Transwarp Hippo 分布式向量数据库解决方案,实现了约2倍的代际性能提升,可有效满足大模型时代海量、高维向量的存储和计算需求。
数据作为AI三驾马车之一,其重要性自然不言而喻。除了可用作向量数据库这一种,对于处理数据时候可能涉及的逻辑运算、内存操作,第五代英特尔® 至强® 可扩展处理器也可以提供充足的支持。它可以将压缩/解压缩和数据传输等资源密集型任务从CPU内核卸载至内置的英特尔® 数据分析引擎,释放数据分析和数据库运行的时钟周期,以提高每秒事物处理量,用户可以在每台服务器上扩展容量或运行更多应用。
结合第五代英特尔® 至强® 可扩展处理器更快的内存和更大的三级缓存,英特尔® 存内分析加速器(英特尔® IAA)和英特尔® 数据流加速器(英特尔® DSA)能够在提高查询吞吐量的同时,进行数据复制和转换操作,从而实现内存数据库、大数据分析和数据仓库的性能提升。
AI对隐私计算的需求也在增加,英特尔® 可信域扩展(英特尔® TDX)提供虚拟机(VM)层面的隔离和保密性,从而增强隐私性和对数据的管理。在基于英特尔® TDX的机密虚拟机中,客户机操作系统和虚拟机应用被隔离开来,而不会被云端主机、虚拟机管理程序和平台的其他虚拟机访问。
此外,英特尔还在软件创新方面持续发力,以确保现有的人工智能框架和应用能够充分发挥硬件潜力,从而加速行业的发展。
英特尔提供了完善的人工智能软件生态方案和工具链,不仅持续为主流开源框架PyTorch、TensorFlow等贡献力量,还提供了多种针对英特尔平台的优化插件,如IPEX(Intel® Extension for PyTorch)、ITEX(Intel® Extension for TensorFlow)等,以及xFT(xFasterTransformer)、OpenVINO™ 工具套件等多种优化工具。这些技术可极大地提升AI性能,包括LLM、文字生成图片Stable Diffusion等,未来的热门方向——文字生成视频,同样能够从中受益。
IPEX配合PyTorch,支持PyTorch框架下90%的主流模型,其中深度优化模型有50个以上。客户只要通过简单几步即可完成BF16混合精度转换,模型即可在保持精度的同时在CPU上高效部署。
结语
多年来,英特尔一直不遗余力地进行软硬件创新,为了迎合人工智能时代对算力的渴求,不断推陈出新,提供更加强大、更加先进的CPU处理器和其他硬件方案。
CPU运行LLM并不是“痴人说梦”,因为CPU在进化一直在进行,得益于硬件级创新和借助软件充分挖掘硬件性能,英特尔为AI时代的算力基础设施提供了新的选择机会。
我想客户和市场也是乐见其成的,毕竟这是一个双赢的结果。市场不希望单一的选择,而是多样化的选择。这就像x86的发展一样,开放带来产业的繁荣。
在生成式AI和LLM狂奔的同时,CPU也在与时俱进,让自己适配客户需求和选择。依托软硬件和生态协同,CPU正在迎来新的高光时刻,推动人工智能行业迈向新的高度,展现出无限的潜力与可能性。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
据4月18日《新闻联播》报道,国务院总理李强在第135届中国进出口商品交易会(广交会)期间,对包括讯飞会议耳机在内的智能硬件出海情况表示关心。生成式AI会议助手,让工作效率翻倍近年来,随着文字、语音、图像等处理能力跃迁,大模型摇身变为“助理”走入办公室和会议室,结合传统软硬件,使得办公和会议智能化。
近日,生数科技联合清华大学发布了视频大模型「Vidu」,其强大功能引起了全网关注。该模型支持一键生成长达16秒、分辨率达1080p的高清视频内容,画面效果接近Sora。据悉,Vidu生成的视频画面流畅,细节丰富,逻辑连贯,呈现出高度接近真实世界的效果,并且几乎不会出现穿模、鬼影、运动不符合现实规律的
©自象限原创编辑丨程心20世纪50年代开始,世界所有的汽车公司都竞相开发操作简单,功能齐全的理想家庭用车。1950年,全球汽车总产量首次超过一千万辆。价格低廉、驾驶方便、油耗低的百姓汽车广受大众青睐。但从1888年,奔驰生产出世界上第一辆可供售的汽车至1950年,整整经历了60年,家用汽车才开始走向
在繁忙的城市角落,张先生的小公寓里藏着一个宝贝——一台20年前的海尔老式彩电。这台电视见证了他的拼搏、快乐和岁月的流转。虽然他对新科技并不感冒,但他的儿子小张对此却充满了好奇和热情。小张在线上看到以旧换新活动的同时,说服了张先生,并在手机上下单预约上门服务。没多久,服务人员便上门拆走旧家电,安装调试
文/道哥“未来,自然语言将成为新的通用编程语言。你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。”4月16日,百度创始人、董事长兼首席执行官李彦宏在Create2024百度AI开发者大会上表述了对未来AI人工智能发展的新一轮展望。自OpenAI发布ChatGPT大模型后,这股AI人工智能
进入AIGC时代,智算中心规模日渐庞大,服务器能耗与日俱增。如何降低智算中心能耗已成为国家和地方政府关注的焦点。工信部数据显示,2022年全国数据中心总耗电量约2700亿千瓦时。当前,大部分数据中心仍主要采用风冷散热技术,在单柜密度、PUE值方面已愈发难以满足行业发展及绿色节能方面的要求,而冷板式液
“你好,新应用!”站在大模型落地元年,是时候喊出这句话了。从软件APP、智能终端乃至具身智能等等,AIGC开始席卷一切。大模型玩家、互联网巨头、终端厂商、垂直场景玩家纷纷入场,办公、创作、营销、教育、医疗领域相继被渗透……一个万亿市场,正在酝酿。站在浪潮起点,当下发展究竟如何了?机遇在哪?挑战如何?
4月14日,以“标准引领促转型,提升新质生产力”为主题,由全国信息技术标准化技术委员会教育技术分技术委员会主办,锐捷网络承办的2024数字教育标准创新应用研讨会暨《高等学校数字校园建设规范(试行)》(以下简称《规范》)优秀及典型应用案例的颁奖活动在福州举办。本次会议聚焦赋能新质生产力和高校教育数字化