生成式AI就绪 英特尔发布第五代至强可扩展处理器
实用化 AI 算力又升上了一个新台阶。
随着AI大模型加速迭代,智能算力已成为稀缺资源。算力是AI发展的底层土壤,大语言模型的训练和推理都需要消耗大量的计算资源。传统的通用算力往往难以满足大模型对算力的高需求,因此,强大可靠的AI算力底座显得尤为重要。
一些让人始料未及的趋势在人工智能的应用领域出现了:很多传统企业开始选择在CPU平台上落地和优化AI应用。
例如制造领域在高度精细且较为耗时的瑕疵检测环节,就导入了CPU及其他产品组合,来构建横跨“云-边-端”的AI 缺陷检测方案,代替传统的人工瑕疵检测方式。
再比如亚信科技就在自家OCR-AIRPA方案中采用了CPU作为硬件平台,实现了从FP32到INT8/BF16的量化,从而在可接受的精度损失下,增加吞吐量并加速推理。将人工成本降至原来的1/5到1/9,效率还提升了约5-10倍。
在处理AI制药领域最重要的算法——AlphaFold2这类大型模型上,CPU同样也“加入群聊”。从去年开始,CPU便使AlphaFold2端到端的通量提升到了原来的23.11倍;而现如今,CPU让这个数值再次提升3.02倍。
上述这些CPU,都有个共同的名字——至强,即英特尔®️ 至强®️ 可扩展处理器。
为什么这些AI任务的推理能用CPU,而不是只考虑由GPU或AI加速器来处理?
这里历来存在很多争论。
很多人认为,真正落地的AI应用往往与企业的核心业务紧密关联,在要求推理性能的同时,也需要关联到它的核心数据,因此对数据安全和隐私的要求也很高,因此也更偏向本地化部署。
而结合这个需求,再考虑到真正用AI的传统行业更熟悉、更了解也更容易获取和使用CPU,那么使用服务器CPU混合精度实现的推理吞吐量,就是他们能够更快和以更低成本解决自身需求的方法了。
面对越来越多传统AI应用和大模型在CPU上的落地优化,“用CPU加速AI”这条道路被不断验证。这就是在数据中心中,有70%的推理运行在英特尔® 至强® 可扩展处理器上的原因。1
最近,英特尔的服务器CPU完成了又一次进化。12月15日,第五代英特尔® 至强® 可扩展处理器正式发布。英特尔表示,一款为AI加速而生,而且表现更强的处理器诞生了。
人工智能正在推动人类与技术交互方式的根本性转变,这场转变的中心就是算力。
英特尔CEO帕特·基辛格(Pat Gelsinger)在2023英特尔ON技术创新大会表示:“在这个人工智能技术与产业数字化转型飞速发展的时代,英特尔保持高度的责任心,助力开发者,让AI技术无处不在,让AI更易触达、更可见、透明并且值得信任。”
第五代至强 为AI加速
第五代英特尔® 至强® 可扩展处理器的核心数量增加至64个,配备了高达320MB的L3缓存和128MB的L2缓存。不论单核性能还是核心数量,它相比以往的至强都有了明显提升。在最终性能指标上,与上代产品相比,在相同功耗下平均性能提升21%,内存带宽提升高达16%,三级缓存容量提升到了原来的近3倍。
更为重要的是,第五代至强® 可扩展处理器的每个内核均具备AI加速功能,完全有能力处理要求严苛的AI工作负载。与上代相比,其训练性能提升多达29%,推理能力提升高达42%。
在重要的AI负载处理能力上,第五代英特尔® 至强® 可扩展处理器也交出了令人满意的答卷。
首先要让CPU学会高效处理AI负载的方法:在第四代至强® 可扩展处理器上,英特尔面向深度学习任务带来了矩阵化的算力支持。
英特尔®️ AMX就是至强CPU上的专用矩阵计算单元,可被视为CPU上的Tensor Core,从第四代至强® 可扩展处理器开始成为内置于CPU的AI加速引擎。
第五代至强®️ 可扩展处理器利用英特尔®️ AMX与英特尔®️ AVX-512指令集,配合更快的内核,以及速度更快的内存,可以让生成式AI更快地在其上运行,无需独立的AI加速器就能执行更多工作负载。
借助在自然语言处理 (NLP) 推理方面实现的性能飞跃,这款全新的至强® 可支持响应更迅速的智能助手、聊天机器人、预测性文本、语言翻译等工作负载,可以在运行参数量200亿的大语言模型时,做到时延不超过100毫秒。
据了解,11.11期间,京东云便通过基于第五代英特尔® 至强® 可扩展处理器的新一代服务器,成功应对了业务量激增。与上一代服务器相比,新一代京东云服务器实现了23%的整机性能提升,AI计算机视觉推理性能提升了38%,Llama v2推理性能也提高了51%,轻松hold住用户访问峰值同比提高170%、智能客服咨询量超14亿次的大促压力。
除此之外,第五代英特尔® 至强® 可扩展处理器也在能效、运营效率、安全及质量等方面实现了全面提升,提供了向前代产品的软件和引脚兼容性支持,以及硬件级安全功能和可信服务。
国内云服务大厂阿里云也在发布会上披露了其实测体验数据,基于第五代英特尔® 至强® 可扩展处理器及英特尔® AMX、英特尔® TDX加速引擎,阿里云打造了 “生成式AI模型及数据保护”的创新实践,使第八代ECS实例在实现了全场景加速和全能力提升情况下,更加固了安全性能,且保持实例价格不变,普惠客户。
数据显示,其在数据全流程保护的基础上,AI推理性能提高25%、QAT加解密性能提升20%、数据库性能提升25%,以及音视频性能提升15%。
英特尔表示,第五代至强® 可扩展处理器可为AI、数据库、网络和科学计算工作负载带来更强大的性能和更低的TCO,将目标工作负载的每瓦性能提升高达10倍。
对先进AI模型实现原生加速
为让CPU能够高效处理AI任务,英特尔把AI加速的能力提升到了「开箱即用」的程度。
英特尔®️ AMX除了可以加速深度学习的推理、训练以外,现在已经支持了流行的深度学习框架。在深度学习开发者常用的TensorFlow、PyTorch上,英特尔® oneAPI深度神经网络库 (oneDNN) 提供了指令集层面的支持,使开发人员能够在不同硬件架构和供应商之间自由迁移代码,可以更轻松地利用芯片内置的AI加速能力。
在保证了AI加速直接可用之后,英特尔利用高性能开源深度学习框架OpenVINO™ 工具套件,帮助开发者实现了一次开发、多平台部署。它可以转换和优化使用热门框架训练好的模型,在多种英特尔硬件的环境中快速实现,帮用户最大程度地利用已有资源。
OpenVINO™ 工具套件最新的版本也加入了对大型语言模型 (LLM) 性能的改进,可以支持生成式AI工作负载,包括聊天机器人、智能助手、代码生成模型等。
OpenVINO™ 工具套件2
通过这一系列技术,英特尔让开发者们能够在几分钟内调优深度学习模型,或完成对中小型深度学习模型的训练,在不增加硬件和系统复杂性的前提下获得媲美独立AI加速器的性能。
比如在先进的预训练大语言模型上,英特尔的技术就可以帮助用户完成快速部署。
用户可以从最热门的机器学习代码库Hugging Face中下载预训练模型LLaMA2,然后使用英特尔®️ PyTorch、英特尔®️ Neural Compressor等将模型转换为BF16或INT8精度版本以降低延迟,再使用PyTorch进行部署。
英特尔表示,为了能够紧跟AI领域的潮流,有数百名软件开发人员正在不断改进常用的模型加速能力,让用户能够在跟上最新软件版本的同时,获得对于先进AI模型的支持。
第五代至强® 可扩展处理器的实力,目前已在部分大厂进行了验证。火山引擎与英特尔合作升级了第三代弹性计算实例。
目前,火山引擎已通过独有的潮汐资源并池能力,构建百万核弹性资源池,能够以近似包月的成本提供按量使用体验,降低上云成本。基于第五代英特尔® 至强® 可扩展处理器,火山引擎第三代弹性计算实例整机算力再次提升了39%,应用性能最高提升了43%。
这只是个开始。可以预见,很快会有更多科技公司的应用能够从第五代至强®️ 可扩展处理器的性能中获益。
下一代至强已经现身
未来,人们对于生成式AI的需求还将不断扩大,更多的智能化应用将会改变我们的生活。以计算能力为基础,万物感知、万物互联、万物智能的时代正在加速到来。
面对这样的趋势,英特尔正在加紧打造再下一代的至强CPU,它们面向AI的「专业化」程度还会更高。
在最近披露的英特尔数据中心路线图上,下一代至强® 处理器将对不同工作负载、场景配备不同的核心,其中主打计算密集型与AI任务的型号会使用侧重性能输出的核「P-core」,面向高密度与横向扩展负载的型号则会使用有更高能效的核「E-core」,这两种不同的核心架构并存的设计,既满足部分用户对极致性能的追求,也能兼顾到可持续发展绿色节能的需求。
未来,英特尔还将如何实现晶体管和芯片性能的飞跃,在AI算力上还能有什么样的跃升?
让我们拭目以待。
标签:
推荐
财富更多》
-
印尼民众“零距离”体验雅万高铁列车
印尼民众“零距离”体验雅万高铁列车---...
-
人民币兑美元中间价报7.1986 调升162个基点
人民币兑美元中间价报7 1986调升162个...
-
茶饮“卷”到健康战
茶饮“卷”到健康战---从卷规模、卷价格...
-
我国清洁能源建设景气持续向好 电力建设呈现结构优化发展态势
我国清洁能源建设景气持续向好电力建设...
-
刘玉民任北京密云区委常委
刘玉民任北京密云区委常委---中国经济网...
动态更多》
热点
- realme10系列正式宣布 采用双曲面屏正面顶部居中挖孔
- 五菱全新微型电动车内饰官图发布 座椅采用星际形打孔工艺
- 努比亚Z40星空典藏版正式开售 采用微米级油画笔触纹理技术
- iQOO11系列正式官宣 首批搭载骁龙8Gen2机型之一
- 海信34英寸带鱼屏显示器发布 支持165Hz刷新率
- OPPO明年将商用240W超级闪充 新一代电芯支持更高倍率充电
- 第一款Android手机渲染图曝光 横向滑盖设计和全尺寸键盘
- 吉利首款纯电皮卡11月9日上市 车辆续航里程超过610公里
- 努比亚Z40SPro星空典藏版正式公布 堪称窄边框天花板
- vivo无线运动耳机2今日正式上市 首销只要119元
- 北斗航天科技发展集团有限公司出海马拉西亚,促进科技合作,共享创新成果
- 2023CITC·网易创新创业大赛全国半决赛即将启幕
- 科大讯飞智能办公本X3:让你的工作更轻松,生活更美好
- Veritas推出Veritas™ 360 Defense,为企业本地部署和跨云提供网络韧性
- 奥运冠军林丹、抖音大V小黑兄弟空降Cleer抖音直播间,引爆双十一购物热潮!
- Farseer洞视科技助力香港金融探索深度数字化转型
- 世界冠军林丹,演员朱梓骁、赵奕欢....空降Cleer抖音直播间,双十一开门红超多福利送不停!
- 云思智慧, 助力华建集团数字化泛办公转型
- 海尔劲爽空调,以可变分流技术引领行业技术变革
- 格之格专注用户体验,打造差异化服务生态圈
- 15组创作达人齐聚飞宇科技,稳定器新品提前曝光?!
- Veritas最新研究:近半数的企业低估其自身风险水平
- 充得快、上车快、量产快,见证“神行速度”
- 百利好环球:WTT球星挑战赛圆满落幕 祝贺国乒豪夺4冠!
- 百利好环球:国乒包揽WTT球星挑战赛女单四强 见证最终夺冠时刻
- 助力便捷办公,兄弟DCP-B7535DW
- 百利好环球:国乒晋级WTT球星挑战赛双打决赛 争冠在即
- 墨尔本电动汽车展落幕,欧拉好猫力压比亚迪元荣登最佳用车成本榜
- 奔图M6700DW Plus,助力业务灵动而上
- “创客北京2023”中国电信•5G+AI数字化创新专项赛决赛成功举办
- 无极品牌第五年,隆鑫跑通高端化之路
- 奔图M6700DW Plus,助力圆梦舞蹈奇迹
- 奔图P1新品单功能激光打印机,让学习如此轻松
- 三星新一代Thom Browne限量版二轮再售罄 Galaxy Z Fold5持续热销中
- 百利好环球:杭州亚运热血开战 全力支持国乒
- 欧孚科技总经理Laura:工具未来式
- 数通世界,智创未来 | 欧孚科技亮相黄河流域首届人力资源数字化主题交流暨数字化产品应用展览会
- 入手15万级高品质电四驱SUV,哈弗枭龙MAX带你畅享美好“车生活”
- 无兄弟,不越野,长城越野家族向你发来巡游邀请
- 讯飞听见会写:智能语音生成文案,颠覆你的工作方式
- ALIENWARE外星人助力BLG选手为国出征
- 戴森开展多元公益科普活动,响应全国科普日号召
- 英特尔超能云终端3.0再进化,助力千行百业云终端新体
- 宫庭海首度打造自己厂牌音乐节
- AI引领潮流,高效工作新伙伴 数珩S-GPT明镜打造全新工作体验
- G9有足够的底气,为中国纯电争气,做高端内销转出口的先行者
- 国庆长假必备品,Brother DCP-T426W 为你留存记忆
- 自主品牌竞争激烈,哈弗二代大狗与捷途旅行者谁才是真的轻越野?
- 计算机软件国家工程研究中心成立三十周年,新一届技术委员会亮相
- 电动滑板车行业焕发新生:HX欢喜引领智能化时代
- 思特奇深度参与国家信息中心数字政府建设暨数字安全技术研讨会
- 人民币兑美元中间价报7.1986 调升162个基点
- 实华股份在新三板挂牌公开转让
- 易事特在广东成立钠电科技公司 注册资本5000万
- 刘玉民任北京密云区委常委
- 龙传君安获天使轮融资
- 强信心 稳经济 促发展 | 山东:精准助企纾困 提升民营企业发展能级
- “好品山东”金字招牌激扬民营企业澎湃动能
- 更美APP等被恢复执行5520万
- 聪脉信息获数千万元A轮融资
- 茶饮“卷”到健康战
- 我国清洁能源建设景气持续向好 电力建设呈现结构优化发展态势
- 印尼民众“零距离”体验雅万高铁列车
- 热搜里的山东文化“两创”
- “强国复兴有我”全市学校国防教育系列活动启动暨全国国防教育示范学校授牌仪式成功举办
- 腾腾窑火出美器 精品陶琉迎客来
- 36氪首发|服饰创作生态服务公司「元衣科技」完成数百万天使轮融资
- 同时出战:国足VS弱旅切忌阴沟翻船,国奥想要出线必须狂胜对手
- G15嘉浏段数字化改建,打造智慧高速示范样板
- 太无忧综合意外险拒保是为什么呢?可以保障哪些方面?
- 一图看懂华为Mate 60 Pro+:史上最强Mate机皇
- 良品铺子寻味溯源直播首站走进云南万亩夏威夷果基地
- 斗破苍穹:萧炎对云山怼脸开大,三色火莲爆发震退在场所有人!
- 邓普顿“股票愿望清单”
- Roblox计划今年10月登陆索尼PlayStation平台
- 美连锁超市巨头克罗格将剥离超400家门店,寻求完成与艾伯森近250亿美元合并交易
- 全球科学家青睐哪座城市?深圳、上海位列前五
- 北京石景山、房山两区升级发布暴雨黄色预警
- 保山小粒咖啡荣获“全国名特优新农产品”称号
- 山东宣传思想战线调研之四|山东:着力构筑乡村文化振兴全面贯通工作体系
- 焦点分析|宜家不香了?
- 谭本宏:阿维塔12车型售价可能更高一些,暂无四座版
- FM89《家有儿女》 大一新生怎样更好适应大学生活 -—本期嘉宾:王宗谟
- 王导:黄金昨晚精准包揽全部涨幅,本周无损记录!
- 2023年赣州市第十届“国家网络安全宣传周”启动仪式将于9月10日举行
- 咸安区开展工业(冶金)行业安全生产培训进企业
- 华为Mate系列又“上新”,卫星通信概念股大涨,华力创通提示风险
- 滴滴二季度营收同比增长53%至488亿元
- 乌克兰:这部分女性将被限制出境
- 侧柏叶治疗脱发的用法和用量 侧柏叶治疗脱发
- 快讯 | 第二十三届中国(淄博)国际陶瓷博览会隆重开幕
- 不一样的教师节:淄博学生给老师“颁发”奖状
- 摩洛哥南部6.8级地震已致至少30人死亡
- 要被萌化了!普陀这群“小小梯队员”自编自导了一场汇报演出
- 问河北|中国古动物馆开馆倒计时!你准备好了吗?
- 【超越贝利 内马尔·球衣专场】南美预选赛小组赛,...
- 【明神重工】SD2盟军 3V3 4V4强度等级图(v.103807)
- 年化利率达4%,短期可超10%?赴港存款可能没你想的那么“香”
- 证监会发布《行政处罚罚没款执行规则》
- “认房不认贷”落地,效果如何?
- 2023年中国农民丰收节金秋消费季启动
- 2023年7月、8月“青城好人榜”
- 显鸿科技SMT贴片项目投产
- 中方呼吁国际社会在乌克兰问题上推动停火止战
- 四大行下调房贷利率 购房者能省多少钱
- 市工商联举办电商直播培训班
- 抓住文化消费升级新机遇
- 【高质量发展调研行】资源城市转型的亮丽答卷
- 街头的“无人糖水铺”火了 你留意过这些饮品的资质吗?
- 多举措培育城市文创聚集区
- 支持率低迷,岸田被迫改组内阁,日媒:只改内阁显然救不了他
- 药房版酸梅汤热销重庆 医生提醒:有胃病人群要少喝
- 美媒:中国汽车大举占领世界市场
- 第二十三届工博会规模创历史之最
- 中国人寿:融资净偿还458.51万元,融资余额6.24亿元(09-08)
- 美股三大指数小幅收涨:纳指本周累跌1.93% 热门中概股多数走低
- 西安法院首份全省统一制式《离婚证明书》出炉
- “买金热”下,上半年黄金珠宝企业业绩纷纷“飘红”
- 五部门:到2025年元宇宙技术、产业、应用、治理等取得突破
- 周杰伦天津演唱会上受伤
- windows清理助手下载(关于windows清理助手下载的基本详情介绍)
- 「快讯」3人遇难!甘南州夏河县山洪泥石流灾害遇难者身份确认
- 视频|《云赏敦煌》中文第二十七集:同心共绘新乐章
- 若昂·里亚尔(关于若昂·里亚尔简述)
- 《那些回不去的年少时光》官宣阵容!罗琦琦许小波张骏诠释向上青春
- 茶坑村(关于茶坑村简述)
- 山东推进数字化、智能化技改升级 赋能工业新发展
- 山东高标准农田“内外兼修” 绿色发展理念“生根发芽”
- 新闻链接:弘扬高尚师风 致敬博大师爱
- 淄博:“一城多校”开启人才招引新模式
- 官滩沟景区(关于官滩沟景区简述)
- 赵庆文会见第二十三届中国(淄博)国际陶瓷博览会参会嘉宾
- 8.28 校招 实习 内推 面经
- 华为Mate 60 Pro+上架预订;华为 Mate X5 折叠屏上架;三星 Galaxy Tab A9 +现身FCC
- 认房不认贷后 哪些人涌进了北京“最忙”不动产登记中心|特写