• |
  • |
  • |
  • |
大河网

财色(叨狼)-电玩城app官网下载

来源:
字号:默认 超大 | 打印 |

对于正在为自有数据中心甄选 ai 服务器芯片的企业而言,相比英伟达,亚马逊拥有一大核心优势:价格。爱尔兰咨询机构 co driver labs 专注为企业提供 ai 基础设施落地咨询服务,该机构分析师卡罗尔・皮亚泰克表示:在同等算力负载下,使用亚马逊第二代inferentia 推理芯片与trainium 训练芯片部署现有 ai 模型开展推理业务,算力成本可比英伟达 h100 芯片降低 80%。

如今越来越多自建数据中心的企业,都在寻找性价比更高、供货更稳定的替代芯片方案。近几个月,亚马逊向这类客户大力推介自研两款 ai 专用芯片:用于大模型训练的 trainium、用于业务推理的 inferentia,越来越多企业开始认可这套方案。

皮亚泰克的一位保险行业客户,出于合规监管要求,必须在自有数据中心为客户运行 ai 业务,无法使用公有云服务。

亚马逊高性价比ai芯片产品深受企业青睐

该企业此前一直采购英伟达芯片,如今正在寻找替代方案;经过前期测试,亚马逊芯片凭借价格优势与稳定的算力承载能力,测试结果表现亮眼。

基于不错的测试效果,这家保险公司随即向亚马逊云科技(aws)客户经理咨询,能否在 aws outposts 本地部署一体机中搭载 inferentia 推理芯片。

但亚马逊方面回复,目前该芯片暂未开放 outposts 场景测试。皮亚泰克称:“只要能在企业本地机房部署 inferentia 芯片,这家保险公司就会立刻落地。

即便本地部署的成本是云端租用价格的两倍,企业也依然会选择在自有机房部署 aws 提供的这款芯片。”他表示,虽然企业本地机房部署芯片的成本大概率高于直接租用 aws 云服务器,但相较英伟达芯片,整体算力开支依旧会大幅降低。

英伟达官方发言人引用公司近期一篇博客文章的观点回应:单纯对比芯片采购单价意义有限,核心要看芯片的实际算力产出。如果低价芯片在相同时长内可承载的 ai 算力任务远少于高价芯片,那么从单位算力成本来看,高价芯片反而更划算。

英伟达在博文中写道:“我们的芯片能够实现行业最低的模元(token)单位成本与最高的模元处理吞吐量。”信息技术咨询公司高知特(cognizant)云与基础设施服务负责人斯里拉姆・库马雷桑表示,当前全球算力供给紧张,不少客户正在评估、试点亚马逊自研芯片,其中就包含企业本地数据中心的落地场景。

库马雷桑在书面声明中提到:“我们观察到,客户的 ai 业务算力需求已经超出当前可用算力供给,这也让企业不再单一依赖英伟达 gpu,开始积极寻找多元化算力方案。

如今 aws 的 trainium 与 inferentia 芯片已经成为业内靠谱的量产级备选方案,不再只是 gpu 缺货时的应急选择。

更多推荐:
扫一扫在手机打开当前页
网站地图