对于正在为自有数据中心甄选 ai 服务器芯片的企业而言,相比英伟达,亚马逊拥有一大核心优势:价格。爱尔兰咨询机构 co driver labs 专注为企业提供 ai 基础设施落地咨询服务,该机构分析师卡罗尔・皮亚泰克表示:在同等算力负载下,使用亚马逊第二代inferentia 推理芯片与trainium 训练芯片部署现有 ai 模型开展推理业务,算力成本可比英伟达 h100 芯片降低 80%。
如今越来越多自建数据中心的企业,都在寻找性价比更高、供货更稳定的替代芯片方案。近几个月,亚马逊向这类客户大力推介自研两款 ai 专用芯片:用于大模型训练的 trainium、用于业务推理的 inferentia,越来越多企业开始认可这套方案。
皮亚泰克的一位保险行业客户,出于合规监管要求,必须在自有数据中心为客户运行 ai 业务,无法使用公有云服务。

基于不错的测试效果,这家保险公司随即向亚马逊云科技(aws)客户经理咨询,能否在 aws outposts 本地部署一体机中搭载 inferentia 推理芯片。
但亚马逊方面回复,目前该芯片暂未开放 outposts 场景测试。皮亚泰克称:“只要能在企业本地机房部署 inferentia 芯片,这家保险公司就会立刻落地。
即便本地部署的成本是云端租用价格的两倍,企业也依然会选择在自有机房部署 aws 提供的这款芯片。”他表示,虽然企业本地机房部署芯片的成本大概率高于直接租用 aws 云服务器,但相较英伟达芯片,整体算力开支依旧会大幅降低。
英伟达官方发言人引用公司近期一篇博客文章的观点回应:单纯对比芯片采购单价意义有限,核心要看芯片的实际算力产出。如果低价芯片在相同时长内可承载的 ai 算力任务远少于高价芯片,那么从单位算力成本来看,高价芯片反而更划算。
英伟达在博文中写道:“我们的芯片能够实现行业最低的模元(token)单位成本与最高的模元处理吞吐量。”信息技术咨询公司高知特(cognizant)云与基础设施服务负责人斯里拉姆・库马雷桑表示,当前全球算力供给紧张,不少客户正在评估、试点亚马逊自研芯片,其中就包含企业本地数据中心的落地场景。