对于巨头来说，AI已经不再那么神秘，因此，很多有自身需要或者有客户的大厂都会从合作走到自研这一步，现在，巨头亚马逊也逐渐摆脱对NVIDIA的依赖，开始了人工智能芯片的自研，且其芯片吞吐量提高达到30%。

亚马逊宣布将人工智能处理迁移到自家定制的AWSInferentia芯片。这意味着亚马逊最大的推理（inferencing）服务（例如语音助手Alexa）将交由更快、更专业的芯片进行处理，而非基于NVIDIA的多用途GPU。

亚马逊已经将大约80%的Alexa语音助手处理迁移

到ElasticComputeCloud(EC2)Inf1实例上处理。和使用传统GPU的G4实例相比，Inf1实例将吞吐量提高了30%，成本下降了45%。亚马逊认为，它们是推断自然语言和语音处理工作负载的较佳实例。

Alexa的工作方式是这样的：实际的智能音箱（或者扬声器）可以不做任何操作，所有任务都交由AWS处理器完成。或者更准确的说，一旦Echo设备上的芯片检测到唤醒词，系统就会启动。。它开始实时将音频流传输到云。在数据中心的某个地方，音频被转换为文本（这是推理的一个示例）。然后从文本中提取含义（另一个推理实例）完成所需要的所有操作，例如获取当天的天气信息等等。

Alexa完成您的请求后，她需要将答案传达给您。然后，脚本被转换为音频文件（另一个推理示例），并发送到您的Echo设备。回音播放文件，以便于你出行的时候是否决定带上雨伞。显然，推理是工作的重要组成部分。毫不奇怪，亚马逊投入了数百万美元来制造完美的推理芯片。

Inferentia芯片由四个NeuronCore组成。每个实现一个“高性能脉动阵列矩阵乘法引擎”。每个NeuronCore或多或少地由以线性，独立方式处理数据的大量小型数据处理单元（DPU）组成。每个Inferentia芯片还具有巨大的缓存，从而提高了延迟。