Flex Logix发布真实世界的边缘人工智能推理基准-所有模型均具有的越性价比/性能。

2020年4月9日----嵌入式FPGA（eFPGA）IP、架构和软件的领先供应商Flex Logix Technologies, Inc.今天公布了其InferX X1边缘推理协处理器的真实测试结果，与Nvidia的Tesla T4和Xavier NX在实际客户模型上运行时，显示出显著的性价比优势。这些细节是由Flex Logix的推理技术营销经理Vinay Mehta在今天的Linley春季处理器大会上介绍的。

InferX X1的芯片尺寸非常小：面积是Nvidia Xavier NX的1/7，是Nvidia Tesla T4的1/11。尽管小了这么多，但InferX X X1的延时效果却与Xavier NX类似，是很多客户计划使用的开源机型YOLOv3。在两个真实的客户模型上，InferX X1的速度要快得多，有一个案例的速度快了10倍之多。

在以流媒体吞吐量除以芯片尺寸来衡量的性价比方面，InferX X1比Tesla T4强2-10倍，比Xavier NX强10-30倍。

"客户期望他们可以用ResNet-50上的性能来比较替代品。这些基准表明，一个推理加速器在一个模型上的相对性能并不适用于所有模型，"Flex Logix的首席执行官兼联合创始人Geoff Tate说。"客户真的应该要求他们评估的每个供应商都要对他们将要使用的模型进行基准测试，以找出他们将体验到的性能。我们现在正在为客户做这个事情，并欢迎更多的客户--我们可以在TensorFlow Lite或ONNX中对任何神经网络模型进行基准测试。"

InferX X1正在完成最后的设计检查，并将于近期推出，预计将于2020年第三季度以芯片和PCIe板的形式进行采样。

关于InferX X1

Flex Logix 的 InferX X1 边缘推理协处理器提供了卓越的推理效率，以更少的资金、更少的功耗，为棘手的模型提供更多的吞吐量。它已经针对边缘的需求进行了优化：大模型和大模型的批量=1时的大模型。InferX X1的吞吐量接近于售价数千美元的数据中心板卡，但其功耗仅为个位数瓦，价格也仅为零头。InferX X1使用TensorFlow Lite和ONNX进行编程：现在已经有了性能建模器。

InferX X1基于Flex Logix公司的nnnMAX架构，集成了4块4K MAC和8MB L2 SRAM。InferX X1连接到单个x32 LPDDR4 DRAM。四条PCIe Gen3通道连接到主机处理器；对于没有PCIe的主机，可以使用x32 GPIO链路。两个X1可以一起工作，将吞吐量提高到2倍。

<span "="">关于Flex Logix

Flex Logix提供了制造灵活的芯片设计和加速神经网络推理的解决方案。其eFPGA平台使芯片能够灵活地处理不断变化的协议、标准、算法和客户需求，并实现可重构的加速器，使关键工作负载的速度比处理器快30-100倍。Flex Logix的第二条产品线nnnMAX，利用其eFPGA和互连技术，提供从1到>100 TOPS的模块化、可扩展的神经推理，与其他架构相比，使用更高的吞吐量/元和吞吐量/瓦特。Flex Logix公司总部位于美国加州山景城。