跨越机器学习应用鸿沟？恩智浦有了新办法！

与很多复杂的新技术相同，机器学习也遵循一定的采用生命周期，而在最近几年中，“早期采用者”已经在使用这种技术。可以说，他们抢占了先机。但从2021年开始，机器学习将进入“多数采用”阶段（图1）。

图1：机器学习技术采用的生命周期

截止目前，恩智浦的eIQ™机器学习(ML)软件开发环境成功地为早期采用者提供了支持，但要跨过到多数采用阶段的鸿沟，机器学习支持必须变得更加全面和易用。下面我将对此进行解释。

机器学习的早期采用者并非只是几年前才出现的——一些研究人员和公司已经投身这个技术领域数十年。但是，向网络边缘端机器学习的迁移相对开始得较晚，要求也有所不同，另外工具也是不同的，系统资源受到更多限制，应用的响应更灵敏。早期采用者必须规划整个流程——从模型训练到运行模型的推理引擎的部署，以及系统集成的其他方面（即从捕获到推理输出的视频管道）。

开发过程中，在对模型进行训练、优化和量化之后，下一个阶段就是将该模型部署到器件上，让它执行推理功能。恩智浦提供eIQ环境来支持这个过程，将所有软件组件、应用实例、用户指南组合在一起，让高级开发人员能够在我们的器件上部署各种不同的开源引擎。

目前，eIQ可为TensorFlow Lite、Arm NN、ONNX Runtime 和Glow神经网络编译器提供推理支持。要使用eIQ，开发人员必须遵循我们称之为“自带模型”(BYOM)的流程。使用公共或私有的基于云的工具，构建您的训练模型，然后将模型带到eIQ软件环境中，将其插入相应的推理引擎。

《电子工程专辑》开展的2019嵌入式市场研究指出，55%的开发人员表示他们当前或未来的工作需要机器学习（我相信这个数字此后还有所增加）。为了跨越鸿沟，为大多数开发人员实现机器学习，机器学习的支持必须变得更加全面和易用。更全面的支持意味着恩智浦必须提供端到端的工作流程，允许开发人员带来他们的训练数据，为他们的应用选择合适的模型，执行模型训练、优化和量化，最终执行针对目标的分析，再将其应用于生产环境。

易用性是一个视角问题，但要让机器学习被大多数开发人员采用，就意味着恩智浦必须提供简化和优化的用户界面。从理论上说，这样可以实现机器学习开发环境，这种环境实质上隐藏了细节，开发人员只需进行几次点击，即可导入用户的训练数据，并将模型部署在目标设备上。

为了让机器学习成为现实，恩智浦进行投资，与总部位于加拿大的Au-Zone Technologies建立了独家战略合作伙伴关系，利用易于使用的机器学习工具来扩展恩智浦的eIQ环境，扩展适用于边缘机器学习的芯片优化推理引擎产品。

Au-Zone的DeepView™机器学习工具套件提供了直观的图形用户界面(GUI)和工作流程，可以进一步增强eIQ的功能，让各种经验水平的开发人员（例如嵌入式开发人员、数据科学家、机器学习专家）都能导入数据集和模型，在恩智浦边缘处理产品组合上快速训练和部署神经网络模型和机器学习工作负载（图2）。

图2：DeepView™机器学习工具套件工作流程

DeepView工具套件包括一个数据集工作区，它为开发人员提供了一种捕获和注释图像的方法，用于模型训练和验证。首先圈定相关对象，描述项目（请搜索互联网，查找执行此任务的付费和免费版本工具），随后开始构建机器学习数据库并训练模型。该工作区还支持数据集增强，让开发人员能够快速调节图像参考，通过减少过度拟合，提高针对动态现实环境的稳健性，来改进模型训练。例如，数据集增强功能包括图像旋转、模糊、色彩转换等。请记住，神经网络模型只“看”数字，因而输入图像上的任何变化看起来都是不同的。您在原始训练数据上提供的变化越多，模型就越精确。

使用DeepViewML训练工具，开发人员可以选择超参数和点击训练。大多数情况下，您都不会从头开始训练模式，因而这种DeepViewML训练工具支持迁移学习（即修改模型的最后几个层）。

模型优化器也是DeepViewML工具套件的一部分；它将帮助您针对需要的目标平台和推理引擎，对模型进行微调。该优化器还提供自动图级优化，例如层的裁剪、融合和折叠，可以降低复杂性和改进性能，而不损失精度。此外，影响精度的优化可由开发人员进行配置。其中包括量化、层替换和权重轮询。您将能够验证带来损失的优化，使用验证器工具对它们进行比较，以充分了解优化带来的影响（例如尺寸与精度）。

通过建立这种战略合作伙伴关系，我们将Au-Zone的DeepView运行时推理引擎添加到eIQ系列中；这将为我们已经部署的开源推理技术提供补充。DeepView引擎的关键特性是为每种恩智浦SoC架构优化系统存储器使用和数据移动。然后，用户将在推理引擎上拥有更多选择——利用分析工具，用户能够对各个推理运行库选项进行比较，包括性能和存储器容量的比较。

即便您尚未加入采用机器学习的行列，您也可能迅速跨越鸿沟，利用全面的eIQ机器学习软件开发环境以及2021年第1季度推出的DeepViewML工具套件和DeepView运行时推理引擎。

来源： NXP客栈