快速开始
使用MNN整体流程
在端侧应用MNN,大致可以分为三个阶段:
训练
在训练框架上,根据训练数据训练出模型的阶段。虽然当前MNN也提供了训练模型的能力,但主要用于端侧训练或模型调优。在数据量较大时,依然建议使用成熟的训练框架,如TensorFlow、PyTorch等。除了自行训练外,也可以直接利用开源的预训练模型。
转换
将其他训练框架模型转换为MNN模型的阶段。MNN当前支持Tensorflow(Lite)、Caffe、ONNX和TorchScript的模型转换。模型转换工具可以参考使用说明。支持转换的算子,可以参考算子列表文档;在遇到不支持的算子时,可以尝试自定义算子,或在Github上给我们提交issue。此外,模型打印工具可以用于输出模型结构,辅助调试。除模型转换外,MNN也提供了模型量化工具,可以对浮点模型进行量化压缩。
推理
在端侧加载MNN模型进行推理的阶段。端侧运行库的编译请参考各平台的编译文档:iOS、Android、Linux/macOS/Ubuntu、Windows。我们提供了API接口文档,也详细说明了会话创建、数据输入、执行推理、数据输出相关的接口和参数。demo/exec
下提供了使用示例,如图像识别 demo/exec/pictureRecognition.cpp
,图像实例分割(人像分割)demo/exec/segment.cpp
,更多demo。此外,测试工具和benchmark工具也可以用于问题定位。