一、交互方式更加友好,RKNN-Toolkit新版本将支持图形界面
经过多个版本的不断迭代完善,RKNN-Toolkit已日益成熟。瑞芯微即将推出的新版将加入图形交互界面(GUI),开发者通过鼠标点击即可完成模型的转换、量化、性能分析、内存耗费分析等任务,快速完成AI模型在端侧部署的评估和转换工作。特别是对于混合量化等较为复杂的任务,相比于过去的命令行交互,通过图形界面可大幅提高效率并降低操作错误的概率。另外,新版RKNN-Toolkit的图形界面同样在Linux/Mac OSX/Windows三个平台上均可运行。
二、模型转化更加简便,RKNN-Toolkit将对MXNet和PyTorch提供原生支持
在过去RKNN-Toolkit通过ONNX来完成MXNet和PyTorch等模型的支持,开发者需要先将模型转换为ONNX格式,再进一步转换为RKNN模型,这一过程较为繁琐,并且提高了引入问题的概率使得最终转换失败。
MXNet及PyTorch发展非常迅速,普及度快速提高, RKNN-Toolkit新版本将原生支持MXNet及PyTorch模型的转换,在端侧AI平台的框架和模型支持覆盖度上继续保持领先。
三、模型推理性能更加稳定,瑞芯微 AI平台支持通过Docker快速部署端侧AI应用
随着端侧设备数量的成倍增长,需要以更具可扩展性的方式部署端侧AI应用软件。Docker容器技术是业界广泛通行的解决这一挑战的有力工具。
RK1808平台系统将提供对Docker的支持,通过硬件抽象层,在容器中仍可调用NPU的强劲算力,经测试,容器中的AI模型推理性能几乎没有损失。
通过上述更新,开发者基于瑞芯微Rockchip AI平台的产品开发、部署、维护将更为迅捷。瑞芯微将继续与广大开发者共同努力,加速AI在各类场景的落地。