1.简介
FP-AI-是的功能包,用于超低功耗物联网节点的人工智能应用(基于音频和运动传感器)。在该功能包提供的示例中,可以通过ST官方提供的手机APP(/IOS) 来配置设备,同时也提供了命令行接口(UART接口)进行交互,可实现基于人类活动识别和音频场景的分类应用。将记录及标注的传感器数据在PC/GPU/Cloud上训练自己的神经网络模型,将训练好的模型使用X-CUBE-AI扩展工具进行转换,最终实现模型在MCU设备端的运行。
2.软件结构
软件结构主要分为硬件抽象层(HAL)、中间件(BLE、USB、FatFs等)、应用层,如下图2.1所示。其中,硬件基于ST官方提供的扩展板、评估板、开发板,如X–、等。
图2.1 FP-AI-软件结构3.APP应用
移动端APP 主要实现对设备端传感器信息的读取、AI应用展示及AI数据采集和记录。在人类活动识别AI应用中,可通过选择不同的分类算法模型来实现不同的活动类型识别,如或算法可实现对站立、行走、跑步、骑车等活动类型的识别,如图3.1所示。
图3.1 人类活动识别
声音场景分类应用可实现对户内、户外等声音场景进行识别和分类,如图3.2所示。
图3.2 声音场景分类
此外,还可以实现多个神经网络算法模型的并行运行。如图3.3所示,选择人类活动识别和声音场景分类模型并行运行。
图3.3 多个神经网络算法模型的并行运行
关于AI数据采集和记录,在进入AI数据采集界面后,选择想要采集的传感器(可选择多个),并设定好相应的采样频率及添加数据标签后,点击“START ”即可开始采集数据,采集的数据根据不同的板子类型保存在SD卡或Flash中,将采集到的运动传感器数据按csv文件类型保存,声音则以wav文件保存。
图3.4 AI数据采集和记录4.命令行
命令行工具(CLI)是为开发目的而设计的,用于在控制台中快速测试功能或AI算法。通过命令行可实现:运行人工智能算法(HAR,ASC等)、系统信息管理(信息,日期等)、启动AI数据记录、文件系统管理等。
图4.1 CLI运行声音场景分类模型(ASC)