RushMog智能系统包括语音控制系统,主控制系统(包括机械臂控制),视觉分析系统,远程控制中心系统四个核心子系统。
- 语音控制系统,识别语音,将语音转换成执行指令,并将指令传给主控制系统,进行控制执行。
- 主控制系统,接收语音指令、图像识别指令对小车行进、摄像头运行状态、机械臂进行控制执行。
- 视觉分析系统,驱动摄像头,对图像进行分析识别,形成控制指令传给主控制系统进行控制执行。提供WIFI,并将图像结果等反馈给远程控制中心。
- 远程控制中心系统,通过WIFI连接视觉系统,控制视觉系统接收指令,并接收视觉系统反馈及图像结果。
语音控制唤醒词:够够 命令如下:
命令关键字 | 功能 | 命令ID | 指示灯 |
---|---|---|---|
停/别走了 | 小车停止 | 0 | |
前进/走 | 小车前进 | 1 | |
后退 | 小车后退 | 2 | |
往左走 | 小车向左横向走 | 3 | |
往右走 | 小车向右横向走 | 4 | |
往左前走 | 小车向左前方向斜着走 | 5 | |
往右前走 | 小车向右前方向斜着走 | 6 | |
往左后走 | 小车向左后方向斜着走 | 7 | |
往右后走 | 小车向右后方向斜着走 | 8 | |
左转 | 小车向左转 | 9 | |
右转 | 小车向右转 | A | |
调头 | 小车调头 | B | |
回来 | 小车向前一方向相反的方向行驶 | C | |
测试小车 | 测试小车 | D | |
测试机械臂 | 测试机械臂 | E | |
启动避障模式 | 启动避障模式 | F | |
关闭避障模式 | 关闭避障模式 | G | |
追踪小球 | 追踪小球 | H | |
追踪够够 | 追踪够够 | I |
使用串口2向主控板通信,TX针脚:PA_5, RX针脚:PA_6,波特率: 9600
注:
- 1 编译和烧录通过天问BLOCK软件自动完成
- 2 可能会硬件不识别等问题,先换数据线试试。不行问天问社区
主控子系统功能:
- 1 接收语言控制指令
- 2 驱动小车电机,四个电机分别驱动,能够实现前进/后退/停止等动作
- 3 与树莓派/摄像头交互,传递控制指令,接收图像分析结果
- 4 驱动机械臂运动控制执行
图像识别子系统功能:
- 1 连接摄像头,实时采集图像数据
- 2 应用机器学习进行图像识别
- 3 对位置、距离进行识别
- 4 形成控制指令传给主控制系统
- 软件设计工具: StarUML https://staruml.io/download