一、产品简介

智能座舱实训台是一款融合了物联网控制、车载网络CAN总线、人工智能开发、开源应用开发、Qt应用软件开发的实验平台，能够满足智能网联专业智能座舱课程、物联网控制与嵌入式操作系统课程、人工智能应用课程的实验实训的要求。

平台包含中控计算平台系统、车机及其显示器、视觉传感器、麦克风阵列、音响设备、座舱舱体（含座椅、雨刮、车窗、方向盘、刹车踏板、加速踏板）、超声波雷达、毫米波雷达等硬件，结合中控软件系统、车机软件、座椅控制程序，实现手势识别、人脸识别、语音交互、驾驶员疲劳驾驶检测、座椅远程调节、雨刮车窗控制、车载传感器监测、车机应用娱乐等功能。

二、产品组成

产品包括智能座舱实训台体和智能座椅舱体两部分。

实训台体主要安装了中控计算平台、车机控制器、显示器、视觉传感器、麦克风阵列、扬声器及音响、超声波雷达及其四个探头、毫米波雷达、激光雷达、以及网络组建设施。布局如图所示。

舱体，安装了单台主驾驶座椅、雨刮及电机、车窗及电机、方向盘、刹车踏板、加速踏板和座舱线控制器，通过座舱线控制器，接入到系统的CAN总线中，支持使用CAN分析工具测试舱体设备。

三、产品功能

1、座椅设施控制功能

可通过软件控制座椅向前移动任意距离、向后移动任意距离、向上移动、向下移动、回归零点；可以控制雨刮器擦拭挡风玻璃；控制车窗器驱动车窗升降。

2、人脸识别功能

软件和视觉传感器配合，能够实现人脸检测、人脸录入、人脸识别调节座椅。

3、手势识别座舱控制功能

软件支持手势交互功能，通过人工智能算法，能够识别手部的关键点信息；软件支持不少于4种的手势识别；并根据手势识别的结果，控制车载氛围灯开、关、调节座椅前移或后移。

4、语音识别座舱控制功能

软件支持语音交互控制功能，开启语音识别后，可识别到用户的语音指令，根据用户指令发送命令，控制座舱氛围灯开关、座舱风扇开关、座椅移动方式。

5、驾驶员疲劳检测功能

软件支持驾驶员疲劳或注意力不集中的状态检测，采用pytorch框架，真实场景拍摄的驾驶员数据，支持正常驾驶、打呵欠、低头、打电话至少四种不同状态的检测。当出现疲劳或不集中状态时，软件语音提醒驾驶员休息。

6、汽车周身环境感知功能

软件可以探测并可视化超声波四路探头前方障碍物的距离；可以设置毫米波雷达参数，对前方障碍物信息进行筛选显示；采用ROS操作系统，和可视化机器人系统开源工具RViz，可视化显示激光雷达四周的动态信息。

四、软件资源

1、座舱CAN控制软件：采用嵌入式处理器和C语言开发，驱动PWM外设接口输出脉冲调制信号驱动座椅的前后方向转动电机、或上下方向转动电机，并实时检测限位变化，控制电机及时停止；驱动车窗总成电机正反转，实现车窗上升或下降；驱动继电器吸合或断开控制雨刮器的的往复摆动；实时读取方向盘、刹车踏板、加速踏板的模拟量传感器信号，输出方向盘转角、踏板深度数据；控制器具有CAN总线接口，支持CAN总线通信协议，与其他CAN总线设备通信。

2、座椅上位机控制软件：采用PyQt进行GUI上位机软件开发，具备TCP/IP通信程序，可以通过网络与座舱CAN控制器进行通信，基于CAN总线协议，向座舱CAN控制器发送命令，控制座椅、车窗、雨刮相应动作，实时读取CAN控制器的数据帧，显示方向盘、刹车踏板、加速踏板的变化数据。

3、服务器数据处理软件：使用ROS框架作为MQTT客户端节点和TCP Server节点相互通信的中间层。MQTT客户端订阅控制类主题消息（如控制座椅、控制车窗、控制雨刮），转发给ROS层对应的订阅话题，通过ROS消息队列机制存储和转发。TCP Server节点的ROS层订阅后经格式转换，解析处理，就可以通过TCP Server发送给硬件TCP客户端进行座椅、车窗、雨刮等设备的控制。同理，TCP Server节点接收到硬件TCP客户端CAN数据协议，经过处理，再传输给MQTT节点，由MQTT节点发布。此时车机MQTT客户端订阅消息后就可以显示座椅位置、方向盘状态、踏板深度等座舱传感器数据。

4、智能座舱人机交互应用软件：基于中控系统安装的Anaconda及虚拟环境、CUDA、CUDNN、PyCharm、PyQt等开发环境，开发了基于Mediapipe 的手势识别、基于MTCNN的人脸检测和Facnet的人脸识别，基于Keras和Tensorflow深度学习框架的司机疲劳检测，基于第三方库的语音识别控制座舱设施等一系列智能人机交互软件。

5、智能座舱应用软件：基于Openharmony4.0操作系统，采用DevEco Studio IDE和ArkTs语言进行应用软件开发。软件内置MQTT应用协议，具有发布订阅消息的机制，可以订阅温湿度、光线、空气质量等车载环境信息、座舱线控状态（如方向盘转向、刹车踏板深度、加速踏板深度；也可以发布命令，控制车载氛围灯、车载风扇，控制座椅调节、车窗升降、雨刮启停；内嵌第三方语音识别库，可以语音识别控制风扇、氛围灯、车窗、雨刮；内嵌视频播放器功能软件。