Please enable JavaScript.
Coggle requires JavaScript to display documents.
A Review of Cockpit-driving Integration for Human-centric Autonomous…
A Review of Cockpit-driving Integration for Human-centric Autonomous Driving
引言:自动驾驶任然停留在L2、L3,长尾挑战是自动驾驶汽车现在面临的常识性问题。
智能驾驶
专注于实现对驾驶场景中的周围车辆、车道标线、交通标志、行人等要素的准确、全面的感知。
智能座舱
通过视觉、听觉和手势交互技术实现与驾驶员的多种交互, 同时,强调驾驶员疲劳、分心、情绪和行为的检测技术,以增强驾驶员的注意力和反应能力,确保驾驶安全。智能座舱和智能驾驶的
独立发展
阻碍了驾驶员和驾驶场景信息紧密耦合的驾驶环境的处理。对当前的感知和决策技术在 CDI (驾驶舱驾驶集成)中的问题:
(1)构建多模态融合的考虑因素是什么 CDI 的感知算法?(2)如何解决不同时空驾驶环境下驾驶员行为和意图的一致性?(3)如何应对CDI 中的驾驶过程不确定性?
CDI感知系统(多模态感知算法:同时感知驾驶员和驾驶场景信息,整合各类信息进行预测)
个性化感知(不同的驾驶员具有不同的特征,例如生理特征、驾驶偏好和驾驶风格。)
驾驶员状态检测
:个性化驾驶员状态检测,通过识别不同驾驶员之间的脑电图、皮肤电反应(GSR)、光电体积描记(PPG)等生理信号以及面部特征等外部特征的差异,提高检测精度。
驾驶风格识别
:与个性化驾驶员状态检测不同,驾驶风格识别强调识别驾驶员在驾驶行为方面的特征和偏好,可以支持个性化决策,辅助纠正不良驾驶习惯,促进驾驶安全 。
CDI 感知算法
驾驶员状态检测
:同时考虑驾驶员、驾驶场景和车辆状态的因素以及它们复杂的交互。 除了疲劳检测之外,驾驶员头部姿势、视线、车道标记和周围车辆信息等信息也常用于基于 CDI 的分心检测。 (1)研究了眨眼持续时间、侧向偏差和驾驶员疲劳程度之间的相关性;(2)利用模糊融合算法将驾驶员的头部姿势与检测到的车辆相对于自我车辆的距离和角度相结合,以确定驾驶员分心造成的驾驶危险程度;(3)将驾驶员的头部姿势与车辆的纵向偏移和车道行驶方向、方向盘角度和速度结合起来;(4)将脑电图(EEG)信号与驾驶场景中的路况相结合,以评估驾驶员的警惕水平。
接管识别
: 许多研究利用驾驶员信息,例如眼动追踪数据、心率和驾驶场景来估计SA或接管性能
驾驶员行为预测
:驾驶员通常会根据驾驶场景、车辆状态和个人因素做出不同的行为。(1)车辆状态与驾驶场景相结合来预测驾驶员行为;(2)通过结合驾驶员头部运动、车道位置和车辆状态的信息;(3)考虑了驾驶员在 1 秒时间窗口内的头部运动、视觉注意力、道路曲率、车道标记的横向距离以及车辆状态信息;(4)将2s时间窗口内驾驶员头部姿势、周围车辆运动和车辆状态的时间序列信息组合;(5)利用驾驶员的头部姿势、车道信息、车速和GPS来输出驾驶员行为的概率分布;(6)(LSTM/CNN)整合了驾驶员的面部动作、车道标记和车速来推断驾驶员的转向和变道意图;(7)(LSTM/RNN)利用驾驶员的头部位置、道路状况、GPS和车辆动力学来推断驾驶员的驾驶意图。
背景和范围
背景:(1)只使用驾驶场景进行检测;(2)结合驾驶场景和驾驶员的信息进行检测
范围:研究了符合CDI概念的感知算法,包括
驾驶员行为预测、状态检测和接管识别
。同时,为了解决驾驶员个性化问题,提出了
个性化驾驶员状态检测和风格识别方法
。此外,考察了与CDI决策系统相关的算法,算法可以分为
车道保持、碰撞避免和SA增强
。在此基础上,引入个性化决策以适应不同驾驶员行为之间的差异。
标题:以人为本的自动驾驶座舱驾驶集成综述
摘要:自动驾驶汽车缺乏同时考虑驾驶员和驾驶场景信息的系统,降低了自动驾驶汽车在人车协作阶段驾驶员和驾驶场景信息紧密耦合的驾驶环境中决策的成功概率,因此,提出了座舱驾驶集成系统(CDI)并回顾了 CDI 系统的感知和决策算法。
CDI决策系统
CDI 决策算法(综合利用驾驶员和驾驶场景信息)
碰撞避免
:检测驾驶员的状态和驾驶场景,以推断安全风险、发出警告或激活自动紧急制动(AEB)
SA (态势感知)增强
:结合驾驶员的注视行为和外部驾驶场景信息,提醒驾驶员驾驶场景信息中的重要信息,增强驾驶员的SA
车道保持
:集成了驾驶员的状态和车道信息,以生成车道偏离警告或执行纠正转向操作
个性化决策算法
个性化变道
:变道(LC)行为是指车辆自愿或强制从当前车道移动到另一车道,描述了车辆之间的横向交互
个性化制动
:驾驶员特征对制动行为的影响主要包括碰撞预警阈值和制动控制策略
个性化跟车
:跟车(CF)行为是指驾驶员保持当前车道并与前车和后车互动
驾驶过程的不确定性
CDI系统框架
终身学习导向的结构
:关键是
在学习新的驾驶环境时防止灾难性遗忘
,学习新的驾驶环境,但这可能会导致忘记旧的驾驶环境。该结构具有
动态可扩展的神经网络和内存池
。额外的内存池可以存储以前任务的数据,允许模型重新访问旧数据以防止灾难性遗忘。 动态可扩展的神经网络选择性地训练与这些变量相关的网络参数并输出相应的结果,当面临新任务时,网络可以利用以前学到的知识进行评估。 如果损耗不能达到期望的阈值,网络首先动态扩展其容量。 随后,通过将内存池中的旧数据与新数据相结合来训练网络,实现终身学习。
CDI 系统框架
:将驾驶员信息无缝集成到决策过程中,专为复杂的人车协作场景量身定制;强调将感知与个性化和个性化决策纳入框架的重要性,以减少决策循环中的驾驶员不确定性,并符合未来个性化自动驾驶汽车的发展趋势;采用了终身学习结构,利用可动态扩展的神经网络和内存池。 该框架由两个主要部分组成:
感知系统和决策系统
。 感知系统负责收集参数信息,包括驾驶员、驾驶场景和车辆状态,并通过面向终身学习的结构进行处理,输出预测结果。 决策系统利用感知结果和原始信息来生成个性化决策。