(12)发明专利申请
(10)申请公布号 CN 112241647 A(43)申请公布日 2021.01.19
(21)申请号 201910640578.6(22)申请日 2019.07.16
(71)申请人 青岛点之云智能科技有限公司
地址 266000 山东省青岛市崂山区科苑纬
一路1号创新园B座402室(72)发明人 张维忠 袁翠梅 李金宝 李广文
张宏峰 (74)专利代理机构 昆明合众智信知识产权事务
所 53113
代理人 李晓元(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/46(2006.01)
权利要求书3页 说明书7页 附图5页
(54)发明名称
一种基于深度相机的危险驾驶行为预警装置和方法(57)摘要
本发明涉及一种基于深度相机的危险驾驶行为预警装置和方法，包括深度相机、特征点定位模块、状态识别模块、驾驶状态预警模块，首先获取红外图像与深度图像样本，获取人脸区域、人脸特征点，基于获取的人脸特征点集合及危险状态评估，包括打电话行为检测、抽烟行为检测、正视行为检测、观看视频检测、手机屏幕亮度监测。本发明基于深度相机的疲劳驾驶检测及危险驾驶行为识别算法，利用人脸特征点的标定，实现了对驾驶员的危险驾驶行为进行预警，实验证明，本算法稳定性好，对系统要求较低，可移植到嵌入式系统上使用，具有较强的实用价值，鲁邦性强，可适用于复杂光线变化的场景。
CN 112241647 ACN 112241647 A
权 利 要 求 书
1/3页
1.一种基于深度相机的危险驾驶行为预警装置，其特征在于：包括深度相机、特征点定位模块、状态识别模块、驾驶状态预警模块；
所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼睛、戴眼镜正面图像集合；
人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数，通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点；
状态识别模块用于对人脸特征点定位模块提取的人脸进行分析，提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别结果返回值；
驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾驶员的危险评估结果，若超出设定值，这进行危险状态预警。
2.根据权利要求1所述的一种基于深度相机的危险驾驶行为预警装置，其特征在于：所述深度相机采用Intel Realsense深度摄像头。
3.一种基于深度相机的危险驾驶行为预警方法，其特征在于：包括以下步骤：S1获取红外图像与深度图像样本深度相机获取人脸图像样本；S2获取人脸区域、人脸特征点，具体包括：S21人脸区域检测
采用局部二值模式进行人脸检测；S22获取人脸特征点在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行人脸标定获取特征点；
S3危险状态评估S31打电话行为检测
S311在前面用红外图像获得了人脸区域，在此区域的基础上，把其宽度拓展为1.5倍，获取区域为头部区域，为了排除座椅靠背等深度图像中的非面部噪声，利用深度信息去除噪声，获得去噪后的头部深度图像后，将其转换为8位的灰度图像，然后使用自动阈值对其进行二值化处理，再对二值化后的图像取反获得明显轮廓的二值图像；
S312获取连通区域
得到头部的二值化图像后，从图像中查找轮廓，得到连通域，计算并得出其面部连通域面积，根据连通域的变化情况，即可获得头部状态，当前面部深度与上一帧深度的差值，当差值范围变化到达一定阈值时，发出危险驾驶的预警；
S32抽烟行为检测
S321利用获取的面部特征点，定位嘴部区域选取嘴部区域，取嘴部宽度方向的最左边特征点的x坐标的起点，选取鼻部最下边缘的特征点为嘴部区域y坐标的起点，嘴部宽度方向的最右边特征点与嘴部宽度方向的最左边特征点的x坐标的差值为嘴部区域的宽，嘴部最下端的特征点与鼻部最下边缘的特征点的y坐标的差值为嘴部区域的高，即为选定的嘴部区域；
S322计算嘴部深度像素
2
CN 112241647 A
权 利 要 求 书
2/3页
对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端的特征点，以及两眼睛内侧端特征点的区域为鼻部区域，计算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前帧的嘴部深度与鼻部深度做差，记录嘴鼻差值；
S323判断是否吸烟
将当前帧与上一帧的嘴部深度差值与嘴部深度与鼻部深度差值联合判断是否发生抽烟行为，可以据此找出阈值，通过是否到达阈值判断是否发生抽烟行为，当达到阈值时，驾驶状态预警模块发出预警信号；
S33正视行为检测
采用基于LBP特征的侧脸检测模型检测识别侧脸，判断发生侧脸交谈等未注视前方行为，启动发出预警。
4.根据权利要求3所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S2中的人脸特征点的方法为：
S221首先使用随机森林算法和形状索引特征得到图像的局部二值特征,然后线性回归求解回归模型，然后使用训练得到的特征图和线性方程得到更新后的人脸区域△s,与上一个阶段相加得到当前步骤的人脸区域，不断迭代直至结束；
S222使用OpenCV3.4及其contrib模块加载模型，首先创建人脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点，这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特征点，并把特征点转为类获取特征点坐标。
5.根据权利要求3或4所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行人脸检测与特征点检测。
6.根据权利要求4所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S2中获取人脸特征点，还包括获取佩戴眼镜时，人脸特征点，其具体算法如下：
S231对获得的红外图像进行预处理，使用均值滤波平滑图像；S232使用sobel算子，进行图像Y方向的边缘检测；S233对边缘检测后的面部图像，进行二值化处理；S234利用S22中求得的面部特征点，计算出两眼的中间坐标与鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况。
7.根据权利要求3所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S33中正视行为检测流程如下:
S331红外图像直方图均衡化，高斯滤波平滑去噪；S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测人脸；S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因此对检测到的人脸区域
3
CN 112241647 A
权 利 要 求 书
3/3页
求其关于Y轴对称的图像；
S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检测模型检测侧脸；S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正脸被检测到，计时器置零；
S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行为，启动发出预警。
4
CN 112241647 A
说 明 书
一种基于深度相机的危险驾驶行为预警装置和方法
1/7页
技术领域
[0001]本发明涉及驾驶监控预警技术领域，具体涉及一种基于深度相机 的危险驾驶行为预警装置和方法。
背景技术
[0002]当前我国是汽车制造大国，汽车保有量居世界第二，不断增多的 车辆带来的不仅是出行的便利，也带来了一系列的问题。其中，频繁 发生的交通事故已经成为最重要的问题，每年发生的交通事故造成的 死亡人数逐年递增，并且据美国国家公路交通安全管理局(NHTSA) 的调查报告显示，在发生的事故中，由危险驾驶行为引起的交通事故 占了很大的比例，比如吸烟、接打电话等，目前这些危险行为一般采 用在车内安装烟感器检测是否有烟雾产生，对应吸烟，但是车内吸烟 的不一定是司机，在方向盘上安装压力传感器，检测司机的手是否离 开方向盘，以确定是否接打电话或者是抽烟，危险驾驶行为检测一直 是一个难点，像抽烟、打电话等行为无法很好的检测，大部分的抽烟 检测都仅能在白天进行识别，且运行效率低，识别率低,传统的机器 学习和深度学习有样本库较少、环境复杂、复杂度高、速度低等问题。发明内容
[0003]为克服所述不足，本发明的目的在于提供一种基于深度相机的危 险驾驶行为预警装置和方法。
[0004]本发明解决其技术问题所采用的技术方案是：一种基于深度相机 的危险驾驶行为预警装置，包括深度相机、特征点定位模块、状态识 别模块、驾驶状态预警模块。[0005]所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼 睛、戴眼镜正面图像集合；
[0006]人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数， 通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归 相结合的方法训练出的LBF特征模型获取人脸特征点；
[0007]状态识别模块用于对人脸特征点定位模块提取的人脸进行分析， 提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别 结果返回值；[0008]驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾 驶员的危险评估结果，若超出设定值，这进行危险状态预警。[0009]所述深度相机采用Intel Realsense深度摄像头。[0010]一种基于深度相机的危险驾驶行为预警方法，包括以下步骤：[0011]S1获取红外图像与深度图像样本[0012]深度相机获取人脸图像样本；[0013]S2离线训练获取人脸区域、人脸特征点，具体包括以下方法：[0014]S21人脸区域检测
5
CN 112241647 A[0015]
说 明 书
2/7页
采用局部二值模式进行人脸检测；
[0016]S22获取人脸特征点[0017]在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用 Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行 人脸标定获取特征点，有较高的准确率和实时性，包括以下步骤：
[0018]S221首先使用随机森林算法和形状索引特征得到图像的局部二 值特征,然后线性回归求解回归模型，然后使用训练得到的特征图和 线性方程得到更新后的人脸区域Δs,与上一个阶段相加得到当前步 骤的人脸区域，不断迭代直至结束；[0019]S222使用OpenCV3.4及其contrib模块加载模型，首先创建人 脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建 存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点， 这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特 征点，并把特征点转为类获取特征点坐标；[0020]在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直 方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行 人脸检测与特征点检测。[0021]S23获取戴眼镜时，人脸特征点[0022]在S21、S22的基础上加入戴眼镜检测来对应相应的阈值，戴眼 镜的人脸特征点检测的具体算法如下：
[0023]S231对获得的红外图像进行预处理，使用均值滤波平滑图像；[0024]S232使用sobel算子，进行图像Y方向的边缘检测；[0025]S233对边缘检测后的面部图像，进行二值化处理；[0026]S234利用S22中求得的面部特征点，计算出两眼的中间坐标与 鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区 域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
[0027]S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百 分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况；[0028]S3危险状态评估[0029]S31打电话行为检测
[0030]S311在前面用红外图像获得了人脸区域，在此区域的基础上， 把其宽度拓展为1.5倍，获取区域为头部区域，为了排除座椅靠背等 深度图像中的非面部噪声，利用深度信息去除噪声，获得去噪后的头 部深度图像后，将其转换为8位的灰度图像，然后使用自动阈值对其 进行二值化处理，再对二值化后的图像取反获得明显轮廓的二值图 像；[0031]S312获取连通区域
[0032]得到头部的二值化图像后，从图像中查找轮廓，得到连通域，计 算并得出其面部连通域面积，根据连通域的变化情况，即可获得头部 状态，当前面部深度与上一帧深度面部深度的差值，当差值范围变化 到达一定阈值时，发出危险驾驶的预警；[0033]S32抽烟行为检测
[0034]S321利用获取的面部特征点，定位嘴部区域[0035]选取嘴部区域，取嘴部宽度方向的最左边特征点的x坐标的起 点，选取鼻部最下边缘的特征点为嘴部区域y坐标的起点，嘴部宽度 方向的最右边特征点与嘴部宽度方向的
6
CN 112241647 A
说 明 书
3/7页
最左边特征点的x坐标的差 值为嘴部区域的宽，嘴部最下端的特征点与鼻部最下边缘的特征点的 y坐标的差值为嘴部区域的高，即为选定的嘴部ROI区域；[0036]S322计算嘴部深度像素
[0037]对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当 前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的 嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端 的特征点，以及两眼睛内角点为特征点的之间的区域为鼻部区域，计 算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前帧的嘴 部深度与鼻部深度做差，记录嘴鼻差值；[0038]S323判断是否吸烟
[0039]将当前帧嘴部深度与上一帧的嘴部深度差值、嘴部深度与鼻部深 度差值联合判断是否发生抽烟行为，可以据此找出阈值，通过是否到 达阈值判断是否发生抽烟行为，当达到阈值时，驾驶状态预警模块发 出预警信号；[0040]S33正视行为检测
[0041]在驾驶员行车过程中，是否正视前方也是危险驾驶行为的一个重 要判定行为，超30％的车祸是因为不注视前方，侧脸与他人交谈发生 的，因此采用基于LBP特征的侧脸检测模型检测识别侧脸，正视行为 检测流程如下:[0042]S331红外图像直方图均衡化，高斯滤波平滑去噪；[0043]S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测 人脸；[0044]S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因 此对检测到的人脸区域求其关于Y轴对称的图像。
[0045]S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检 测模型检测侧脸；[0046]S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正 脸被检测到，计时器置零；
[0047]S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行 为，启动发出预警。
[0048]本发明具有以下有益效果：本发明基于深度相机的疲劳驾驶检测 及危险驾驶行为识别算法，利用人脸特征点的标定，实现了对驾驶员 的危险驾驶行为进行预警，实验证明，本算法稳定性好，对系统要求 较低，可移植到嵌入式系统上使用，具有较强的实用价值，鲁邦性强， 可适用于复杂光线变化的场景，为夜间的危险驾驶预警提供了新方 法，具有较高的实用价值。
附图说明
[0049]图1为本发明的流程示意图。[0050]图2为本发明的LBP算子示意图。
[0051]图3为本发明的预处理后的人脸检测与特征点获取示意图。[0052]图4为本发明的打电话状态的深度图像。[0053]图5为本发明的打电话状态的二值图像。[0054]图6为本发明的打电话连通域图。[0055]图7为本发明的连通域波形图。
7
CN 112241647 A[0056][0057][0058][0059][0060][0061][0062]
说 明 书
4/7页
图8为本发明的连通域变化图。图9为本发明的68特征点图。图10为本发明的ROI区域图。
图11为本发明的嘴部深度差值变化图。图12为本发明的嘴鼻差值变化图。图13为本发明的分割的人脸图。
图14为本发明的分割的人脸Y轴对称图。
具体实施方式
[0063]现在结合附图对本发明作进一步详细的说明。
[0064]如图1-14所示的一种基于深度相机的疲劳驾驶预警系统，包括 深度相机、人脸特征点定位模块、状态识别模块、驾驶状态预警模块；[0065]所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼 睛、戴眼镜正面图像集合；
[0066]人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数， 通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归 相结合的方法训练出的LBF特征模型获取人脸特征点；
[0067]状态识别模块用于对人脸特征点定位模块提取的人脸进行分析， 提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别 结果返回值；[0068]驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾 驶员的危险评估结果，若超出设定值，这进行危险状态预警。[0069]所述深度相机采用Intel Realsense深度摄像头。[0070]一种基于深度相机的危险驾驶行为预警方法，包括以下步骤：[0071]S1获取红外图像与深度图像样本[0072]深度相机获取人脸图像样本；[0073]S2离线训练获取人脸区域、人脸特征点，具体包括以下方法：[0074]S21人脸区域检测
[0075]采用局部二值模式进行人脸检测，所述局部二值模式LBP(Local Binary Patterns)算子是在一个3*3的窗口内取其中心像素值为阈 值，周围8个像素值与其比较，大于标记为1，否则为0，首先计算 图像的LBPi，其中图像大小为(w-2*radius，h-2*radius)，然后计算 各像素在第n邻域所对应像素的偏移坐标，利用双线性差值计算像素 (x,y)第n邻域的灰度值和编码，得出所以像素的LBP编码值，计算 每个LBPi图像的宽度和高度，按行统计每个LBPi直方图各值高度， 将结果存储在HIST中，并将高度除以(宽度*高度)，进行直方图归 一化，以行为主序列将HIST转换为1维的向量矩阵，最后计算直方 图之间的距离来判定是否为人脸；[0076]S22获取人脸特征点[0077]在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用 Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行 人脸标定获取特征点，有较高的准确率和实时性，包括以下步骤：
8
CN 112241647 A[0078]
说 明 书
5/7页
S221首先使用随机森林算法和形状索引特征得到图像的局部二 值特征,然后线
性回归求解回归模型，然后使用训练得到的特征图和 线性方程得到更新后的人脸区域Δs,与上一个阶段相加得到当前步 骤的人脸区域，不断迭代直结束；[0079]S222使用OpenCV3.4及其contrib模块加载模型，首先创建人 脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建 存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点， 这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特 征点，并把特征点转为类获取特征点坐标；[0080]在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直 方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行 人脸检测与特征点检测。[0081]S23获取戴眼镜时，人脸特征点
[0082]由于是否佩戴眼镜会对EAR阈值产生影响，因佩戴眼镜使图像中 的人眼特征点拟合产生了影响，在S2.1、S2.2的基础上加入戴眼镜 检测来对应相应的阈值，戴眼镜的人脸特征点检测的具体算法如下：
[0083]S231对获得的红外图像进行预处理，使用均值滤波平滑图像；[0084]S232使用sobel算子，进行图像Y方向的边缘检测；[0085]S233对边缘检测后的面部图像，进行二值化处理；[0086]S234利用S22中求得的面部特征点，计算出两眼的中间坐标与 鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区 域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
[0087]S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百 分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况；[0088]S3危险状态评估[0089]S31打电话行为检测
[0090]S311在前面用红外图像获得了人脸区域，在此区域的基础上， 把其宽度拓展为1.5倍，以便可以正确的捕获打电话等手部状态，此 区域为头部(ROI)区域，原始的深度图像边缘多锯齿状，先对其做 形态学腐蚀处理，使其边缘更加平滑，在获得头部的ROI区域后，如 图4、图5所示，为了排除座椅靠背等深度图像中的非面部噪声，利 用深度信息去除噪声，将面部前后十公分范围外的深度像素置为零， 采用以下计算方法：
[0091]
其中one_meter为深度图像中，一米所对应的深度值，Dface为 人脸区域深度像素的平均值，即面部到摄像头的距离Dface：
[0093]
[0092]
获得去噪后的头部深度图像后，将其转换为8位的灰度图像，然 后使用自动阈值对其进行二值化处理，再对二值化后的图像取反获得 明显轮廓的二值图像，如图6所示；[0095]S312获取连通区域
[0096]得到头部的二值化图像后，从图像中查找轮廓，得到联通域，计 算并得出其面部
9
[0094]
CN 112241647 A
说 明 书
6/7页
连通域面积，根据连通域的变化情况，即可获得头部 状态。在计算连通域变化时，如果人脸相对摄像头的距离发生明显的 变化，即人脸占据屏幕的比值变大时会产生干扰，为了消除前后移动 使头部区域大小变化的影响，计算当前面部深度与上一帧面部深度的 差值，当面部深度差值范围变化在0.01，即1公分以内时，才进行 计算，计算当前帧的面部连通区域与前一帧的面部连通区域的比值， 只有打电话或手置于侧面等危险驾驶行为时，当前帧的面部连通区域 与前一帧的面部连通区域的比值才会发生明显变化，面部通域在发生 危险驾驶行为时的变化，和当前帧的面部连通区域与前一帧的面部连 通区域的比值areachange的变化情况如图7、图8所示，进而可通过 数据分析求出阈值，当当前帧的面部连通区域与前一帧的面部连通区 域的比值到达阈值时，发出危险驾驶的预警，阈值设为1.1，当超出 阈值时，驾驶状态预警模块发出预警信号；[0097]S32抽烟行为检测
[0098]S321利用获取的面部特征点，定位嘴部区域[0099]选取嘴部区域，取嘴部宽度方向的最左边特征点49的x坐标的 起点，选取鼻部最下边缘的特征点32为嘴部区域y坐标的起点，嘴 部宽度方向的最右边特征点55与嘴部宽度方向的最左边特征点49的 x坐标的差值为嘴部区域的宽，嘴部最下端的特征点58与鼻部最下 边缘的特征点32的y坐标的差值为嘴部区域的高，即为选定的嘴部 ROI区域；[0100]S322计算嘴部深度像素
[0101]对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当 前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的 嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端 的特征点32、36,以及两眼睛内侧端特征点40、43的区域为鼻部区 域，计算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前 帧的嘴部深度与鼻部深度做差，记录嘴鼻差值；[0102]S323判断是否吸烟
[0103]嘴部深度差值与嘴鼻差值联合判断是否发生抽烟行为，经过实际 长时间的实验，绘制出的嘴部深度差值与嘴鼻差值变化图如图12所 示，可以清楚的看到当发生抽烟行为时，嘴部深度差值与嘴鼻差值会 出现明显的变化，可以据此找出阈值，嘴部深度差值为0.05，嘴鼻 差值阈值为500，通过是否到达阈值判断是否发生抽烟行为，当达到 阈值时，驾驶状态预警模块发出预警信号；[0104]S33正视行为检测
[0105]在驾驶员行车过程中，是否正视前方也是危险驾驶行为的一个重 要判定行为，超30％的车祸是因为不注视前方，侧脸与他人交谈发生 的，因此采用基于LBP特征的侧脸检测模型检测识别侧脸，正视行为 检测流程如下:[0106]S331红外图像直方图均衡化，高斯滤波平滑去噪；[0107]S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测 人脸，如图13所示；[0108]S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因 此对检测到的人脸区域求其关于Y轴对称的图像，如图14所示。
[0109]S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检 测模型检测侧脸；[0110]S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正 脸被检测到，计时器置零；
10
CN 112241647 A[0111]
说 明 书
7/7页
S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行 为，启动发出预
警。
本发明不局限于所述实施方式，任何人应得知在本发明的启示下 作出的结构变
化，凡是与本发明具有相同或相近的技术方案，均落入 本发明的保护范围之内。[0113]本发明未详细描述的技术、形状、构造部分均为公知技术。
[0112]
11
CN 112241647 A
说 明 书 附 图
1/5页
图1
图2
12
CN 112241647 A
说 明 书 附 图
2/5页
图3
图4
图5
13
CN 112241647 A
说 明 书 附 图
3/5页
图6
图7
图8
14
CN 112241647 A
说 明 书 附 图
4/5页
图9
图10
图11
15
CN 112241647 A
说 明 书 附 图
5/5页
图12
图13
图14
16
因篇幅问题不能全部显示，请点此查看更多更全内容