【算法介绍】
基于YOLOv8的DMS（驾驶员监控系统）驾驶员抽烟、打电话、喝水、吃东西检测系统是一种利用先进计算机视觉技术的实时监测系统。该系统通过YOLOv8算法，一种在速度和准确性上均表现优异的实时目标检测算法，实现对驾驶员行为的实时监测。
该系统能够自动接收视频或图像输入，通过单次神经网络前向传播，即可快速准确地检测并识别出驾驶员是否在抽烟、打电话、喝水或吃东西等分心行为。这些检测不仅基于图像中的物体识别，还结合了人脸和手部的位置关系、嘴部区域特征等多维度信息，以提高检测的准确性。
为了训练这一系统，研究人员构建了包含大量标注图像的数据集，这些图像覆盖了各种驾驶环境下的分心行为实例。通过深度学习和优化，系统能够在复杂环境中稳定工作，为驾驶安全提供有力保障。
此外，该系统还具备实时预警功能，当检测到分心行为时，会立即通过声音、震动或视觉警告提醒驾驶员，有效降低因分心驾驶导致的事故风险。该系统在交通安全监控领域具有广泛应用前景，有望成为未来智能车辆不可或缺的一部分。
【效果展示】
【测试环境】
windows10
anaconda3+python3.8
torch==1.9.0+cu111
ultralytics==8.2.95
【模型可以检测出类别】
Sleepy
Cigarette
Drinking
Phone
microsleep
HandsOnWheel
Eating
HandsNotOnWheel
Seatbelt
【训练数据集】
【训练信息】
参数 | 值 |
训练集图片数 | 5168 |
验证集图片数 | 575 |
训练map | 91.3% |
训练精度(Precision) | 90.8% |
训练召回率(Recall) | 84.8% |
验证集map信息
Class | Images | Instances | P | R | mAP50 | mAP50-95 |
all | 575 | 646 | 0.901 | 0.848 | 0.913 | 0.665 |
Sleepy | 133 | 133 | 0.938 | 0.97 | 0.985 | 0.729 |
Cigarette | 77 | 77 | 0.914 | 0.714 | 0.846 | 0.523 |
Drinking | 164 | 164 | 0.809 | 0.799 | 0.818 | 0.519 |
Phone | 10 | 10 | 0.75 | 0.5 | 0.75 | 0.513 |
microsleep | 45 | 45 | 0.89 | 0.903 | 0.959 | 0.745 |
HandsOnWheel | 24 | 24 | 1 | 0.951 | 0.979 | 0.74 |
Eating | 54 | 54 | 0.98 | 0.963 | 0.993 | 0.776 |
HandsNotOnWheel | 38 | 38 | 0.926 | 0.99 | 0.987 | 0.792 |
Seatbelt | 100 | 101 | 0.9 | 0.842 | 0.898 | 0.649 |
【部分实现源码】
class Ui_MainWindow(QtWidgets.QMainWindow):
signal = QtCore.pyqtSignal(str, str)
def setupUi(self):
self.setObjectName("MainWindow")
self.resize(1280, 728)
self.centralwidget = QtWidgets.QWidget(self)
self.centralwidget.setObjectName("centralwidget")
self.weights_dir = './weights'
self.picture = QtWidgets.QLabel(self.centralwidget)
self.picture.setGeometry(QtCore.QRect(260, 10, 1010, 630))
self.picture.setStyleSheet("background:black")
self.picture.setObjectName("picture")
self.picture.setScaledContents(True)
self.label_2 = QtWidgets.QLabel(self.centralwidget)
self.label_2.setGeometry(QtCore.QRect(10, 10, 81, 21))
self.label_2.setObjectName("label_2")
self.cb_weights = QtWidgets.QComboBox(self.centralwidget)
self.cb_weights.setGeometry(QtCore.QRect(10, 40, 241, 21))
self.cb_weights.setObjectName("cb_weights")
self.cb_weights.currentIndexChanged.connect(self.cb_weights_changed)
self.label_3 = QtWidgets.QLabel(self.centralwidget)
self.label_3.setGeometry(QtCore.QRect(10, 70, 72, 21))
self.label_3.setObjectName("label_3")
self.hs_conf = QtWidgets.QSlider(self.centralwidget)
self.hs_conf.setGeometry(QtCore.QRect(10, 100, 181, 22))
self.hs_conf.setProperty("value", 25)
self.hs_conf.setOrientation(QtCore.Qt.Horizontal)
self.hs_conf.setObjectName("hs_conf")
self.hs_conf.valueChanged.connect(self.conf_change)
self.dsb_conf = QtWidgets.QDoubleSpinBox(self.centralwidget)
self.dsb_conf.setGeometry(QtCore.QRect(200, 100, 51, 22))
self.dsb_conf.setMaximum(1.0)
self.dsb_conf.setSingleStep(0.01)
self.dsb_conf.setProperty("value", 0.25)
self.dsb_conf.setObjectName("dsb_conf")
self.dsb_conf.valueChanged.connect(self.dsb_conf_change)
self.dsb_iou = QtWidgets.QDoubleSpinBox(self.centralwidget)
self.dsb_iou.setGeometry(QtCore.QRect(200, 160, 51, 22))
self.dsb_iou.setMaximum(1.0)
self.dsb_iou.setSingleStep(0.01)
self.dsb_iou.setProperty("value", 0.45)
self.dsb_iou.setObjectName("dsb_iou")
self.dsb_iou.valueChanged.connect(self.dsb_iou_change)
self.hs_iou = QtWidgets.QSlider(self.centralwidget)
self.hs_iou.setGeometry(QtCore.QRect(10, 160, 181, 22))
self.hs_iou.setProperty("value", 45)
self.hs_iou.setOrientation(QtCore.Qt.Horizontal)
self.hs_iou.setObjectName("hs_iou")
self.hs_iou.valueChanged.connect(self.iou_change)
self.label_4 = QtWidgets.QLabel(self.centralwidget)
self.label_4.setGeometry(QtCore.QRect(10, 130, 72, 21))
self.label_4.setObjectName("label_4")
self.label_5 = QtWidgets.QLabel(self.centralwidget)
self.label_5.setGeometry(QtCore.QRect(10, 210, 72, 21))
self.label_5.setObjectName("label_5")
self.le_res = QtWidgets.QTextEdit(self.centralwidget)
self.le_res.setGeometry(QtCore.QRect(10, 240, 241, 400))
self.le_res.setObjectName("le_res")
self.setCentralWidget(self.centralwidget)
self.menubar = QtWidgets.QMenuBar(self)
self.menubar.setGeometry(QtCore.QRect(0, 0, 1110, 30))
self.menubar.setObjectName("menubar")
self.setMenuBar(self.menubar)
self.statusbar = QtWidgets.QStatusBar(self)
self.statusbar.setObjectName("statusbar")
self.setStatusBar(self.statusbar)
self.toolBar = QtWidgets.QToolBar(self)
self.toolBar.setToolButtonStyle(QtCore.Qt.ToolButtonTextBesideIcon)
self.toolBar.setObjectName("toolBar")
self.addToolBar(QtCore.Qt.TopToolBarArea, self.toolBar)
self.actionopenpic = QtWidgets.QAction(self)
icon = QtGui.QIcon()
icon.addPixmap(QtGui.QPixmap(":/images/1.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
self.actionopenpic.setIcon(icon)
self.actionopenpic.setObjectName("actionopenpic")
self.actionopenpic.triggered.connect(self.open_image)
self.action = QtWidgets.QAction(self)
icon1 = QtGui.QIcon()
icon1.addPixmap(QtGui.QPixmap(":/images/2.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
self.action.setIcon(icon1)
self.action.setObjectName("action")
self.action.triggered.connect(self.open_video)
self.action_2 = QtWidgets.QAction(self)
icon2 = QtGui.QIcon()
icon2.addPixmap(QtGui.QPixmap(":/images/3.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
self.action_2.setIcon(icon2)
self.action_2.setObjectName("action_2")
self.action_2.triggered.connect(self.open_camera)
self.actionexit = QtWidgets.QAction(self)
icon3 = QtGui.QIcon()
icon3.addPixmap(QtGui.QPixmap(":/images/4.png"), QtGui.QIcon.Normal, QtGui.QIcon.Off)
self.actionexit.setIcon(icon3)
self.actionexit.setObjectName("actionexit")
self.actionexit.triggered.connect(self.exit)
self.toolBar.addAction(self.actionopenpic)
self.toolBar.addAction(self.action)
self.toolBar.addAction(self.action_2)
self.toolBar.addAction(self.actionexit)
self.retranslateUi()
QtCore.QMetaObject.connectSlotsByName(self)
self.init_all()【使用步骤】
使用步骤：
（1）首先根据官方框架https://github.com/ultralytics/ultralytics安装教程安装好yolov8环境，并安装好pyqt5
（2）切换到自己安装的yolov8环境后，并切换到源码目录，执行python main.py即可运行启动界面，进行相应的操作即可
【提供文件】
python源码
yolov8n.onnx模型（不提供pytorch模型）
训练的map,P,R曲线图(在weights\results.png)
测试图片（在test_img文件夹下面）
