«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (6): 270-277  DOI: 10.19678/j.issn.1000-3428.0061833
0

引用本文  

杨志勇, 王俊杰, 金磊. 基于SE-CNN的人体摔倒检测方法[J]. 计算机工程, 2022, 48(6), 270-277. DOI: 10.19678/j.issn.1000-3428.0061833.
YANG Zhiyong, WANG Junjie, JIN Lei. Human Fall Detection Method Based on SE-CNN[J]. Computer Engineering, 2022, 48(6), 270-277. DOI: 10.19678/j.issn.1000-3428.0061833.

基金项目

国家自然科学基金(61501218,61761031,61961029);江西省自然科学基金(20181BAB202015)

作者简介

杨志勇(1982—),男,讲师,博士,主研方向为无线传感;
王俊杰,硕士研究生;
金磊,硕士研究生

文章历史

收稿日期:2021-06-03
修回日期:2021-08-02
基于SE-CNN的人体摔倒检测方法
杨志勇 , 王俊杰 , 金磊     
南昌航空大学 软件学院, 南昌 330063
摘要:人口老龄化是当今社会发展不可忽视的问题, 目前有很大一部分老年人在无人照顾的境况下独自生活,摔倒后无法及时得到救助成为威胁老人生命安全的重要原因之一。现有的人体摔倒检测方法存在适应性差、高入侵性、易误判、成本昂贵等问题,且无法快速、实时检测老人摔倒。提出一种基于机器学习和无线传感器网络的摔倒检测方法,使用多个物联网传感节点组建无线传感器网络采集RSS数据,对采集到的RSS数据进行预处理后,通过XGBoost模型对时域特征分量和小波域特征分量进行处理,并以排列组合方式得到具有强鲁棒性的联合特征分量。利用深度学习网络获得数据潜在规律的特点构建人体摔倒识别模型,采用卷积神经网络作为主干网络,并在相邻网络层之间引入通道注意力模块,通过构建SE-CNN模型实现人体摔倒检测。实验结果表明,联合特征的加入能够提高RSS数据的可区分性,且SE-CNN模型的识别准确率高于CNN模型,可以实现高准确率的人体摔倒检测。
关键词摔倒检测    无线传感    小波变换    联合特征    SE-CNN模型    
Human Fall Detection Method Based on SE-CNN
YANG Zhiyong , WANG Junjie , JIN Lei     
School of Software, Nanchang Hangkong University, Nanchang 330063, China
Abstract: Population aging is a problem that cannot be ignored in today's social development. When a large part of the elderly live alone without someone taking care of them, the failure to receive timely assistance after a fall has become one reason that threatens the safety of the elderly. Existinghuman fall detection methods have problems such as poor adaptability, high invasiveness, easy misjudgment, and high cost. Moreover, they cannot quickly and accurately detect falls in the elderly. A fall detection method based on machine learning and wireless sensor networks is proposed so family members can discover the elderly living alone if they fall. A wireless sensor network is formed by multiple internet of things sensor nodes to collect Received Signal Strength(RSS) data; secondly, after preprocessing the collected RSS data, the XGBoost model permutates and combines the time-domain feature components and wavelet domain feature components to obtain strong Robust joint feature components. This study uses a deep learning network to learn the characteristics of the potential laws of the data to build an optimal human fall recognition model, andthe Convolutional Neural Network (CNN) is used as the backbone network, the Squeeze and Excitation (SE) module is introduced between the adjacent network layers to realize the human fall detection by constructing the SE-CNN model. Experiments show that the addition of joint features improves the distinguishability of the RSS data, and the recognition accuracy of the SE-CNN model is higher than that of the CNN model, which detects human falls with high accuracy.
Key words: fall detection    wireless sensing    wavelet transform    joint feature    SE-CNN model    

开放科学(资源服务)标志码(OSID):

0 概述

近年来,60岁以上的老年人在人口中所占的比例越来越高,且还在迅速增长。老年人尤其是独居老人的医疗保健是全社会面临的重大问题,而摔倒和治疗延误造成的事故严重威胁着老年人的生命,摔倒检测已成为当前热门的研究领域。

目前,摔倒检测方案可以分为基于可穿戴传感器的方法、基于环境传感器的方法、基于计算机视觉的方法和基于无线信号的方法[1]这4大类。

基于可穿戴传感器的方法是使用可穿戴传感器设备如加速度计[2-3]、陀螺仪[4-5]、相机等来检测人体摔倒行为。文献[6]利用老人佩戴加速度计进行测试,从加速度计获取日常步态特征来预测摔倒情况。AIHUA等[7]利用三轴加速度计、三轴陀螺仪和三轴磁强计获取加速度和欧拉角,并使用基于加速度和欧拉角的检测算法检测摔倒行为。文献[8-10]结合基于视觉和基于可穿戴传感器方法的优点,提出一种基于可穿戴相机的摔倒检测方法,通过分析相机拍摄图像的变化来检测摔倒行为。基于可穿戴传感器的方法优点是不受检测空间的限制,不易受环境干扰,但该方法需要用户佩戴可穿戴传感器,舒适性较差。

基于环境传感器的方法是将传感器放置在检测区域中来检测人体摔倒行为,常用的传感器包括压力传感器[11]、红外传感器[12]、声音传感器[13]等。ALWAN等[14]使用一种特殊的压电传感器,通过捕捉地板的振动确定摔倒事件。GUAN等[15]通过部署红外传感器,参考结构层析成像和基于立体视图的红外辐射变化传感机制来检测人体摔倒行为。文献[16]以地板和声传播为基础,利用加速度计和声音传感器(麦克风)来检测摔倒事件。基于环境传感器的方法优点是不需佩戴任何设备,舒适性较好。但该方法容易受到周围环境的偶然性和不确定性影响,摔倒识别的精度有待提高。

基于计算机视觉的方法是采用红外摄像机监测用户行为,利用计算机视觉技术来检测人体摔倒行为。文献[17-19]通过建立图像背景模型,使用图像减法对个体进行分割,然后提取图像个体特征来检测摔倒。如果房间的照明情况发生变化,这种基于图像的效果就会不理想。而基于深度学习的方法不依赖光照[20],如深度相机[21]能够提高深度识别人体摔倒的精确度。SASE等[22]通过提取视频、滤波、二值化、关联成分分析等预处理和设置阈值来检测人体摔倒动作。文献[23]结合不同视频摔倒识别系统的置信度,比较了4种基于ROC曲线下面积的聚集方法来识别人体摔倒事件。但基于计算机视觉的方法会产生视频记录,涉及用户隐私问题,在实用性方面也有很多局限,对人员的活动范围有一定限制。

基于无线信号的方法是利用人体活动对无线信号的影响,找到无线信号的变化与人体不同活动之间的对应关系来检测人体摔倒行为。常用的无线信号获取设备有雷达[23-25]和商用WiFi设备[26-28]。文献[29]利用雷达获取时间序列信号,利用深度卷积神经网络自动提取特征进行人体摔倒检测。文献[30]利用离散小波变换对商用WiFi采集的人体摔倒信号进行去噪处理,并通过循环神经网络(Recurrent Neural Network,RNN)对人体摔倒行为进行分类。基于无线信号的方法优点是无干扰感知和隐私保护,但该方法对环境要求较高,抗干扰性不强。

针对现有的人体摔倒识别存在适应性差、高入侵性、易误判、成本昂贵等问题,本文提出一种基于射频信号强度的人体摔倒检测方法,利用XGBoost模型对时域特征分量和小波域特征分量进行处理,并使用排列组合法从中筛选较优的多域特征。通过深度学习网络得到数据潜在规律的特点,将CNN网络结构作为主干网络,并在相邻网络层之间嵌入通道注意力(Squeeze and Excitation,SE)模块以识别不同人体摔倒动作。

1 本文人体摔倒检测框架

本文提出的人体摔倒检测框架如图 1所示。该框架由RSS数据采集与联合特征构建、摔倒检测模型建立2个部分组成。对于第1个部分,在数据采集时,目标人员只需在由多个物联网节点组建的无线传感器网络中模拟摔倒行为,即可通过PC端收集对链路产生遮蔽效果的数据。在联合特征构建时,对数据进行预处理后提取时域和小波域特征,再利用XGBoost分类器分别对不同组合的特征进行实验对比,选出最具有区分能力的时域小波域联合特征。第2个部分是建立摔倒检测模型,为了得到RSS测量值更深层次的特征信息,将获得的时域小波域联合特征和源RSS测量值一起作为卷积神经网络的输入数据,并结合目标人员的不同动作作为标签进行训练,对目标人员的活动作出判断,从而实现对人体摔倒检测。

Download:
图 1 人体摔倒检测框架 Fig. 1 Human fall detection framework
2 时域和小波域的联合特征分量 2.1 射频信号强度值

在通常情况下,1个无线传感射频网络由M个节点组成,两两节点之间可以无线通信,可得到$ L=M(M-1) $条无线链路。节点之间的通信机制是轮询机制,因此可以将整个无线射频网络的射频信号强度值(RSS)表示为$ {R}_{\mathrm{0, 1}, \cdots , L}=\{{R}_{0}, {R}_{1}, \cdots ,{R}_{L}\} $,其中$ {R}_{0}=\left\{{R}_{0}^{m}\right|m=\mathrm{1, 2},\cdots , M\} $表示无线射频网络内没有人员情况下的RSS测量值。RL={$ {R}_{i}^{m}|m=\mathrm{1, 2},\cdots , M;i=\mathrm{1, 2},\cdots , I $}表示某种动作对应的RSS值。由于实际实验环境存在无效链路,如有K条无效链路,那么无线射频网络RSS测量值就可以表示为$ {R}_{\mathrm{0, 1}\cdots ,L-K}=\{{R}_{0}, {R}_{1},\cdots ,{R}_{\mathrm{L}-\mathrm{K}}\} $,通过对有效的RSS提取出不同的活动特征实现摔倒识别。

2.2 时域特征

假设节点的RSS测量值长度为L,记为$ [{R}_{1}, {R}_{2}, \cdots , {R}_{L}] $,则时域均值特征计算式如式(1)所示:

$ \overline{{\sigma }_{R}}=\frac{\sum\limits_{l=1}^{L}{R}_{l}}{L} $ (1)

时域方差特征计算式如式(2)所示:

$ {\delta }_{R}=\sqrt{\frac{\sum\limits_{l=1}^{L}({R}_{l}-\overline{{\sigma }_{l}})}{L}} $ (2)

时域峰峰值特征计算公式如式(3)所示:

$ {\rho }_{R}=\underset{l=\mathrm{1, 2}, \cdots , L}{\mathrm{m}\mathrm{a}\mathrm{x}}{R}_{l}-\underset{l=\mathrm{1, 2}, \cdots , L}{\mathrm{m}\mathrm{i}\mathrm{n}}{R}_{l} $ (3)

时域特征提取完毕后,可以得到一个3×1维的特征向量,时域特征可以表示为式(4)所示:

$ {{\mathit{\boldsymbol{T}}}}_{R}=[\overline{{\sigma }_{R}}, {\delta }_{R}, {\rho }_{R}{]}^{\mathrm{T}} $ (4)
2.3 小波域特征

本文采集的信号是RSS,为非稳定信号,利用小波变换来提取小波特征。小波变换的公式如式(5)所示:

$ W(a, \tau )=\frac{1}{\sqrt{a}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f\left(t\right)\times \psi \left(\frac{t-\tau }{a}\right)\mathrm{d}t $ (5)

其中:$ a $为尺度参数,对应频率,控制函数的伸缩;$ \tau $为平移参数,对应时间,控制函数的平移。

本文对剔除了无效链路的信号进行小波变换,选用的小波函数为Daubechies函数,该函数的正则性随着N的增加而增加,同时具有正交性。RSS测量值经过一系列的低通和高通滤波器后,得到对应的近似系数(cA)和细节系数(cD),同时频谱减少为原来的1/2。假设RSS测量值长度为L,使用小波变换的单层分解,得到近似系数cA1和细节系数cD1,并且近似系数cA1和细节系数cD1的长度为原来L/2。如果对RSS测量值进行多层分解,那么近似系数cA1可以继续小波变换得到cA2和cD2,以此类推,直到分解级数达到N。多层分解还会得到一个长度为L的向量,表达式如式(6)所示:

$ [C, L]=\mathrm{w}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{d}\mathrm{e}\mathrm{c}(X, N, \mathrm{\text{'}}\mathrm{w}\mathrm{n}\mathrm{a}\mathrm{m}\mathrm{e}\mathrm{\text{'}}) $ (6)

其中:C是小波分解后的小波系数,包含cA和cD;X表示分析信号;N为分解级数;wname是小波基函数,即本实验的Daubechies函数。图 2所示为小波多层分解的示意图。

Download:
图 2 小波分解示意图 Fig. 2 Schematic diagram of wavelet decomposition

通常,小波分解的频率范围与采样频率有关。假设Fs是采样频率,如果进行N层分解,则N阶细节系数的频带范围为Fs / 2N + 1)~Fs / 2N Hz,近似系数的频带范围为0~Fs / 2N + 1)Hz。本文的RSS数据采样频率为5 Hz。从理论上来看,经过5级小波分解后,五阶细节系数的频率范围为0.07~0.15 Hz,五阶细节系数的频率 < 0.07 Hz,这仅包括人体摔倒频率的正常范围,正常成年人的摔倒频率为0.05~0.12 Hz。因此,本文选择的分解层数为5。

小波变换的结果会因小波变换选择的小波基不同而不同。在实际应用中,小波基的选择需要考虑各种因素,例如支撑长度、规则性、对称性、相似性和消失力矩。在此实验中对过滤没有特殊要求,一般来说,Daubechies小波基通常用于一维信号降噪。

一旦选择了小波基函数,还需要选择合适的支撑长度。小波的支持范围是2N-1。在实际应用中,支撑长度越长,计算时间也越长。根据以往的研究结果,在信号处理中,小波基的支持长度通常在5~10之间选择,因为如果支持长度过长,不仅会出现计算复杂性的问题,而且还会引起边界问题。如果太短,则不利于信号能量的集中。因此,本文选择支撑长度为10。图 3是部分原RSS测量值的波形图,图 4是向前摔倒的部分原RSS测量值5层分解之后得到的近似系数分量和细节系数分量,图 5是第1层~第4层的细节系数分量。

Download:
图 3 部分RSS的波形图 Fig. 3 Part of the RSS waveforms
Download:
图 4 近似系数分量和细节系数分量 Fig. 4 Approximate coefficient component and detail coefficient component
Download:
图 5 第1层~第4层的细节系数分量 Fig. 5 Detail coefficient components of the first to fourth layers

图 3~图 5可知,原RSS信号经过5层小波变换后得到的cA5和cD5可以在低频和高频2个频带较为清晰地表示出原射频信号强度值。由此选取cA5和cD5小波系数来提取过零点数、方差、能量等小波域特征。其中过零点数表示动作进行的快慢程度,方差表示实验人员动作的幅度大小,能量则表示信号的汇聚程度。

假设小波系数向量长度为$ F $,记为$ [{C}_{1}, {C}_{2}, \cdots , {C}_{F}] $

则小波域过零点数特征计算公式如式(7)所示:

$ ({C}_{l-1}-{\overline{\sigma }}_{C})\times ({C}_{l}-{\overline{\sigma }}_{C}) < 0 $ (7)

其中:$ \overline{{\sigma }_{C}} $表示该小波系数向量的均值,即:

$ {\overline{\sigma }}_{C}=\frac{\sum\limits_{l=1}^{L}{C}_{l}}{F} $ (8)

小波域方差特征计算式如式(9)所示:

$ {\delta }_{C}=\sqrt{\frac{\sum\limits_{l=1}^{L}({C}_{l}-{\overline{\sigma }}_{C}{)}^{2}}{F}} $ (9)

小波域能量特征计算公式如式(10)所示:

$ {{E}}_{C}=\sum\limits_{l=1}^{F}{C}_{l}^{2} $ (10)

小波域的近似系数分量和细节系数分量在提取特征后得到一个6×1的特征向量,如式(11)所示:

$ {{\mathit{\boldsymbol{T}}}}_{C}=[{\overline{\sigma }}_{\mathrm{c}\mathrm{A}4}, {\delta }_{\mathrm{c}\mathrm{A}4}, {{E}}_{\mathrm{c}\mathrm{A}4}, {\overline{\sigma }}_{\mathrm{c}\mathrm{D}4}, {\delta }_{\mathrm{c}\mathrm{D}4}, {{ E}}_{\mathrm{c}\mathrm{D}4}{]}^{\mathrm{T}} $ (11)
2.4 时域小波域联合特征

为验证时域特征和小波域特征对人员动作分类识别的有效性,本文分别在RSS测量值的时域和小波域提取出时域特征和小波域特征后,使用2种方法进行验证,第1种方法是使用XGBoost分别对RSS测量值的时域和小波域特征进行分类识别验证,获得各自特征的区分能力;第2种方法则是使用XGBoost分类器对时域和小波域特征进行排列组合交叉验证,选取出最终最具有区分能力的联合特征。

3 SE-CNN模型 3.1 卷积神经网络

卷积神经网络(Convolutional Neural Networks,CNN)是传统神经网络的一种改进的网络,其网络层之间加入了卷积操作,具有表征学习能力,使用局部操作对表征进行分层抽象。由于CNN具有局部感受野、权值共享、下采样等特点,因此可以增强特征并有效降噪。

本文采用经典的LeNet-5卷积神经网络结构,包括输入层、2层卷积层、2层池化层、2层全连接层和输出层,共8层,其网络结构如图 6所示。

Download:
图 6 LeNet-5网络结构 Fig. 6 Structure of LeNet-5 network
3.2 通道注意力网络

SE模块是Momenta胡杰团队提出的一种新的端到端网络模块,采取了“特征重标定”的思想来进行特征通道间的融合,在未增加额外特征空间的条件下,以深度学习的方式来自动获取每个特征通道的重要程度,并赋予有效的特征更高的权重,减小无效或效果不明显的特征权重,以此来使训练模型达到更好的效果。SE模块不是1个完整的网络结构,而是一个端到端的子结构,可以嵌到其他分类或检测模型中。SE模块的网络结构如图 7所示。

Download:
图 7 SE模块的网络结构 Fig. 7 Network structure of SE module
3.3 SE-CNN模型

本文在经典LeNet-5卷积神经网络结构中插入2层SE模块层,得到SE-CNN网络结构,包括输入层、2层卷积层、2层池化层、2层SE模块层、2层全连接层和最后一层输出层,共10层网络。SE-CNN网络模型结构如图 8所示。

Download:
图 8 SE-CNN网络模型结构 Fig. 8 SE-CNN network model structure
4 实验与结果分析 4.1 实验环境搭建

本文通过设计一个无线射频网络来进行人体摔倒检测,该网络由36个CC2530节点构成,这36个节点分布在6根等高的PVC管上,每根PVC管上按序地从上向下地安置着6个节点,构成1个足够让实验人员进行摔倒实验的三维空间环境。图 9为实验环境图(彩色效果见《计算机工程》官网HTML版本)。

Download:
图 9 实验环境 Fig. 9 Experimental environment
4.2 数据采集与预处理

在数据采集过程中,挑选不同的人在空间里进行正常站立、向前摔倒、向后摔倒、蹲下、坐在地上这5个动作,同时采集一组空环境的实验数据以供比较。采集数据的过程中,36个节点以“轮询”的机制周期性地向Base节点发送数据,Base节点与PC端连接,侦听和接收来自这36个感知节点数据包中无线链路的RSS值并使用串口助手将RSS数据保存为TXT文本存储在PC端。从收集到的数据可以看出,无线链路的RSS值均以十六进制表示,36个感知节点组成1个轮询广播的RSS信号采集网络,按照节点编号依次发送数据,组成一个36×36的矩阵。每一个数值表示该行和该列对应的2个节点的链路RSS值。由于节点无法向自身发送RSS数据,因此数据包内对应自身节点位置的RSS值为0。

数据预处理流程如下:

1)数据缺失值处理。实验接收的TXT文本数据头部和尾部不是完整周期,需要删除不完整的周期,同时采用平均值填充的方法对在数据传输过程和接收过程中丢失的无线链路进行补充。

2)进制转换。由于接收数据为十六进制,则需要将十六进制转换为十进制,方便后期的处理。

3)RSS物理值提取。将从CC2530节点寄存器读出的接收信号强度指示(Received Signal Strength Indicator,RSSI)的原始数值,转换为物理接收信号强度。

4)有效链路提取。由于某些无线链路不会受到人体动作的影响,所以剔除。如图 9中的PVC管1、2、3上的节点形成的链路不会受到人体动作的影响,需要剔除。根据实验,1~18号节点与25~36号节点,19~24号节点与1~12号节点处在视距路劲上形成有效链路,则有效链路共有18×12+6×12=288条。

4.3 实验性能分析 4.3.1 不同特征性能分析

本文提出时域小波域联合特征作为分类识别的特征,在分类识别的过程中,将时域特征和小波域的3个特征进行组合,总有11种组合方式。例如,时域特征和小波域能量作为一组特征,分别对这11种特征进行分类识别。由于XGBoost在工业界应用广泛且效果优良,因此采用XGBoost对这11种特征进行分类识别,选出具有区分能力的特征作为之后的SE-CNN的输入。

1)时域特征性能

将时域的3个特征用交叉验证的方式进行分类识别。时域的均值特征用M表示,时域的方差特征用V表示,时域的峰峰值特征用P表示,均值和方差的组合用“MV”表示。不同组合对应的分类识别准确率如图 10表 1所示。

Download:
图 10 不同组合对应的分类识别准确率 Fig. 10 Classification and recognition accuracy corresponding to different combinations
下载CSV 表 1 时域不同特征的平均准确率 Table 1 Average accuracy of different features in the time domain  

图 10表 1的对比结果可知,随着特征数量的增加,分类识别的准确率也越高,说明特征数量越多,携带的信息可能就越丰富,表征能力就越强,区分能力也就强。

2)小波域特征性能

将小波域的3个特征用交叉验证的方式进行分类识别。Z表示小波域的过零点数,V表示小波域的方差,E表示小波域的能量,小波域的过零点数和方差组合为“ZV”。不同组合对应的分类识别准确率如图 11表 2所示。

Download:
图 11 小波域不同特征的准确率 Fig. 11 Accuracy of different features in the wavelet domain
下载CSV 表 2 小波域不同特征的平均准确率 Table 2 Average accuracy of different features in the wavelet domain  

图 11表 2可知,小波域特征在单个特征和组合特征的形式下整体的平均准确率均高于时域特征,说明小波域的特征具有良好的区分性。

3)时域特征性能

为验证时域小波域联合特征的有效性,将最常用的时域特征和小波域特征进行组合,时域特征用字母缩写“T”表示,联合特征不同组合对应的分类识别准确率如图 12所示。

Download:
图 12 不同联合特征的准确率 Fig. 12 Accuracy of different joint features

图 11图 12可知,时域特征与小波域单个联合特征的准确率均高于时域联合特征,表明小波域特征比时域特征具有更高的识别率。同时,还可以得知时域联合特征准确率为63.7%,小波域联合特征的准确率为75.6%,而时域小波域联合特征的准确率达86.7%,高于单独联合时域特征和单独联合小波域特征的准确率。通过对比可知,时域和小波域联合特征的准确率最高,可以有效识别人体摔倒动作,具有很强的区分能力。

4.3.2 SE-CNN性能分析

SE-CNN性能分析的步骤如下:

1)将网络层嵌入SE模块的模型和未嵌入SE模块的模型进行性能比较。实验采用综合评价指标ROC/AUC,在进行1 000次iteration之后,得到对比结果如图 13所示。

Download:
图 13 CNN与SE-CNN的对比实验结果 Fig. 13 Comparison of CNN and SE-CNN experimental results

图 13可知,加入SE模块的模型,其AUC值大于未加入SE模块的模型AUC值,SE-CNN模型优于CNN模型,反映了SE-CNN可以在进行卷积操作输出特征图后,获取特征通道的重要程度,并按照重要程度提升有用的特征,对作用不大的特征进行抑制,从而有效进行人体动作识别。

2)对比使用了联合特征和未使用联合特征的SE-CNN模型的性能,对比结果如图 14所示。

Download:
图 14 联合特征的对比实验结果 Fig. 14 Comparison experiment results of joint features

图 14可知,增加了时域和小波域联合特征模型的AUC值大于未加入模型的AUC。由此可看出联合特征可以提高RSS数据的可区分性,同时SE-CNN模型对人体摔倒识别有较高的识别率,保证了该实验的有效性和可行性。

4.3.3 基于深度学习的人体摔倒检测性能分析

为了评估基于SE-CNN的人体摔倒检测的性能,将本文方法与其他文献所提方法进行比较。文献[31]使用体域网和室内传感器网络实现老年人行为检测,其利用MicaZ节点基于集中式检测方法的准确率为90%。文献[32]通过Kinect传感器获得人体跌倒识别的人体骨骼信息后,采用Back Propagation算法进行分类,准确率为90%。文献[33]介绍了一种基于HMM的跌倒检测系统,该系统基于微波多普勒传感器来检测人体摔倒,准确率达95%。文献[34]通过WiFall来获取CSI信息,利用支持向量机和随机森林算法实现人类跌倒的识别,准确率分别为90%和94%。表 3为不同人体摔倒识别方法的准确率,从表中可知本文方法与其他方法相比具有较高的准确率,明显优于其他方法。

下载CSV 表 3 不同方法的人体摔倒识别准确率 Table 3 Accuracy of human fall recognition by different methods  
5 结束语

本文提出一种基于SE-CNN模型的人体摔倒动作识别方法,利用人体活动对无线信号链路的影响提取无线射频信号的时域特征,并通过小波变换提取小波域特征,运用XGBoost对时域和小波域以排列组合的形式进行结合,构建具有显著区分能力的联合特征。此外,引入卷积神经网络和SE模块对无线射频信号及联合特征进行分类学习,以提高摔倒动作的分类识别准确率。实验结果表明,联合特征的加入能够提高RSS数据的可区分性,且SE-CNN模型识别准确率高于CNN模型,可以实现高准确率的人体摔倒检测。但本文方法目前只考虑了检测环境中单人的场景,没有考虑多人场景,下一步将尝试在多人场景下进行检测,从中提取出摔倒特征,并获取日常实际的样本数据训练模型,以提高本文方法的鲁棒性。

参考文献
[1]
SOLBACH M D, TSOTSOS J K. Vision-based fallen person detection for the elderly[C]//Proceedings of IEEE International Conference on Computer Vision. Washington D. C., USA: IEEE Press, 2017: 1433-1442.
[2]
SANTOS G, ENDO P, MONTEIRO K, et al. Accelerometer-based human fall detection using convolutional neural networks[J]. Sensors, 2019, 19(7): 1644-1656. DOI:10.3390/s19071644
[3]
HSIEH C Y, LIU K C, HUANG C N, et al. Novel hierarchical fall detection algorithm using a multiphase fall model[J]. Sensors, 2017, 17(2): 307-312. DOI:10.3390/s17020307
[4]
WU Y F, SU Y W, FENG R J, et al. Wearable-sensor-based pre-impact fall detection system with a hierarchical classifier[J]. Measurement, 2019, 140: 283-29. DOI:10.1016/j.measurement.2019.04.002
[5]
WANG F T, CHAN H L, HSU M H, et al. Threshold-based fall detection using a hybrid of tri-axial accelerometer and gyroscope[J]. Physiological Measurement, 2018, 39(10): 105002-105011. DOI:10.1088/1361-6579/aae0eb
[6]
VAN SCHOOTEN K S, PIJNAPPELS M, RISPENS S M, et al. Daily-life gait quality as predictor of falls in older people: a 1-year prospective cohort study[J]. PLoS One, 2016, 11(7): 23-32.
[7]
MAO A H, MA X D, HE Y N, et al. Highly portable, sensor-based system for human fall monitoring[J]. Sensors, 2017, 17(9): 2096-2103. DOI:10.3390/s17092096
[8]
OZCAN K, MAHABALAGIRI A K, CASARES M, et al. Automatic fall detection and activity classification by a wearable embedded smart camera[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2013, 3(2): 125-136. DOI:10.1109/JETCAS.2013.2256832
[9]
OZCAN K, VELIPASALAR S, VARSHNEY P K. Autonomous fall detection with wearable cameras by using relative entropy distance measure[J]. IEEE Transactions on Human-Machine Systems, 2017, 47(1): 31-39.
[10]
OZCAN K, VELIPASALAR S. Wearable camera- and accelerometer-based fall detection on portable devices[J]. IEEE Embedded Systems Letters, 2016, 8(1): 6-9. DOI:10.1109/LES.2015.2487241
[11]
SINGH A, REHMAN S U, YONGCHAREON S, et al. Sensor technologies for fall detection systems: a review[J]. IEEE Sensors Journal, 2020, 20(13): 6889-6919. DOI:10.1109/JSEN.2020.2976554
[12]
POPESCU M, HOTRABHAVANANDA B, MOORE M, et al. VAMPIR- an automatic fall detection system using a vertical PIR sensor array[C]//Proceedings of the 6th International Conference on Pervasive Computing Technologies for Healthcare and Workshops. Washington D. C., USA: IEEE Press, 2012: 163-166.
[13]
ER P V, TAN K K. Non-intrusive fall detection monitoring for the elderly based on fuzzy logic[J]. Measurement, 2018, 124: 91-102. DOI:10.1016/j.measurement.2018.04.009
[14]
ALWAN M, RAJENDRAN P J, KELL S, et al. A smart and passive floor-vibration based fall detector for elderly[C]//Proceedings of the 2nd International Conference on Information & Communication Technologies. Washington D. C., USA: IEEE Press, 2006: 1003-1007.
[15]
GUAN Q J, LI C Y, GUO X M, et al. Infrared signal based elderly fall detection for in-home monitoring[C]//Proceedings of the 9th International Conference on Intelligent Human-Machine Systems and Cybernetics. Washington D. C., USA: IEEE Press, 2017: 373-376.
[16]
ZIGEL Y, LITVAK D, GANNOT I. A method for automatic fall detection of elderly people using floor vibrations and sound—proof of concept on human mimicking doll Falls[J]. IEEE Transactions on Bio-Medical Engineering, 2009, 56(12): 2858-2867. DOI:10.1109/TBME.2009.2030171
[17]
HARROU F, ZERROUKI N, SUN Y, et al. Vision-based fall detection system for improving safety of elderly people[J]. IEEE Instrumentation & Measurement Magazine, 2017, 20(6): 49-55.
[18]
ROUGIER C, MEUNIER J, ST-ARNAUD A, et al. Fall detection from human shape and motion history using video surveillance[C]//Proceedings of the 21st International Conference on Advanced Information Networking and Applications Workshops. Washington D. C., USA: IEEE Press, 2007: 875-880.
[19]
GUNALE K G, MUKHERJI P. Fall detection using k-nearest neighbor classification for patient monitoring[C]//Proceedings of International Conference on Information Processing. Washington D. C., USA: IEEE Press, 2015: 520-524.
[20]
SHOTTON J, GIRSHICK R, FITZGIBBON A, et al. Efficient human pose estimation from single depth images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(12): 2821-2840. DOI:10.1109/TPAMI.2012.241
[21]
SASE P S, BHANDARI S H. Human fall detection using depth videos[C]//Proceedings of the 5th International Conference on Signal Processing and Integrated Networks. Washington D. C., USA: IEEE Press, 2018: 546-549.
[22]
BALDEWIJNS G, DEBARD G, MERTES G, et al. Improving the accuracy of existing camera based fall detection algorithms through late fusion[C]//Proceedings of the 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Washington D. C., USA: IEEE Press, 2017: 2667-2671.
[23]
SASE P S, BHANDARI S H. Human fall detection using depth videos[C]//Proceedings of the 5th International Conference on Signal Processing and Integrated Networks. Washington D. C., USA: IEEE Press, 2018: 546-549.
[24]
SU B Y, HO K C, RANTZ M J, et al. Doppler radar fall activity detection using the wavelet transform[J]. IEEE Transactions on Bio-Medical Engineering, 2015, 62(3): 865-875. DOI:10.1109/TBME.2014.2367038
[25]
WANG B, GUO L, ZHANG H, et al. A millimetre-wave radar-based fall detection method using line kernel convolutional neural network[J]. IEEE Sensors Journal, 2020, 20(22): 13364-13370. DOI:10.1109/JSEN.2020.3006918
[26]
WANG H, ZHANG D Q, WANG Y S, et al. RT-fall: a real-time and contactless fall detection system with commodity WiFi devices[J]. IEEE Transactions on Mobile Computing, 2017, 16(2): 511-526. DOI:10.1109/TMC.2016.2557795
[27]
KEATON M, NORDSTROM A, SHERWOOD M, et al. WiFi-based in-home fall-detection utility: application of WiFi channel state information as a fall detection service[C]//Proceedings of IEEE International Conference on Engineering, Technology and Innovation. Washington D. C., USA: IEEE Press, 2020: 1-6.
[28]
HU Y Q, ZHANG F, WU C S, et al. A WiFi-based passive fall detection system[C]//Proceedings of ICASSP IEEE International Conference on Acoustics, Speech and Signal Processing. Washington D. C., USA: IEEE Press, 2020: 1723-1727.
[29]
SADREAZAMI H, BOLIC M, RAJAN S. Fall detection using standoff radar-based sensing and deep convolutional neural network[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2020, 67(1): 197-201. DOI:10.1109/TCSII.2019.2904498
[30]
DING J Y, WANG Y. A WiFi-based smart home fall detection system using recurrent neural network[J]. IEEE Transactions on Consumer Electronics, 2020, 66(4): 308-317. DOI:10.1109/TCE.2020.3021398
[31]
霍宏伟, 张宏科. 基于室内无线传感器网络射频信号的老年人跌倒检测研究[J]. 电子学报, 2011, 39(1): 195-200.
HUO H W, ZHANG H K. Fall detection using radio signals of home wireless sensor networks[J]. Acta Electronica Sinica, 2011, 39(1): 195-200. (in Chinese)
[32]
LUO K, JIN X F. Fall recognition approach based on human skeleton information[C]//Proceedings of the 6th International Conference on Instrumentation & Measurement, Computer, Communication and Control. Washington D. C., USA: IEEE Press, 2016: 707-711.
[33]
SHIBA K, KABURAGI T, KURIHARA Y. Fall detection utilizing frequency distribution trajectory by microwave Doppler sensor[J]. IEEE Sensors Journal, 2017, 17(22): 7561-7568. DOI:10.1109/JSEN.2017.2760911
[34]
WANG Y X, WU K S, NI L M. WiFall: device-free fall detection by wireless networks[J]. IEEE Transactions on Mobile Computing, 2017, 16(2): 581-594. DOI:10.1109/TMC.2016.2557792