欢迎光临~爱推理科技
  咨询电话:18918114840

行为识别算法

1 按照特征复杂度分类
1.1低级特征
也称为手动计算特征,既根据对被识别对象的特征知识理解进行特征提取,主要有:
1)图像特征,既基于RGB或灰度图像的特征提取,通常是基于灰度图像
2)光流特征,基于光流场进行特征计算
3)骨架特征,计算骨架的几何特征
1.2中级特征
主要思想是对图像进行预处理,不直接计算特征,但也不是端对端算法,预处理后经过CNN进行行为识别。常用预处理方法有:
1)基于光流场
2)基于帧差分
两种预处理方案主要反映了行为的时序特征,再结合基于RGB的空间特征识别,形成双流法。
1.3高级特征
已经证明骨架姿势不但是描述行为最准确的模式,而且不受场景和光照等影响,适用性强。骨架特征主要包括两种:
1)坐标特征,既骨架节点的坐标信息
2)几何特征,与骨架部位的角度,骨架节点距离等几何量相关的特征
2按照基于骨架的行为识别算法分类
2.1使用CNN网络
CNN网络的特点是要求输入是图像信息,而骨架基本特征信息通常由向量表示,因此需要设计适用于CNN的骨架图像信息,常用方法有:
1)计算骨架的光流信息形成图像
2)将一个序列骨架节点重构成图像
2.2使用RNN或LSTM
从一段视频提取骨架的几何特征向量,构成基于时序的输入向量,而RNN和LSTM适用于时序输入。其中:
1)几何特征代表空间信息
2)时序输入堆代表时序信息
2.3设计深度学习网络
设计专用深度学习网络可直接输入坐标特征和几何特征
3按照骨架信息获取手段分类
1)基于RGB图像的深度学习模型提取骨架信息
2)基于3D图像
3)基于深度照相机
4按照信息类型分类
4.1空间信息
使用CNN提取空间信息,及空间信息之间的相关性,既:
1)节点坐标信息
2)骨架角度
3)骨架框架
4)前后帧骨架相关性
4.2时序信息
使用RNN或LSTM提取时序信息
5按照信息提取方式分类
5.1手动提取特征
既根据对骨架特征的理解进行特征计算,通常这类特征作为RNN或LSTM的输入。
5.2自动提取特征
通常认为手动提取特征的方法泛化能力差,因此借助深度学习的思想,用学习的方法自动提取特征,核心思想分两步:
1)将骨架数据进行有效的组合或拼接
2)利用深度学习网络模型的特点提取几何特征


行为识别算法
上一篇:无 下一篇:无

地址:中国(上海)自由贸易试验区临港新片区丽正路1628号4幢1-2层
联系人: 俞先生
邮箱:761634973@qq.com
电话:18918114840
手机:18918114840