ComputerEngineering
andApplications计算机工程与应用
2010。46(34)
7
动作识别巾局部时空特征的运动表示方法研究
雷
LEI
庆1,2,3李绍滋h2Qin91.2.3
LI
Shao—zil・2
1.厦门大学智能科学与技术系.福建厦门361005
2.厦门大学福建省仿脑智能系统重点实验室,福建厦门361005
3华侨大学计算机科学与技术学院.福建厦门361021
1.DepartmentofCcgxfifive
Science,Xiamen
University,Xiamen,Fujian
361005,China
2.Fujian
3.College
KeyLaboratoryofComputer
oftheBrain—likeIntelligentSystems,XiamenScienceandTechnology,Huaqiao
University,Xiamen,Fujian
361021,China
361005,China
University,Xiamen,Fujian
E-mail:Rachel
lei@sina.com
localspatio-temporalfeatures
foraction
recognition.ComputerEngineeringandAppH-
LEI
Qing。LIShao-zi.Research
Oil
cations。2010。46(34):7.10.
Abstract:Localspatio-temporal
featureshavebecome
a
popularvideorepresentation
foraction
recognition
inrecent
years.
Severalmethodsforfeaturedetection
are
and
descriptionhave
been
proposed
in
theliterature
and
promisingrecognitionresults
on
demonstratedfora
numberofactionclasses.Thispaperemploysthemotion
action
representationbased
and
space-time
interestinterests
points
and
implements
from
recognition
methodbased
on
spatio—temporal
eodebook
words.Firstly,accurate
pointsdetectesgram
videos
takingofflow
advantageofGaborandGaussianmixturefiltering,thenthreekindsoflocalfeatures:histo-
andhistogram
on
ofgradient,histogram
cluster
algorithm
ofspace-timeand
gradient
areextracted
as
3DSIFTtoa
describestandard
interestpoints.bag—of-features
over
K-means
performs
featureslearnsthe
spatial-tempoalcodebook.Finally
investigated
that
on
a
SVMapproachisusedforaction
two
recognition.The
performanceis
totalof16actionclassesdistributedspatial
with
temporal
datasets
well
with
varying
to
difficulty.Experimentresultsdenlons乜.ate
featurescombinedinformationinrealistic
Can
adapted
complex
environment
suchascamera
movement,illumination
changesanddifferentclothing
settings
andachievebetterrecognitionperformance.
Keywords:spatio-temporal
feature;space—timeinterestpoint;motionrepresentation;actionrecognition
摘要:近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征。并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmarm和KTH两个行为数据集进行了测试,实验结果表明:基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。
关键词:时空特征;时空兴趣点;运动表征;动作识别DOI:10.3778/j.issn.1002.8331.2010.34.003
文章编号:1002.8331(2010)34.0007.04
文献标识码:A
中图分类譬:TP391.4
1
引言
动作识别和行为理解是计算机视觉和模式识别领域中一
识别和高层行为理解等内容,在身份识别、视频检索、智能安
防、人机接口等领域有着广泛的应用前景”1。
动作识别和行为理解的主要任务是利用计算机技术对包
个重要的研究课题,它包含运动检测、目标分类和跟踪、动作
基金项目:国家自然科学基金(theNationa|NammlScienceFoundationofChinaunderCn'antNo.60873179);高等院校博士学科点专项科研基
金(theChinaSpecializedResearchFundfor山eDoctoralProgramofHigherEducadonunderGrantNo.20090121110032);深圳市科技计划项目.基础研究(No.JC200903180630A);深圳市科技研发基金项目.深港创新圈计JOJ(No.ZYB200907110169A)。
作者筒介:雷庆(1980.),女,博士研究生,主要研究领域为智能多媒体信息处理;李绍滋(1963.),男。博士。教授,博士生导师,主要研究领域为智
能多媒体信息处理、人工智能及其应用、机器学习与计算等。
收稿日期:2010.08.09修回日期:2010.10.25
万方数据
8
ComputerEngineeringandApplications计算机工程与应用
含人的图像序列进行分析,识别出人的动作,然后通过连续的
跟踪并结合上下文环境对其行为进行推理和描述。一般包含两个层次的任务:一是底层的运动检测、目标分类和跟踪,需要从目标的运动信息中提取特征信息对运动进行表征;二是高层的行为建模和识别,包含对原子动作的识别,以及结合场景信息和领域知识,实现对行为的深层次理解。
目前底层处理方面的研究取得了较大进展,而高层处理的研究还处于起步阶段,由于底层处理受到视角变换、光照变
化、遮挡、复杂背景等环境闵素的影响,从而给高层行为理解
带来很大的硝难。因此,如何从视频中提取能够适应于环境变化的特征,以及如何对特征进行描述才能够有效地对动作
进行表征成为动作识别的关键问题。
近年来,研究者提出了基于时空兴趣点的动作表示和识别方法,该方法首先从图像序列中检测出能够代表视频中发生的时空事件的兴趣点,然后抽取时空兴趣点的各种特征对动作进行表征,最后建立动作分类器进行动作识别。Laptevt驯
将二维图像中的Harris角点检测技术扩展到i维时空领域
中,从视频中检测出丰富的代表时空事件的兴趣点,建立以兴趣点为中心的时空立方体并抽取光流直方图和梯度直方图的
联合特征HOG/I-IOF对运动进行表征,最后建立基于SVM的
动作分类器对动作进行分类。Dollar。51提出了基于Gabor滤波器的时空兴趣点检测算法,并提出了基于Cuboids的特征描述算子,采用PCA算法对特征进行降维,最后采用基于x2距离的
最近邻分类器进行动作识别。Sun等人”1提出了一种对时空
上下文信息进行层次建模的方法,首先采用SIFT算法对视频
进行兴趣点检测并进一步抽取出兴趣点的运动轨迹,然后抽取了兴趣点运动轨迹的三个层次的时空上下文信息,最后建
立了基于MKL的多核学习非线性SVM分类器对特征进行分类。
已有的特征检测和描述方法在简单动作的识别问题中取得了良好的效果,但由于实验环境和条件的差异,难以对这些已有方法进行比较。本文的目的是在一个统一的实验环境中对目前动作识别中常用的特征检测和描述方法进行比较.对
它们的性能进行整体评估。采用了基于时空兴趣点和时空单
词的动作表示和识别方法,首先实现了Gabor和Gaussian滤波器相混合的时空兴趣点检测算法。该算法能够快速准确地从
视频中提取出丰富的兴趣点,然后抽取了兴趣点的灰度梯度、光流、时空梯度三种统计信息分别对运动进行表征.最后建立
了基于兴趣点特征的时空码本并构造出动作分类器。仿真实
验结果表明:抽取兴趣点的时空特征对动作进行表征,能够更
好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响。
2基于局部时窄特征的动作识别模哩
2.1
动作识别的基本思想
实现了基于时空兴趣点和时空单词的动作表示和识别方
法,该方法首先通过训练从样本中提取出准确的时空兴趣点,建立基于兴趣点特征的时空码本,并构造出动作分类器。在动作识别过程中,计算待分类视频中的兴趣点特征和时空码
本的距离对兴趣点进行分类,生成对视频动作进行表征的时
空单词,最后通过动作分类器进行分类识别。
2.2
基f硒部时审特征表征的动作识别模型
系统框架如图1所示。
万方数据
集
孤/L型小杉赢溢、胚
测试视频
圳b撰态
I样本兴趣I
I皇叁垒I阿i藉磊习(样妻篓他
兴趣点分垂≥—・_一时窄码本
动作分类器
…J’、、—、.——.—.—一
类别统汁直方图卜卜—L类别统计
图l系统框架图
3局部时窄特征的检测和描述3.1时窄兴趣点检测
经观察发现,时空事件往往发生在视频数据在空间和时间两个维度卜.都剧烈变化的地方。因此,如何从视频中准确地抽取代表时空事件的兴趣点成为动作表征的首要关键问题。采用Dollar提出的基于Gabor滤波器和Gaussian滤波器相结合的时空兴趣点检测方法,首先使用高斯滤波器在空间域上对图像进行滤波,然后使用一维的Gabor滤波器在时间域上作用对图像序列,定义响应函数:
R=(Pg+h。)2+(Pg+h耐)2
(1)
用于测定图像序列中每个位置的强度值。其中g(x,y;盯)
是空间域上的二维高斯平滑核,g(x,y;tr2)=^e吖吖‘肪‘;
Z7【盯一
h。和h耐是作用于时间域的一对正交的一维Gabor滤波器,^。(f;r,叻=一cos(2ntoJ)e-”∥,hod(f;f,妫=一sin(2xtto)e。‘7。,∞=4/r。其中,盯和r分别表示响应函数在空问和时间域上的检测尺度。
实验中选取参数矿=2,r=2.5,滤波窗121大小设为3的条件下进行兴趣点检测,结果如图2和3所示。
幽2
Welzmama数据粜waving动作必趣点检测结粜
图3
KTH数据集running动作兴趣点检澍结果
雷庆,李绍滋:动作识别中局部时空特征的运动表示方法研究2010。46(34)9
3.2兴趣点特征描述
目前动作识别中所采用的特征描述方式主要包括:基于边缘或形状的静态特征、基于光流或运动轨迹的动态特征,以及基于时空体积数据的时空特征。静态特征容易获得且比较稳定,对纹理变化不敏感,但其准确性受到跟踪和姿态估计精度的影响,对环境的动态变化敏感。动态特征直接从图像序
列的相邻帧中提取,运动信息的计算过程可能遇到孔径等问
题的影响且缺乏对行为的令局分析。时空特征方法把图像序列看作时空相关的=三维体积数据.通过提取静态模式获得动作的时空表示,它不仅包含人动作姿态的空间信息,而且还包含了运动信息,集合了形状和运动特征两者的优点。
在准确提取兴趣点的基础上,抽取了兴趣点的灰度梯度、光流、时空梯度三种统计信息分别对运动进行表征,并对它们的性能进行了对比。
3.2.1
梯度直方网HoG
HOG是类似于SIFT特征的一种局部静态描述符.它通过
计算局部区域上的梯度方向直方图来构成特征。HOG是在被称为Cell和Block的网格内进行密集计算得到,Cell(图像单元)由若干像素点构成,而Block(图像块)则由若干相邻的Cell组成。
HOG的具体计算过程如下:
(1)将规范化大小的检测窗口作为输入,通过梯度算子计算水平和垂直方向上的梯度.例如f_1,0,1】。
(2)以各像素点的梯度幅值或梯度幅值的函数为权重,采
用3线性插值进行投票的方法统计各Cell的梯度方向加权直方图,得到Cell的图像单元直方图(CellHOGs)。
(3)对同一Block内的CellHOGs进行归一化处理,以消除光照的影响,得到Block的图像块梯度直方图(BlockHOGs)。
(4)将待检测窗口的所有Block_HOGs串在一起构成特征向量。
Navneet
Dalai在2005年提出的文章中使用HOG特征训
练分类器,在行人检测中得到很好的检测结果。近年来,研究者也将HOG特征描述方法引入到动作识别问题中,在简单动作的识别I、uJ题上取得了一定的效果。3.2.2光流直方图HOF
动态特征描述方法直接提取视频中的运动信息对运动进
行表征.最具代表的是光流法。在假设相邻两幅图像中对应
两点的灰度不变而且光照均匀的前提下,计算空间运动物体表面上像素点运动产生的瞬时速度场来表征运动状态。Zhu等人”1提出了用光流直方图来描述动作的运动信息,然后用支持向量机做分类器识别运动员的击球动作。
Laptev和Lindeberg提出了空间梯度直方图和光流直方图相联合的局部特征描述方法(HOG/HOF),梯度的计算只局限在图像二维空间域上,时间域上的信息通过光流直方图的统计引入进来。抽取以兴趣点为中心的图像立方体数据,将立方体数据划分为统一大小的单元,对每个单元计算4bin的梯度直方图以及5bin的光流直方图,归一化后联合形成HOG/HOF特征描述子,最后将所有单元的HOG/HOF特征串联起来生成该兴趣点最终的特征描述。3.2.3三维时空梯度3D
SIFT
时空特征是近年来动作识别研究中使用较多的特征,它基于二维图像在一段时间内形成的时空立方体,不仅包含了
万方数据
人动作姿态的空间信息,还包含了运动的动态信息,集合了形
状和运动特征两者的优点,避免了光流场计算可能遇到的孔
径、全局平滑性约束,以及由于遮挡等因素造成的外观形状跟踪失败等问题。
3D
SIFT特征描述子是由Scovallner等人”1提出的一种三
维时空梯度方向直方图,可以看作是经典的尺度不变特征变换描述算子(2DSIFT)从静态图像到视频序列的扩展。由于
能够更好地适应缩放、旋转、仿射变换以及噪声带来的影响,
采用3DSIFT的特征描述方式能够准确地捕捉到视频数据的时空特性本质。以下给出时空兴趣点的3DSIFT特征描述子的定义。
首先,三维空间中的点(工,Y,f)的梯度矢量由其梯度幅值m。两个方向的梯度角度甜n妒组成,分别定义如下:
m3D(工,Y,f)=、f£:+L;+三;
(2)
£
‘0(x,Y,f)=arctan(-TL)
(3)
烈工,Y,f)=aretan(1告),妒∈(一詈,+詈)
厶j
,
(4)
√工:+三;
‘
‘
其中,厶,L,厶可以分别在z,Y,f方向上进行差值运算得到,
例如:
L:L(x+I,Y,f)也(弘l,Y,f),t:-t.(x,y+l,t)-L(x,弘l,f)以及LmL(x,Y,t+1)-L(x,Y,t-1)。
然后定义时空兴趣点的3DSIFT描述符:从视频中抽取以兴趣点为中心的时空立方体,将立方体划分为固定大小的
单元立方体,统计每个单元立方体的时空梯度直方图,最后将所有单元立方体的直方图联合起来构成该兴趣点最终的3D
SIFT描述符。例如,按照2×2x2对立方体进行划分,分成8个4x4x4的单元立方体,如图4所示。
图4
3D
SIFT特征描述符
按照如下方法计算单元立方体的梯度直方图:由于立方体中像素点的梯度矢量(耽。,目,妒)由三个分量构成,其中梯度方向包含了目和妒两个角度,将目和p值按照等大小(例如450)
划分为若干个值区间bins,将梯度矢量按照其幅值和在立体球面上的面积加权投票到兴趣点的二维梯度方向直方图
hist(i,,f.)中。hist(io,厶)的计算公式如下:
--Rx~蚪+b一婚+q.tA
1
.。2一一
hist(i日,U+=÷朋3D0,Y,f)e
”
(5)
其中,∞表示立体球面按照水平和垂直两个方向划分后每个二维bin所占的面积,由于球面上每个bin所占的面积大小不同。
10
2010,46(34)
ComputerEngineeringandApplications计算机工程与应用
越靠近两极bin所占面积越小,因此还必须按照对面积进行归一化,其计算公式为:
∞=f+却r+们siIlad铷=△妒f+醐sin锄目:
A妒[-cos程~=姒cosO--COS(0+at0)
(6)
4动作分类器4.1时宅码本的建屯
由于动作实施者在穿着、动作方式和幅度上存在差异,因此同样的动作在不同视频中产生的兴趣点不尽相同,但这些
兴趣点的特征存在着相似性,提供了对动作的时空本质特征
的描述:因此从兴趣点的特征集合中识别出能够代表相同动作的特征模式,将有助于后续的动作分类。
训练过程中,引入文本分类中bag.of-features的思想,采用K-means聚类算法对训练数据集中提取出的特征集合进行聚类。聚类中心的个数在实验中进行选取。将生成的聚类中心看作时空单词w尸{,:0,…彳},m为特征维数0表示时空单词
的第f个特征分量。所有时空单词组成的集合肛{w,,W2,…,
M}称为时空码本,其中疗为聚类中心的个数。对于不同的动作视频,从训练集中按照上述的步骤训练出对应于不同动作类别的时空码本,在后续的动作识别过程中通过计算兴趣点的特征与时空单测的距离实现对兴趣点进行分类,并进一步完成动作分类。
4.2动作分类器设计
对于一个包含人体动作的视频,从中提取了兴趣点,得到
兴趣点集尸t慨,P:,…,历)。对于每个兴趣点P,,计算其时空特
征只=讲,Z,…,‘}。根据训练集特征集合中聚类得到的时空
码本降{w。,W2,…,M},计算特征F与时空码本中每个时空单
词忻圻0,…Z}的欧式距离或f距离,选取最小距离完成对
兴趣点的分类。
对视频中所有兴趣点的类别进行统计,得到基于时空码
本的兴趣点类别统计直方图胙{厅,,h:,…,h。},"等于时空码
本维数,其中h。表示视频中第f个时空单词出现的频率(i=1,
2,…,万)。最后采用f核的非线性支持向量机SVM进行分类,
核函数计算公式如下所示:
础删=exp(-击蠢等等)
(7)
其中,肛帆。,h。,…,k}和H尸{hj。,‰,…,k}表示时空单词出
现频率直方图,以为时空码本维数,A表示所有训练样本之问
的平均距离。
5实验及结果分析5.1动作数据集
对两个行为数据集Weizmann
action
dataset‘9I和KTH
ac—
tions
dataset"ol和包含的16种不同动作类别进行了分类效果的测试。Weizmann数据集包含了bend、jack(原地跳步)、jump(跳
步前行)、pjump(原地纵跳)、run、side(横向步行)、skip(单腿跳
行)、walk、wavel(单手挥舞)和wave2(双手挥舞)共lO种动作,由9个表演者在单一静态背景下完成的93个动作视频。
KTH数据集中包含了6种动作:walking、jogging、FUll—
ning、boxing、handwaving和handclapping,由25个actors在4种
万方数据
不同的场景(outdoors、outdoors
withscalevariation、out-
doorswith
different
clothes和indoom)中完成,共计600个视
频。视频空间分辨率为160×120,帧速率为25∥s,平均视频长度大约4秒钟。
5.2实验结果及分析
对不同的数据集分别进行训练,从中选取每个动作的6个视频作为训练样本,训练过程中,以矿=2,r=2.5为尺度进行兴趣点检测,从视频中抽取出兴趣点,然后采用HOG(空问梯度直方图)、HOF(光流直方图)、HOG/HOF(空间梯度/光流直方图联合)和3DSIFT(时空梯度直方图)4种特征描述方式建立兴趣点样本特征集合,采用k-means聚类算法对样本特征集合进行聚类建立了样本空问的时空码本,由于k-means聚类算法的初始类别随机产生,且聚类维数的选取对识别性能都产生影响,经过实验观察选取维数为50。
表l和表2分别给出了3DSIFT特征在两个数据集上的识别效果,表3给出了空问梯度直方图、光流直方图、梯度/光流直方图联合、时空梯度直方图4种特征在两个数据集上的平均分类准确率。
表1
Weizmann数据集I:讽别致果的混淆矩阵
bend
jumppjump
runwalkwavelwave2
表2
KTH数据集卜识gq效果的混淆矩阵
walking
jogging
runningboxinghandwavmghandclappingwalking
0.830.120.05000jogging
0.160.590.25000runningO.13O.200.67000boxing000I.0000handwaving0000I.000handclapping
0
0
0
0
O.20
O.80
表3空间梯度育方嘲.光流直方图,梯度/光漉联合、时窄梯度直,『煳特征在Weizmarm和
KTH数据集卜的乎均分类准确率
(%)
实验结果表明抽取兴趣点的时空特征对动作进行表征,
能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好地识别效果(84.1%
On
Weizmann,81.5%OilKTH)。在单一且无动态变化的背
景下,光流直方图特征的识别准确率(82.3%)要高于空间梯度
直方图(76.8%)以及联合特征(78.2%)。而在摄像机移动、光
照变化等}l:l素的干扰下,光流的计算效果受到影响(77.2%),而联合特征的引入(77.8%)将使识别效果得到一定的改善。
6总结
实现了基于时空兴趣点和时空码本的动作表示和识别方
(下转14页)
14
2010,46(34)
ComputerEngineering
andApplications计算机工程与应用
(2JTangJL,ChenWS,WangJ.AnovellinearalgorithmforP5P
problem[J].Applied
628—634.
Mathematics
and
Computation,2008,205:
看出,免疫位姿检测算法,平均计算时间为8.0534×10-2s,小
于基于Guass-Newton迭代算法的位姿检测算法的平均计算时间8.313
8×10。2
s。因此,在具有相似的精确度的条件下,本
文算法的运算时间更短,收敛更快。
相较于传统迭代算法,免疫进化算法在运算速度和收敛性方面具有一定的优越性,原因是:(1)基于高斯牛顿方法的迭代位姿估计需要提供较好的迭代初值,当初值不合理,算法
f3】Qin
L
J.ZhuFAnewmethod
forpose
estimationfrom
line
correspondences[J].ActaAutomaticSinica,2008,34(2):130—134.【4】Lowe
D
G.Fiuingparameterized
three-dimensionalmodelsto
images[J].IEEETramPaaemAnalMachinelmell.1991。13(5):
44l-450.
会收敛慢,甚至不收敛;此外它每次迭代过程都需要对一个
NxN的矩阵进行逆计算(Ⅳ为几何模型的约束条件),当提取
【5】HaraliekRM,JooH,LeeC,eta1.Poseestimationfrom
sponding
point
eorre-
data[J].IEEETransSystems,Man,andCybernet-
特征越多,约束条件越多,NxN求逆的运算越复杂,这限制
了基于高斯牛顿方法的迭代位姿估计的计算快速性。(2)而免疫进化算法则由克隆、高频变异和抗体的促进与抑制机制等
ies.1989.19(6):1426.1446.
【6】NistdrD,Stew6niusH.Aminimalsolution
3-point
tothe
generalized
poseproblem[J].MathImagingVision。2007.27(1):67—79.
F
a
使进化过程不断向最优解集移动,这加速了算法的收敛,同时免疫记忆的引入,不但能够为每次进化过程提供当前最优抗体,还能够保留进化中的优秀抗体,以应对相似抗原的出现。5总结
借鉴生物免疫系统中克隆选择和免疫记忆等机理,提出了一种基于免疫算法的并联机构位姿检测算法。它通过免疫进化来搜索并联结构的位姿可行解,避免了传统迭代算法中需要提供良好迭代初值和解析算法对噪声敏感的问题。实验结果表明,该算法能够快速收敛,并获得较精确结果,而且对
【7】DuanFQ,Wu
surenlentusing(3):223—231.[8】Yuan
for
a
C,HuZY.Posedeterminationandplanemen-
trapezium[J].PaaemRecognit
Lett,2008。29
XX.Anovelmethodof
systematic
error
compensation
Natural
positionandorientationsystem[J].Progressin
Sci—
ence,2008,18:953.963.
19】LiuML。WongKH.Poseestimationusingfourcorresponding
points[J].PatternRecognitionLetter,1999,20:69-74.[10】Hou
C
H.DingYS,Zengfor
fabric
X
Y.1mmunebasedevolutionaryal—
and
Computers
gofitbmin
evaluation[J].Mathematics
Simulation,2008,77(5/6):540.549.
Y
特征提取不敏感,具有较好的鲁棒性。参考文献:
【1】GaoXS,TangJ.Ontheprobabilityofthenumber
tionsfortheP4P79-86.
ofsolu-
【11】Ding
es
S,XuY
C.Intelligentoptimalselectionofgarmentsiz—
by
usingimmunealgorithmandAHPmethod[JJ.Journalof
theTextile
Institute。2008.99(3):281.286.
novelhybriddesign
and
【12】Rtza
Yd&zA.A
in
immunealgorithmforglobalmanufacturing[J].Robotics
and
problem[J].MathImagingVision,2006,25(1):
optimization
Computer-IntegratedManufacturing,2009,25:261—270.
(上接10页)
法。首先实现了Gabor滤波器和Gaussian滤波器相结合的兴趣点检测算法,从视频中提取了准确的时空兴趣点。然后比较了兴趣点的空间梯度直方图、光流直方图以及时空梯度直方图三种局部特征的动作识别效果,在KTH和Weizmann两个动作数据集上进行了实验,结果表明时空特征的运动表示
ognition[C]//FirstIntemafi【onal
forVisual
Motion
Workshop
on
Spatial
Coherence
Analysis.IS.1.】:Springer。2004.
【5】DollarP,gabaudV,CottrellG,eta1.Behaviorrecognitionvia
sparsespatio-tempoml
features[C]//VS-PETS,2005.
context
【6】SunJu,WuXiao.Hierarchicalspatio・temporal
foraction
modeling
recognition[C]//CVPR.2009.
【7】ZhuGuang,yu。XuChang-sheng.Actionrecognitioninbroadcast
tennis
方法能够更好地适应摄像头移动、光照变化以及施动者的穿
着和动作差异等环境因素的影响,在简单动作识别I’uj题中取得更好的识别效果。
video[C]//Proeofthe
l8th
Imemational
Conference
on
PaaemRecognition,2006.
【8】ScovannerP,Ali
and
l5th
S。Shah
to
M.A3-DimensionalSIFT
descriptor
本文实验中选取的动作数据库的背景相对简单,下一步
将对真实场景下的动作识别问题进行研究,进一步对各种特征的优缺点进行比较,此外还将进一步研究复杂的、多人交互动作的识别方法l’uJ题。
itsapplication
action
recognition[C]//Procoedingsofthe
on
IntemationalConferenceMuttimedia.2007.
【9】Blank.Weizmanndataset[EB/OL].http://www.wisdom.weizmann.∞.
W-vision/Space
TimeActious.html#Classificationo%20Database.
【10】Schuldt.KTHdataset[EB/OL].http://www.nada.kth.se/cvap/actions/.
参考文献:
【1】TuragaEMachinerecognitionofhumanactivities:Asurvey[J].
IEEETransactionsgY,2008.18(1i).
on
【ll】NieblesJ,WangH,Fei—FeiL.Unsupervisedlearning
ofhuman
actioncategoriesusingspatial・temporal
words[C]//BMVC。2006.
【12】KlltserA,MarszalekM。SchmidC.Aspatio.temporaldescriptor
based
on
CircuitsandSystemsforVideoTechnolo—
3Dgradiants[C]//BMVC。2008.
features
from
f13】Lowe
movies[C]//CVPR,2008.
interest
D.Distinctiveimageseale-invariantkey-
【2】LaptevI,MarszalekM,SchmidC。eta1.Learningrealistichu-
manactionsfrom
points[C]//lJCV.2004.60(2):91.1lO.
【14】JurieF,TriggsB.Creatingefficientcodebonksforvisualrecog・
nition[C]//ICCV,2005.【15】Chang
CC,Lin
C
【31
Laptev107-123.
1.On
space-timepoints【C】//IJCV,2005,64:
J.LIBSVM:Alibraryforsupportvector
【4】LaptevI。LindebergT.Localdescriptorsforspatio-temporal
rec.
machines[EB/OL].http://www.csie.ntu.edu.twhjlin/libsvm/.
万方数据
动作识别中局部时空特征的运动表示方法研究
作者:作者单位:
雷庆, 李绍滋, LEI Qing, LI Shao-zi
雷庆,LEI Qing(厦门大学智能科学与技术系,福建厦门,361005;厦门大学福建省仿脑智能系统重点实验室,福建厦门,361005;华侨大学计算机科学与技术学院,福建厦门,361021), 李绍滋,LI Shao-zi(厦门大学智能科学与技术系,福建厦门,361005;厦门大学福建省仿脑智能系统重点实验室,福建厦门,361005)计算机工程与应用
COMPUTER ENGINEERING AND APPLICATIONS2010,46(34)
刊名:英文刊名:年,卷(期):
参考文献(15条)
1. Turaga P Machine recognition of human activities:A survey 2008(11)
2. Laptev I. Marszalek M. Schmid C Learning realistic human actions from movies 20083. Laptev I On space-time,interest points 2005
4. Laptev I. Lindeberg T Local descriptors for spatio-temporal recognition 2004
5. Dollar P. Rabaud V. Cottrell G Behavior recognition via sparse spatio-temporal features 20056. Sun Ju. Wu Xiao Hierarchical spatio-temporal context modeling for action recognition 20097. Zhu Guang-yu. Xu Chang-sheng Action recognition in broadcast tennis video 2006
8. Scovanner P. AIi S. Shah M A 3-Dimensional S1FT descriptor and its application to action recognition 2007
9. Blank.Weizmann dataset10. Schuldt KTH dataset
11. Niehles J. Wang H. Fei-Fei L Unsupervised learning of human action categories using spatial-temporal words 2006
12. Klaser A. Marszalek M. Schmid C A spatio-temporal descriptor based on 3Dgradients 200813. Lowe D Distinctive image features from scale-invariant keypoints 2004(2)14. Jurie F. Triggs B Creating efficient codebonks for visual recognition 200515. Chang C C. Lin C J LIBSVM:A library for support vector machines
本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjgcyyy201034003.aspx