第24卷 第1期2010年1月
中文信息学报
J OU RNAL OF CH IN ESE IN FORMA TION PROCESSIN G
Vol. 24, No. 1J an. , 2010
文章编号:100320077(2010) 0120099205
基于情感向量空间模型的歌词情感分析
夏云庆1, 杨莹2, 张鹏洲2, 刘宇飞3
(1. 清华大学信息技术研究院, 北京100084; 2. 中国传媒大学计算机学院, 北京3. 深圳大学电子科学与技术学院, )
摘 要:音频信号在歌曲情感分析中难以奏效, , 的情感向量空间模型(s 2VSM ) 进行歌词情感分析。(w 2VSM ) 在文本表示效率、歧义、Thayer 二维情感压力模型相结合, 提出了“轻松”“、“、。实验证明:(1) s 2VSM 模型在歌词。关键词:; ; 文本情感分析; 情感向量空间模型; 情绪压力 文献标识码:A
Lyric 2B ased Song Sentiment Analysis by Sentiment V ector Space Model
XIA Yunqing , YAN G Y ing , ZHAN G Pengzhou , L IU Yufei
1
2
2
3
(1. Research Institute of Informaition Technology , Tsinghua University , Beijing 100084, China ;
2. School of Computer , Communication University of China , Beijing 100024, China ;
3. College of Electronic Science and Technology , Shenzhen Univensity , Shenzhen , Guangdong 518000, China ) Abstract :Song sentiment analysis has not been satisfactorily addressed in audio signal processing community. In this paper ,the lyric is used as proof for song sentiment analysis and the sentiment vector space model (s 2VSM ) is proposed to represent given lyric. Compared to the word 2based vector space model (w 2VSM ) , the s 2VSM model successf ully addresses the critical issues on text representation efficiency , ambiguity , f unctionality and data sparseness. Furthermore , the two 2dimension Thayer sentiment stress model , i. e. light 2hearted and heavy 2hearted , are extended to a four 2dimension model to incorporate two extra sentiment stress levels :complicated and implied level. Experiments show that 1) the s 2VSM model outperforms the traditional methods ; and 2) the four 2dimension sentiment stress model is helpful to f urther improve performance of song sentiment analysis.
K ey w ords :computer application ; Chinese information processing ; sentiment analysis ; sentiment vector space model ; sentiment stress
渐涌现。歌曲情感分类是智能歌曲搜索和推荐的关
1 引言
当前社会对歌曲的需求与日俱增, 听歌已经从个人电脑转向互联网在线视听。3G 通信网络的逐渐普及, 必然推动歌曲操作从互联网向手机扩展。为应对上述需求, 各种智能歌曲搜索和推荐系统逐
收稿日期:2009206204 定稿日期:2009211204
键技术, 目标是赋予歌曲特定的情感标签, 以方便用户搜索或者系统推荐。近年来, 歌曲情感分类首先在音频信号处理研究中涌现, 人们试图借助Mel 倒
谱系数(M FCC ) 从音频信号中提取可能会反映情感的音频特征(例如强度、频谱质心、能量、节奏、速度等) , 再借助机器学习算法实现情感分类。基于音频
基金项目:自然科学基金资助项目(60703051) ; 国际科技合作项目(2009DFA12970)
) , 男, 副研究员, 主要研究方向为自然语言处理与文本挖掘; 杨莹(1985—) , 女, 硕士生, 主要研作者简介:夏云庆(1972—
) , 男, 研究员, 主要研究方向为媒体信息系统与内容管理。究方向为自然语言处理; 张鹏洲(1969—
100
中文信息学报2010年
信号的研究已有近20年的历史, 然而至今无法获得准确反映情感的音频特征, 所取得的成效非常有限, 无法达到满意的水平。考虑到目前音频信号在歌曲情感分析上的局限性, 我们提出以歌词为分析对象, 借助自然语言处理技术对歌曲进行情感分析。目前这方面的研究并不多见。
歌曲以多种媒体表达情感, 包括音乐、演唱和歌词等。因此, 仅以歌词判定歌曲情感存在一定片面性。尤其是随着歌曲形式的不断推陈出新, 歌词所表达的情感有时依赖于歌手对歌曲的演绎风格, 二者甚至会发生偏差。感倾向, 但经过歌手演绎后, 。只有不到5。所以, 我, 以自然语言处理技术判定歌曲情感。
歌曲情感分析的依据是情感模型, 即对情感类别的预设。我们采取流行的Thayer 情感模型[1], 即分别从能量和压力两个坐标轴将歌曲情感划分为两类, 从而形成“满足(content ment ) ”、“沮丧(depression ) ”、“焦虑/狂乱(anxious/f rantic ) ”和“生气勃勃(Exuberance ) ”四类情感。实验证明, 音频信号在能量高低的判定上具有较高准确度, 而在压力大小的判定上难以奏效。因此本文只针对压力大小的判定展开基于歌词的研究, 试图从歌词中分析歌曲所表达的情感压力水平, 将歌曲情感定义为“轻松(light 2hearted ) ”和“压抑(heavy 2hearted ) ”两类。这同文本观点极性分析中的“积极”和“消极”有相似之处。为表述方便, 本文将歌曲情感压力分析简称为歌曲情感分析。
本研究采取机器学习的分类方法实现歌曲情感分析, 首先将歌词表示为向量空间模型(Vector Space Model , VSM ) , 然后以支持向量机(Support Vector Machines , SVM ) 算法实现歌曲情感分类。基于词汇的向量空间模型(w 2VSM ) 在歌词文本表示上存在如下问题:(1) 尽管有很多算法可用于特征选择, 但w 2VSM 无法消除某些与情感表达无关的词汇特征。这些特征不会对情感分析起到作用。(2) 歌词中很多情感词汇在实际使用时存在歧义。歧义在w 2VSM 中未经适当消解而直接参与情感分析, 必然对结果形成影响。(3) 否定词和修饰词在歌词中频繁出现, 他们对情感的增强、削弱和置反作用在w 2VSM 中无法体现。(4) 歌词往往比较短, 平均在50～80个词左右, 这导致w 2VSM 严重的数据稀
疏问题。
针对上述问题, 本文提出情感向量空间模型(s 2VSM ) , 以情感单元作为特征提取对象, 以情感单元的统计量作为情感特征。实验结果显示,s 2VSM 相对于w 2VSM 优势明显, 充分证明了情感向量空间模型的有效性。
2 90年代开始、采取机器学习方法进行情感分类[223], 情感模型大都基于Thayer 情感模型[1]。L u 等提出层次分类方法, 通过两步分析实现四类情感分类[3]。第一步借助强度特征判定能力水平, 第二步借助音色和节奏特征判定压力水平。该工作也证明了音频信号在压力水平判定上的不足。
Chen 等于2006年开始进行基于歌词的歌曲情
感分析研究[4], 他们采取了类似文献[3]的层次分类方法。不同的是, 在第二步压力水平判定上采取了歌词分析。他们采用基于词汇的向量空间模型, 效果提高并不明显。Xia 等[5]提出了情感向量空间模型的初步设想, 在特征定义中以情感单元取代词汇, 以情感单元的统计量作为情感特征, 歌曲情感分析取得显著提高。本文工作是文献[4]的扩展, 将情感特征扩展到12维, 覆盖了双重情感否定的情况。另外本文对情感类别的定义进行扩展, 在原先“轻松”和“压抑”两类情感的基础上增加“复杂”和“含蓄”两类情感, 以解决复杂情感和含蓄情感的识别。
3 情感向量空间模型(s 2VSM)
3. 1 设计原则
我们提出情感向量空间模型(s 2VSM ) 遵循如下设计原则:
1) 只考虑情感相关词汇对情感分析的影响。
2) 情感词汇需在语义上下文中进行必要消歧
后才用于情感分析。
3) 考虑否定词和修饰词对情感的置反、增强和削弱影响。
基于上述原则, 我们认为情感单元是情感特征定义的基本元素。下面我们提出情感单元的形式化定义, 并逐步给出情感向量空间模型的形式化描述。
1期夏云庆等:基于情感向量空间模型的歌词情感分析
101
NS W
3. 2 形式化描述
f
PS W
={0, 1}, f ={0, 1},
f N EG ={0, 1, 2}, f MOD ={0, 1}
情感词典(L ) 可描述为三元组:
L ={C , N , M};
C ={c i }, i =1, …, I ; N ={n j }, j =1, …, J ; M ={m t }, t =1, …, T 。
并且f
PS W
+f NS W =1。
3. 3 情感特征提取
其中C 代表情感关键词集, N 代表否定词集,
M 代表修饰词集。这些词汇可从词典中自动获取,
每个情感词都被赋予积极或消极的极性。那么, 给定一篇歌词W :
W ={w h }, h =1, …, H ,
我们首先利用情感词典结合依存分析工具提取
歌词中的情感单元。具体过程如下先利用情感词, 。
。若情感, 则我们简单采取情感关键词的极性作为情感单元极性。若出现了否定词, 则根据否定词个数进行极性置反处理。例如双重否定将不改变情感极性。
最后我们根据表1所列12个情感特征的计算方法从歌词中提取情感特征。3. 4 情感向量空间模型的优势分析
我们借助情感词典将W U ={u v }i , v n t , c i , v , ∈j , v N ; m t , v ∈W ∩M
其中c i , v , v m t , v 出现在约定大小(7个词) 的文本上下文窗口中。实际应用中, 否定词和修饰词与情感关键词的依赖关系可通过依存分析工具获取。由于情感单元覆盖了这一上下文关系, 情感关键词的情感大部分歧义可被消除。基于情感单元, 我们定义如下情感向量空间模型:
i i i i
V S =(f 1(U ) , f 2(U ) , …, f T (U ) ) ,
我们从以下四个方面分析情感向量空间模型(s 2VSM ) 相对于词汇向量空间模型(w 2VSM ) 的优越性:
1) 特征表示效率:s 2VSM 模型仅考虑情感相关词并以情感单元的统计量形成特征表示, 特征空间维度仅为12维。w 2VSM 模型则以词汇为特征, 特征空间维度巨大。因此s 2VSM 的表示效率远高于w 2VSM 。
2) 特征歧义:情感单元能有效限定情感关键词的上下文语义, 并结合否定词和修饰词的启发, 情感歧义可在s 2VSM 模型中被大部分消除。
3) 表示能力:情感单元体现了否定词的置反功能和修饰词的情感增强与削弱功能, 因此s 2VSM 的功能表示能力高于w 2VSM 。
4) 稀疏性:s 2VSM 采用12个情感特征, 其数目远远少于情感词汇个数, 能较好解决数据稀疏问题。
其中V i S 代表第i 篇歌词所对应的情感向量, f i j 表示第j 个情感特征。在这里, 我们采取情感单元的统计量作为情感特征。
我们根据情感关键词与否定词、修饰词的搭配关系建立12个情感特征, 见表1。
表1 本文定义的12个情感特征
f i 满足条件的情感单元个数
f 1 C 1={f f 2 C 2={f f 3 C 3={f f 4 C 4={f f 5 C 5={f f 6 C 6={f f 7 C 7={f f 8 C 8={f f 9 C 9={f
PS W PS W PS W PS W PS W PS W PS W PS W PS W
=1, f NS W =f N EG =f MOD =0}=0, f NS W =1, f N EG =f MOD =0}=1, f NS W =0, f N EG =1, f MOD =0}=0, f NS W =1, f N EG =1, f MOD =0}=1, f NS W =0, f N EG =0, f MOD >0}=0, f NS W =1, f N EG =0, f MOD >0}=1, f NS W =0, f N EG =1, f MOD >0}=0, f NS W =1, f N EG =1, f MOD >0}=1, f NS W =0, f N EG =2, f MOD =0}=0, f NS W =1, f N EG =2, f MOD =0}=1, f NS W =0, f N EG =2, f MOD >0}=0, f NS W =1, f N EG =2, f MOD >0}
f 10 C 10={f f 11 C 11={f f 12 C 12={f
PS W PS W PS W
4 基于s 2VSM 的歌词情感分类方法
本文将基于歌词的歌曲情感分析视为分类问
题。在将歌曲表示为情感向量后, 我们可利用训练集生成分类器, 再利用分类器对歌曲进行情感分类。本文采取了性能较好的支持向量机(SVM 2light [6]) 分类方法。
代表情感单元中积极情感关键词个数, f NS W 表
示消极情感关键词个数, f N EG 表示否定词个数, f MOD 表示修饰词个数。
PS W
注:其中f
根据情感单元的定义, f 满足以下条件:
PS W
、f NS W 、f N EG 和f
MOD
102
中文信息学报2010年
最初我们根据情感压力将歌词情感划分为“轻松”和“压抑”, 但实际上还存在两类之外的情感压力类别, 比如“复杂”和“含蓄”。观察发现, 有相当数量的歌曲在情感表达上直抒胸臆, 频繁使用情感词, 且“轻松”情感和“压抑”情感比例相当, 表达了类似悲喜交加、又爱又恨等复杂情感。另外, 少量歌曲在情感表达上文雅含蓄, 很少使用情感词。我们认为, 上述两类情感不能单纯归结为“轻松”或“压抑”。因此在实际处理中, 我们将Thayer 情感模型压力轴的“轻松”和“压抑”两类情感扩展为结合情感单元个数的四类情感分类模型, 如图1所示
。
1) 音频分析方法
采用文献[3]汇报的音频分析方法以音色和节
奏等12维音频特征进行歌曲情感压力分析。
2) 知识推理方法
本文实现了一个简单的基于情感词典的情感推理方法。首先利用情感词典从歌词中识别情感词, 元, 2, 通过C HI 算法[10]
; 以情感词特征集产生歌词向量空间; 最后在训练数据上产生分类器, 并用于情感分类测试。
本文方法是基于s 2VSM 的机器学习方法。我们选择12维情感特征产生情感向量空间, 在训练数据上产生分类器, 并用于情感分类测试。本实验还将对比Thayer 的二类情感压力模型和我们的四类情感压力模型。
5. 3 实验1 基准方法和本文方法的对比
图1 基于情感压力的四类情感分类模型。
5 实验与评测
5. 1 实验设置
基于Thayer 模型的基准方法和本文方法的实验结果如表2所示。
表2 评测方法的实验结果(f 21分数)
方法轻松 压抑 微平均宏平均
AB 0. 5920. 5800. 5880. 583
K B 0. 6470. 6190. 6360. 625
w 2VSM 2ML 0. 7160. 6070. 6740. 662
s 2VSM 2ML 0. 7680. 7010. 7430. 736
我们采用5SON GS 语料库[5]进行本文方法的训练和评测。5SON GS 语料库包含2653首中文流行歌曲, 两类情感压力类别“轻松”和“压抑”均由两位专家人工判定。最终1632首歌曲被标注为“轻松”,1021首被标注为“压抑”。专家标注一致性为72%, 这说明歌词情感判定存在较大难度。本实验中用到的情感词典大部分来自HowNet
①
[7]
。
由于情感词典对本文工作意义重大, 因此我们又融合了N TU 情感词典。本文采取哈尔滨工业大学依存分析工具L TP [8]进行词法分析和依存分析。
我们采取文本分类通用评测方法对本文工作进
行评测, 包括准确率(p ) 、召回率(r ) 和f 21分数(f ) 。为整体分析方法性能, 我们采取微平均(micro 2average ) 和宏平均(macro 2average ) [9]。我们将5SON GS 语料库随机划分为四等分, 以四重交叉验
注:其中AB 代表音频分析方法, K B 代表知识推理方法, w 2
VSM 2ML 代表基于w 2VSM 的机器学习方法, s 2VSM 代表基于s 2VSM 的机器学习方法。
表2实验结果显示:1) 基于歌词的所有方法优于基于音频的方法, 其中基于s 2VSM 的分类方法在微平均f 21分数上高于音频分析方法0. 155。这表明:在歌曲情感分析上, 歌词能提供比音频更丰富的依据。2) 基于机器学习的方法优于基于知识推理的方法, 其中基于s 2VSM 的机器学习方法在微平均f 21分数上高于知识推理方法0. 107;3) 基于s 2VSM 的机器学习方法优于基于w 2VSM 的方法, 在微平均f 21分数上提高了0. 069。
①http ://nlg18. csie. ntu. edu. tw :8080/opinion/pub1. html
证技术评测本文方法。5. 2 方法
本实验考虑如下基线系统:
1期夏云庆等:基于情感向量空间模型的歌词情感分析
103
5. 4 实验2 两个情感压力模型的对比
本文方法在Thayer 的二类情感压力模型和本文的四类情感压力模型下实验结果如表3所示。需要指出的是:由于5SON GS 语料库并未进行“复杂”和“含蓄”标注, 因而无法对这两类情感进行评测。我们只对经“复杂”和“含蓄”过滤后的歌曲进行“轻松”和“压抑”两类评测。
表3 本文方法在在两中情感压力模型下
的实验结果(f 21分数)
方法微平均宏平均
Thayer (二类)
0. ) 831本研究尚有未完成的工作, 包括情感词对情感
单元的增强和削弱影响尚未在本文体现,12维情感特征并不完整。另一方面歌词情感分析可能还需要同音频分析相结合, 以实现更加准确的歌曲情感判定。我们将针对上述内容进一步展开我们的研究。
参考文献
[1]E. and Arousal
[, 1989. [2T. Content 2based music similarity
emotion detection [C ]//Proc. IEEE Int. Conf. Acoustic , Speech , and Signal Processing , 2006:17221.
[3] L. L u , D. Liu and H. Zhang. Automatic mood
detection and tracking of music audio signals[J].IEEE Audio , Speech Processing , 2006, 14(1) :5218. Content
Based
Music
Emotion of
2006
Transactions
on
&
Language
注:其中,Ours 代表
表3实验结果显示:在采用本文的四类情感压力模型后, 歌曲的“轻松”和“压抑”分类性能有显著提高(即在微平均f 21分数上提高了0. 088) 。这说明了新模型在歌曲情感分析上的有效性。需要特别指出的是, 本文提出的四类情感压力模型是一个面向应用的模型, 而心理学家是否认同该四类情感压力模型并非本文研究重点。但我们同心理学专家合作, 以求提出反映该应用效果的新的情感压力模型。
[4] R. H. Chen , Z. L. Xu , Z. X. Zhang and F. Z. L uo.
Analysis
and
Recognition [C ]//Proc. 2006:68275.
[5] Y. Xia , L. Wang , K. 2F. Wong and M. Xu.
Sentiment Vector Space Model for L yric 2based Song Sentiment Classification [C ]//Proc. Columbus , Ohio , USA , J une , 2008.
[6] T. Joachims. Learning to Classify Text Using Support
Vector Machines Methods , Theory , and Algorithms [M ]:Kluwer , 2002.
[7] Z. Dong and Q. Dong. HowNet and the Computation
of Meaning[M ].World Scientific Publishing , 2006. [8] J. Ma , Y. Zhang , T. Liu , S. Li. A Statistical
Dependency Parser of Chinese under Small Training Data[C]//Proc. of I J CNL P 22004, 1999:125. [9] Y. Yang and X. Liu. A Re 2Examination of Text
Categorization Methods [C ]//Proc. of SIGIR 99, 1999:42249.
[10] Y. Yang and J. O. Pedersen. A comparative study
on feature selection in text categorization[C ]//Proc. of ICML 97, 1997:4122420.
of
ACL 208:
HL T , Short Papers (Companion Volume ) :1332136,
International
Workshop on Computer Music and Audio Technology ,
6 结论
本文提出了基于情感单元的情感向量空间模型(s 2VSM ) 。同传统基于词汇的向量空间模型(w 2VSM ) 相比, s 2VSM 模型在文本表示效率、歧义消解、情感功能和数据稀疏性等方面都有w 2VSM 模型无法比拟的优越性。实验结果证明,s 2VSM 模型在歌词情感分类中获得成功。另外本文对情感压力模型进行了改进, 将情感词词频与Thayer 二维情感压力模型相结合, 提出了“轻松”、“压抑”之外的“复杂”“、含蓄”两类新的情感压力类别。实验证明, 情感压力模型的改进对提高歌词情感分析的性能很有帮助。