２００８耳９１２期
中图分类号：ＴＰ３９１
文献标识码：Ａ
文章编号：１００９—２５５２（２００８）１２—００５８—０３
基于主成分分析的支持向量机回归预测模型
王
磊
（辽宁工程技术大学理学院，阜新１２３０００）
摘要：首先利用主成分分析法降低样本数据的维数，建立主成分的多元回归预测模型，其次利用支持向量机方法确定回归模型的系数，最后实例说明了该模型具有较高预测精度。关键词：主成分分析；回归系数；支持向量机
Ｒｅｇｒｅｓｓｉｏｎｆｏｒｅｃａｓｔｍｏｄｅｌｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ
ｂａｓｅｄ
ｏｎ
ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ
Ⅵ协ＮＧＬｅｉ
Ｕｎｉｖｅｒｓｉｔｙ，ｔ３ｖｄｎ
（Ｓｃｈｌ００Ｉ
Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ
ｏｎ
ｏｆ
Ｓｃｉｅｎｃｅ，“栅ｉｎｇＴｅｃｈｎｉｃａｌ
ｂａｓｅｄ
ｏｎ
１２３０００，Ｃｈｉｎａ）
ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓｍｅｔｈｏｄ，ｄｉｍｅｎｓｉｏｎｓｏｆｓａｍｐｌｅｓａ陀ｒｅｄｕｃｅｄ，ｍｕｌｔｉｐｌｅ
ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔ，ｃｏｅｆｆｉｃｉｅｎｔｔｈｅ
ｅｘａｍｐｌｅ
ｏｆｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌｉｓ
ｈａｓ
ｒｅｇｒｅｓｓｉｏｎｆｏｒｅｃａｓｔｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄｃｏｎｆｉｒｍｅｄｂｙｕｓｉｎｇｐｒｅｃｉｓｉｏｎ．
ｓｕｐｐｏｒｔｖｅｃｔｏｒ
ｍａｃｈｉｎｅ，ｆｍａｌｌｙ
ｓｈｏｗｅｄｔｈｉｓｍｏｄｅｌ
ｈｉｇｈｅｒｆｏｒｅｃａｓｔ
Ｋｅｙｗｏｒｄｓ：ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ；ｒｅｇｒｅｓｓｉｏｎｃｏｅｆｆｉｃｉｅｎｔ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ
０
引言
统计学习理论是（Ｓｔａｔｉｓｔｉｃａｌ
ｌｅａｒｎｉｎｇ
的多维变量。
ｔｈｅｏｒｙ）是由
设原始变量为ｔ。，ｔ：，…，“进行主成分分析后
得到的主成分（综合变量）为石，，髫：，…，髫。（ｍ＜Ｐ）它们是ｔ，，ｔ：，…，ｋ的线性组合。新变量ｚ。，聋：，…，
Ｗｐｎｉｋ…等人建立的一种专门研究小样本情况下机器学习规律的理论，支持向量机（Ｓｕｐｐｏｒｔ
ｖｅｃｔｏｒ
ｍａｃｈｉｎｅｓ，ｓｖＭ）是在这一理论基础上发展起来的一种新的分类和回归工具。支持向量机通过结构风险
最小化原理来提高泛化能力。己在模式识别、信号处理、函数逼近等领域得到了应用［２Ｊ。在一些复杂系统预测中，经常涉及到多维数据，但维数高会影响到模型的建立和预测效果，因此本文先利用主成分分析方法把原来多维样本划为少数几个综合指标低维样本，提取包含样本数据信息的主元，降低样本空问的维数。然后利用ＳＶＭ对样本进行训练，得到最优的回归预测模型。ｌ
石。构成的坐标系是在原坐标系经平移和正交旋转
后得到的，称茗。，石：，…，茗。空间为ｍ维主超平面。在
主超平面上。第一主成分茹．对应于数据变异（贡献率ｅ１）最大的方向。对石２，石３，…，菇。依次有ｅ２≥…≥ｅ。。
因此，舅。是携带原始数据信息最多的一维变量。而ｍ维主超平面是保留原始数据信息量最大的ｍ维子空间。
主成分分析法的步骤如下：
①为了排除数量级和量纲不同带来的影响。首先对原始数据进行标准化处理
ｔ７９＝（ｔｉ—ｆ。）／ａｉ
（ｉ＝ｌ，２，…，Ｐ；＿『＝１，２，…，ｒｔ）
收稿日期：２００８—０４—０７
作者简介：王磊（１９７８一），男，讲师，硕士，研究方向为模糊微分方
程，模式谚ｌ别，
主成分分析法
主成分分析法旨在力保原始数据信息丢失最小
（１）
的情况下，对高维变量空间进行降维处理。即在保证原始数据信息损失最小的前提下，经过线性变换
和舍弃部分信息。以少数的综合变量取代原有一５８一
万方数据
式中ｔＦ为第ｉ个指标第．『个样本的原始数据；Ｌ和吼分别为第个指标的样本均值和标准差。
②根据标准化数据表（ｆ７Ｆ）Ⅲ计算相关系数矩
阵足＝（～）ｐｘ＾，
－
ｎ
其中，ｏ＝ｉｌ∑（缸一瓦）（啊一乃）／ｄ；町
（２）
。’七＝１
③计算Ｒ的特征值和特征向量。根据特征方程Ｉ足一Ａ，Ｉ＝０计算特征根．＝Ｉ，并使其从大到小排列，
．：Ｉ。，Ａ２，…，｜；Ｉ，，同时可得对应的特征向量取。，印２，…，坼。将它们标准正交：Ｍ。，ｕ：，…，‰称为主轴。
④计算贡献率
ｅ；：｛Ｌ和累计贡献率如：
０
３∑Ａ；
。∑学∑㈦
丸一丸
⑤计算主成分算。＝∑Ｍ私
（４）
Ｊ＝１
这时各主成分相互独立。
⑥综合分析。可以通过求累计贡献率Ｂ来判断，一个ｍ维主超平面究竟以多大的精度来近似代
替原始变量系统才能确保尽可能多的原始数据信
息。一般取厶＞８５％的最小ｍ（ｍ＜Ｐ），则可得主超平面的维数ｍ，从而可对ｍ个主成分进行综合
分析。２
基于主成分分析的支持向量机回
归预测模型
．－
根据公式（４）得到如下的数据对（Ｘ，，，，。），（五，
Ｙ２），…，（五，孔），其中Ｚ为样本的个数计算所得的
主成分建立回归模型
Ｙ＝ｔｔ，１石ｌ＋ｔｔ，２茗２＋…＋埘ｍ石珥＋，ｂ
（５）
将模型（５）简记为下面的回归预测模型八ｘ）＝＜Ｗ・Ｘ＞＋ｂ
（６）
其中Ｗ＝（ｔｃＩｌ，１０２，…，ｔｌ，。），Ｘ＝（石１，菇２，…，戈。）７，＜Ｗ・Ｘ＞表示形与Ｘ的内积。最优化问题为：
ｒａｉｎ去０形０
２
柚－６
‘
ｓ．ｔ．儿一＜Ｗ・置＞一ｂ≤￡
＜Ｗ・五＞＋ｂ一九≤ｅ，ｉ＝ｌ，２，…，Ｚ（７）对线性数据集，ＶＣ维满足ｂ】
ｈ≤Ｉｌ形０
２
ｒ２＋１
（８）
其中：ｒ为包络训练样本数据的最小球半径，因此
万
方数据（７）式的最优化问题中，最小化｛｜Ｊ形｝Ｊ
２意味着最
小化ＶＣ维，同时训练误差作为最优化问题的约束条件，因此（７）式的最优化问题体现了ＳＶＭ的思想，由此得到的回归估计函数具有较好的泛化能力。约束
条件不可实现时，可引入松弛变量，这样（７）式写为
ｌ
删凳剖１
Ｗ
ｈｃ苫（￡４－拿？）
ｓ．ｔ．儿一＜Ｗ・墨＞一ｂ≤ｅ４－￡
＜Ｗ・五＞＋ｂ一弗≤ｅ４－手？
￡≥０，ｅ？≥０ｆ＝１，２，…，Ｚ
（９）
其中Ｃ＞０为惩罚系数，Ｃ越大表示小对超出￡管道
数据点的惩罚越大。采用拉格朗日乘子法求解这个
具有线性不等式约束的二次规划问题，
．
ｊ
即
。．焉．唔睁２剖肜ｈｃ∑ｉ＝１（￡＋ｅ？）一
ｌ
∑Ｏｔｉ（ｅ＋￡一Ｙｌ＋＜Ｗ・墨＞＋６）一∑口；（ｅ＋弘？＋竹一＜Ｗ・墨＞一６）一
∑（雕４－ｐ？ｅ？）
（１０）
其中ａ；，口？，晟，ｐ：≥０，ｉ＝１，２，…，ｚ为拉格朗日乘子。在寻优目标函数中，采用适当的内积函数ｋ＜五・五＞就可以实现某一非线性变换后的线性回归Ｈ】。支持向量机回归方法的特效在于，通过引入点积核函数ｋ＜五・蜀＞和利用Ｗｏ璩对偶技巧避开了维数灾难和目标函数不可微问题。因此目标函数
变为：
．
１ｌ
ｍ吁｛厶＝一专∑∑（口；一Ｏｇｉ’）（呵一
ａ，口
－ｉ＝１』＝１
口ｊ）＜五五＞一￡∑（口；＋口？）＋
ｆ
∑Ｙｉ（口；一口？）｝
ｉ＝１
．
ｓ．ｔ．∑（口ｉ一口ｊ）＝０
０≤口ｆ≤Ｃ，０≤口？≤Ｃ（１１）
根据最优化的充要条件（ＫＫＴ条件），求得相应
的回归估计函数
八ｘ）＝∑（口；一口？）＜五・Ｘ＞＋ｂ（１２）
Ｊ‘∈Ｓｙ
其中ｓＶ为支持向量集。由以上推导过程可以看出，通过选择不同的￡和Ｃ可以调整回归曲线的拟合精度。
一５９—
３
实例仿真
．
国际旅游外汇收入是国民经济发展的重要组成部分，影响一个国家或者地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素，本例研究第三产业对外汇旅游收入的影响。《中国统计年鉴》把第三产业划为１２个组成部分，分别为ｔ。农林牧渔服务业，ｔ：地质勘查水利管理业，ｔ，交通运输仓储和邮电通信业，ｔ。批发零售贸易和餐饮业，ｔ。金融保险业，ｔ。房地产业社会服务业，ｔ，社会服务业，ｔ。卫生体育和社会福利业，ｔ。教育文化艺术和广播，ｔ，。科学研究和综合艺术，ｔ，。党政机关，ｔ。：其他行
业。选取１９９８年我国３１个省、市、自治区的数据，以国际旅游外汇收入（百万美元）为因变量，以如上１２
个行业为自变量作多元回归，数据见文献［５］，其中自变量单位为亿元人民币。
对以上数据利用ＳＰＳＳ统计软件得到，两个主成
分，分别为
茗１＝０．２０９ｔｌ＋０．２４８ｔ２＋０．１６１ｔ３＋０．１３４ｔ４—
０．０４９ｔ５—０．０７４ｔ６＋０．０２９ｔ７＋０．１２２ｔ８＋
０．０７１ｔ９—０．２７９ｔｌｏ＋０．２１５ｔｎ＋０．０９９ｔ１２
石２＝一０．１４８ｔｌ一０．２１３ｔ２—０．０４ｔ３＋０．００２ｔ４＋
０．２６５ｔ５＋０．２９６ｔ６＋０．１４４ｔ７＋０．０２０ｔ８＋０．１０４ｔ９—０．５２４ｔｌｏ一０．１２７ｔ１１—０．０３１ｔ１２
即将１２维数据降低到了２维数据，下面根据所得的２维数据建立支持向量机回归预测模型
八ｘ）＝埘ｌ・石ｌ＋埘２・菇２＋ｂ
本文选取３１个样本数据的前２１个数据作为训练数据，后１０个数据作为测试数据。利用软件包
ｌｉｂｓｖｍ【６Ｊ，选择参数为：Ｃ＝１０，￡＝０．０１，经计算得到
１７个支持向量（其中有１４个边界向量）。得到预测值与真实值的对比如表１所示。
衰ｌ
国际旅游外汇收入实际值与预测值对比
一６０一
万
方数据从表中数据可以看出预测精度比较高。通过改
变Ｃ和ｅ的值来控制泛化能力的界。
４
结束语
支持向量机回归建模是将低维非线性的输入映
射到高维线性的输出，模型简单，具有良好的应用前景。同时，ＳＶＭ算法及对应的统计学习理论提出了小样本统计学问题，为解决有限样本情况下机器学习问题提供了有力的理论基础。本文的研究结果表明ＳＶＭ应用到国际旅游外汇收入预测中，具有较高的精度。参考文献：
［１］ＣｏｍｅｓＣ，Ｖ掣ｒａｋ
Ｖ．Ｓｕｐｐｏｒｔ
ｖｅｃｔｏｒ
ｍ鼬［Ｊ］．ＭａｃｈｉｎｅＩ鲫ｉＩｌｇ，
１９９５，２０：２７３—２９７．
［２］杜树新，吴铁军．模式识别中的支持向量机方法［Ｊ］．浙江大学
学报：工学版，２００３，３７（５）：４０３—４０９．［３］Ｗａｎｇ
Ｘ
Ｌ，Ｔａｎｇ＂ＩＳ．ＴｈｅＲｅｓｅａｒｃｈ０ｆＩｎｔｅｇｒａｔｅｄＴｅｃｈｎｉｑｕｅ∞Ｉｎｔｅｌｌｉ－
ｇｅｎｔ
Ｃｏｎｔｒｏｌ
Ｓｙｓｔｅｍ［ｃ］．Ｐｒｏｅ．ｏｆ
ＩＥＥＥ
ＩＣＩＴ’９６．ｓｈ∞鲥．Ｔｏｎａｌ
Ｕｎｉｖｅｒｓｉｔｙ，１９９６：６３８—６４２．
［４］ｃ８ｌ叩ｂｅｌｌ．Ｃ・Ｋｅｒｎｅｌｍｅｔｈｏｄｓ：ａ
ｓｕｒｖｅｙ
ｄ
ｅｍ＇ｒｅｌａｔ
ｔｅｃｈ—ｎｉｑｕ∞［Ｊ】．
Ｎｅｕｒｏｃｏｍｐｔｌｔｉｎｇ，２００２，４８：６３—８４．
［５］何晓群。刘文卿．应用回归分析［Ｍ］．北京：中国人民大学出版
社．２００１．
［６］Ｏａｉｈ．Ｃｈｕｎｇ蛐，Ｃｈｉｈ—Ｊ∞Ｌｉｎ．Ｌ１ＢＳＶＭ：ａｌｉｂｒａｒｙｆｏｒｒａｐｐｏｒｔ
ｖｅｃｔｏｒ
ｍａｅｈｉｒ目［ＥＲ／ＯＬ］．【抛１］．ｈｔｔｐ：／／ｖｍｗ・ｅｓｉｅ・ｎｔｕ・ｅｄｕ・ｔｗ／．ｅｊｌｉｎ／ｌ‰．
责任编辑：肖滨
基于主成分分析的支持向量机回归预测模型
作者：作者单位：刊名：英文刊名：年，卷(期)：被引用次数：
王磊， WANG Lei
辽宁工程技术大学理学院,阜新,123000信息技术
INFORMATION TECHNOLOGY2008(12)1次
参考文献(6条)
1. Chih-Chung Chang;Chih-Jen Lin LIBSVM:a library for support vector machines2. 何晓群;刘文卿 应用回归分析 2001
3. Camp bell C@Kernel methods:a survey of current tech-niques 2002
4. Wang X L;Tong TS The Research of Integrated Technique on Intelligent Control System 19965. 杜树新;吴铁军 模式识别中的支持向量机方法[期刊论文]-浙江大学学报（工学版） 2003(05)6. Comes C;Vapnik V Support vector networks 1995
引证文献(1条)
1. 许后磊. 郑东健 混合核SVM模型在大坝位移预测中的应用[期刊论文]-水力发电 2010(4)
本文链接：http://d.g.wanfangdata.com.cn/Periodical_xxjs200812019.aspx