摘 要:本文通过-支持向量机进行非线性回归的实例研究,通过交叉验证确定最优系数。结果在大部分的数据点,都取得了良好的效果。
关键词:svm 非线性回归 交叉验证
中图分类号:TP273文献标识码:A文章编号:1672-3791(2011)04(c)-0038-01
支持向量机是在统计学习理论的基础上产生出了一种新型的学习机器。支持向量机算法在解决小样本问题的同时,又能解决神经网络算法中的高维问题和局部极值问题,使其具有更大的优势,其结构也非常简单,为统计学习理论的实际应用提供了有效的工具。
支持向量机使用了大间隔因子来控制学习机器的训练过程,使其只选择具有最大分类间隔的分类超平面从而使其在满足分类条件的情况下,又具有高的推广能力。寻找最优超平面的过程最终转化为二次型优化问题,从理论上讲,得到的是全局最优解。与传统的学习机器不同的是,支持向量机是将原始的模式矢量映射到非常高维的特征空间,仍然使用大间隔因子在高维特征空间中寻找最大间隔超平面。得到的高维特征空间中的超平面对应着原始模式空间中的非线性分类面。而实际上,其优化过程并没有真正在高维空间中进行,只是通过一些具有特殊性质的核函数,将高维空间中的内积运算转化为原始空间中核函数的运算,从而巧妙地避免了在高维空间中处理问题的困难[2]。
支持向量机的结构非常简单,从表面上看,它类似于三层前馈神经网络。但实际上它与神经网络有着根本性的不同。简单地说,支持向量机的隐层是随着所要解决的问题和规模而自动调节的,从而使学习机器的复杂度总是与实际问题相一致,因而可以自适应地解决各种不同的问题[3]。
1 回归研究
本文采用支持向量机做非线性回归研究。训练数据X为10维向量,Y为1维向量。训练数据Y值如图1所示。
应用-支持向量机进行回归研究,应用训练数据对支持向量机进行训练,以交叉验证的方法确定最优的参数值,best c=16,g=0.00195313,得到支持向量机模型。对测试数据进行预测,得到预测结果,如图2和图3。
图中,“0”表示预测数据,“+”表原数据。Mean squared error=3.0772,Squared correlation coefficient=0.452435。
由图2和图3可见,大部分预测数据都比较准确,只是在个别点(第二十个点)误差较大。
2 结语
本文应用只支持向量机做回归预测研究,结果在大部分数据都取得良好效果,个别点误差较大。如果在参数的选择上能有更好的方法,预测会取得更好的效果。
参考文献
[1] 邓乃扬,田英杰.数据挖掘中的新方法——支持向量机[M].科学出版社,2004,6.
[2] 许焕新,田沛,许小刚.小波包分析在汽轮机故障诊断中的应[J].电力科学与工程,2005,3.
[3] 刘志刚,李德仁,秦前清,等.支持向量机在多类分类问题中的推广[J].计算机工程与应用,2004,7.