模式识别之数据降维（四）：SFS方法效果测试

  上篇文章，我们介绍了SFS的基本原理以及matlab的具体实现，并成功选择了40个特征，这篇文章，我们将使用这40个特征进行分类，测试SFS方法的效果。

一、二分类测试

  我们去除二分类样本数据中的无关特征，仅保留SFS选择的40个特征，使用bayes分类器进行分类，观察最终的正确率，测试SFS的性能，使用的数据集以及测试方法和第二讲相同（链接）。具体实现如下： （1）读取数据集，计算先验概率 （2）去除训练集和测试集的无关特征，仅保留最优的40个特征 （3）使用bayes算法进行分类 完整代码如下：

clear load(2-Class Problem.mat); load(feature_selected_SFS); tic %获取训练数量 n1=size(Training_class1,2); n2=size(Training_class2,2); % 先验概率 pw1=n1/(n1+n2); pw2=n2/(n1+n2); dim=size(Training_class1,1);%维数 Training_data1=Training_class1(feature_selected,:); Training_data2=Training_class2(feature_selected,:); Testing_data=Testing(feature_selected,:); %参数估计 [miu1,sigma1]=ParamerEstimation(Training_data1); [miu2,sigma2]=ParamerEstimation(Training_data2); %预测结果 predict_label=0; test_num=size(Testing,2);%获取测试数据数量 for i=1:test_num x=Testing_data(:,i); pxw1=gaussian(miu1,sigma1,x); pxw2=gaussian(miu2,sigma2,x); if pw1*pxw1>pw2*pxw2 predict_label(i)=1; else predict_label(i)=2; end end % 计算精度 acc=sum(predict_label==Label_Testing)/test_num; fprintf(正确率是%.2f%%\n,acc*100); toc

程序运行结果分析：   仅用SFS方法选择的40个特征进行分类就可以达到100%的正确率，而且大大节省了程序运行时间。

二、多分类测试

  和二分类一样，去除无关特征，仅保留40个最优特征进行多分类测试，数据集与第二讲相同（链接） （1）获取数据集，处理数据集，去除无关特征，只保留已选择的40个特征 （2）使用bayes对含有40个特征的测试数据进行多分类 完整代码如下：

clear warning off; % 读取多分类数据集和选择的40个最优特征 load(Mult-class Problem.mat); load(feature_selected_SFS); tic % 去除无关的特征，只保留40个已选择特征 Training_data=Training_data(feature_selected,:); Testing_data=Testing_data(feature_selected,:); class_nums=Label_training(end);% 获取类别数 test_nums=size(Testing_data,2);% 获取测试集大小 train_nums=size(Training_data,2); % 获取训练集大小 Training_temp=0; predict=0; for class=1:class_nums [miu(:,class),sigma(:,:,class)]=ParamerEstimation(Training_data(:,Label_training==class)); num=size(Training_data(:,Label_training==class),2); pw(class)=num/train_nums;% 计算先验概率 end for i=1:test_nums for class=1:class_nums % 计算类的条件概率密度 pxw(class)=gaussian(miu(:,class),sigma(:,:,class),Testing_data(:,i)); % 计算判别式 g_x(class)=log(pw(class))+log(pxw(class)); end [~,argmax]=max(g_x); predict(i)=argmax; if mod(i,100) == 0 acc=sum(predict==Label_testing(1:i))/(i); disp([预测数据号： num2str(i)]) disp([准确度是： num2str(acc)]) end end acc=sum(predict==Label_testing)/(test_nums); toc disp([总准确度是： num2str(acc)])

程序运行结果： 时间用了13s，正确率为66.9%。

三、总结

  本篇文章测试了SFS方法选择的特征对于分类的性能，可以看出，二分类和多分类都能够维持良好的正确率，并且大大降低了程序运行时间。通过对比第二讲（链接），我们发现SFS方法和遗传算法选择的特征对于二分类来说没有什么区别，但是遗传算法选择出来的特征对于多分类来说，正确率和运行速度两方面都略优于SFS方法。聪明的读者可能已经发现SFS方法的缺陷了，正如第三讲所讲，SFS是从第一个特征开始选择，之后所有的特征都是与之前选择的特征组合起来进行对比分析，比如我们要从特征a、b、c中选择两个特征，已经选择好第一个最优特征为a，现在选择第二个特征，那么第二轮选择的特征只可能是ab、ac的组合，那就有可能丢弃了最优的组合bc，这便是SFS方法的缺陷。工程师们后来对SFS方法进行了改进，提出了SFBS（Sequential Forward Backward Selection）方法，加入了反向搜索的过程，扩大了特征选择的范围。   至此，特征选择的相关内容已经介绍完毕，之后的文章，我们将介绍特征提取相关内容。