上篇文章，我们介绍了SFS的基本原理以及matlab的具体实现，并成功选择了40个特征，这篇文章，我们将使用这40个特征进行分类，测试SFS方法的效果。
一、二分类测试
我们去除二分类样本数据中的无关特征，仅保留SFS选择的40个特征，使用bayes分类器进行分类，观察最终的正确率，测试SFS的性能，使用的数据集以及测试方法和第二讲相同（链接）。具体实现如下：
（1）读取数据集，计算先验概率
（2）去除训练集和测试集的无关特征，仅保留最优的40个特征
（3）使用bayes算法进行分类
完整代码如下：
clear
load(2-Class Problem.mat);
load(feature_selected_SFS);
tic
%获取训练数量
n1=size(Training_class1,2);
n2=size(Training_class2,2);
% 先验概率
pw1=n1/(n1+n2);
pw2=n2/(n1+n2);
dim=size(Training_class1,1);%维数
Training_data1=Training_class1(feature_selected,:);
Training_data2=Training_class2(feature_selected,:);
Testing_data=Testing(feature_selected,:);
%参数估计
[miu1,sigma1]=ParamerEstimation(Training_data1);
[miu2,sigma2]=ParamerEstimation(Training_data2);
%预测结果
predict_label=0;
test_num=size(Testing,2);%获取测试数据数量
for i=1:test_num
x=Testing_data(:,i);
pxw1=gaussian(miu1,sigma1,x);
pxw2=gaussian(miu2,sigma2,x);
if pw1*pxw1>pw2*pxw2
predict_label(i)=1;
else
predict_label(i)=2;
end
end
% 计算精度
acc=sum(predict_label==Label_Testing)/test_num;
fprintf(正确率是%.2f%%\n,acc*100);
toc
<
程序运行结果分析：
仅用SFS方法选择的40个特征进行分类就可以达到100%的正确率，而且大大节省了程序运行时间。
二、多分类测试
和二分类一样，去除无关特征，仅保留40个最优特征进行多分类测试，数据集与第二讲相同（链接）
（1）获取数据集，处理数据集，去除无关特征，只保留已选择的40个特征
（2）使用bayes对含有40个特征的测试数据进行多分类
完整代码如下：
clear
warning off;
% 读取多分类数据集和选择的40个最优特征
load(Mult-class Problem.mat);
load(feature_selected_SFS);
tic
% 去除无关的特征，只保留40个已选择特征
Training_data=Training_data(feature_selected,:);
Testing_data=Testing_data(feature_selected,:);
class_nums=Label_training(end);% 获取类别数
test_nums=size(Testing_data,2);% 获取测试集大小
train_nums=size(Training_data,2); % 获取训练集大小
Training_temp=0;
predict=0;
for class=1:class_nums
[miu(:,class),sigma(:,:,class)]=ParamerEstimation(Training_data(:,Label_training==class));
num=size(Training_data(:,Label_training==class),2);
pw(class)=num/train_nums;% 计算先验概率
end
for i=1:test_nums
for class=1:class_nums
% 计算类的条件概率密度
pxw(class)=gaussian(miu(:,class),sigma(:,:,class),Testing_data(:,i));
% 计算判别式
g_x(class)=log(pw(class))+log(pxw(class));
end
[~,argmax]=max(g_x);
predict(i)=argmax;
if mod(i,100) == 0
acc=sum(predict==Label_testing(1:i))/(i);
disp([预测数据号： num2str(i)])
disp([准确度是： num2str(acc)])
end
end
acc=sum(predict==Label_testing)/(test_nums);
toc
disp([总准确度是： num2str(acc)])
<
程序运行结果：
时间用了13s，正确率为66.9%。
三、总结
本篇文章测试了SFS方法选择的特征对于分类的性能，可以看出，二分类和多分类都能够维持良好的正确率，并且大大降低了程序运行时间。通过对比第二讲（链接），我们发现SFS方法和遗传算法选择的特征对于二分类来说没有什么区别，但是遗传算法选择出来的特征对于多分类来说，正确率和运行速度两方面都略优于SFS方法。聪明的读者可能已经发现SFS方法的缺陷了，正如第三讲所讲，SFS是从第一个特征开始选择，之后所有的特征都是与之前选择的特征组合起来进行对比分析，比如我们要从特征a、b、c中选择两个特征，已经选择好第一个最优特征为a，现在选择第二个特征，那么第二轮选择的特征只可能是ab、ac的组合，那就有可能丢弃了最优的组合bc，这便是SFS方法的缺陷。工程师们后来对SFS方法进行了改进，提出了SFBS（Sequential Forward Backward Selection）方法，加入了反向搜索的过程，扩大了特征选择的范围。
至此，特征选择的相关内容已经介绍完毕，之后的文章，我们将介绍特征提取相关内容。
