基于变量选择的支持向量机在乳腺癌预后复发诊断中的应用

及预后FNA诊断的数据。 考虑到时间变量是右端删失的，我们剔除时间短于两年且未复发的观测，包括对其中存在缺失值的7、29、86、197等四条观测采取直接删除处理，最终剩余137条观测；于是定义判别变量为：病人复发转移且复发时间短于两年赋为类别1，病人未复发转移且时间长于两年赋为类别2。 本文采用的32个特征变量包括：FNA诊断利用乳腺组织的数码图片分析得到的细胞核的特征（30个）、肿瘤大小（记为tumor）、淋巴结状况（记为lymph）等。其中细胞核特征包括10个变量，每一个变量又分别计算其均值、标准差和最大值，组成30个变量（见表1）。 表 1 细胞核特征变量表 变量/特征 均值（m） 标准差（sd） 最大值（max） 半径（radius） m_rad sd_rad max_rad 外观（texture） m_tex sd_tex max_tex 周长（perimeter） m_per sd_per max_per 面积（area） m_area sd_area max_area 光滑度（smoothness） m_smo sd_smo max_smo 致密性（compactness） m_comp sd_comp max_comp 凹性（concavity） m_conc sd_conc max_conc 凹点（concave points） m_conp sd_conp max_conp 对称性（symmetry） m_sym sd_sym max_sym 分形维数（fractal dimension） m_frad sd_frad max_frad 3.2变量选择 3.2.1决策树 决策树是用二叉树形图来表示处理逻辑的一种工具，是一种应用广泛的数据挖掘算法，其每个节点的划分决定着分类结果的走向。我们应用R软件 的rpart软件包对全部原数据构建决策树如图3。 图 3 决策树树状图 在这里，我们的目的是通过决策树筛选变量，也就是那些出现在节点处的变量。最终，得到max_area，max_rad，sd_tex，max_comp和max_conp五个比较重要的变量。由于决策树本身也是一种分类算法，可以得到分类结果如图4。 判 定 类 别 1 2 原 类 别 1 22 12 2 6 97 图 4 决策树分类结果 其中，有12个属于类别1的样本被分到第2类中，有6个属于类别2的样本被分到第1类中。需要说明的是，在这里错判的代价是不同的，这是因为类别1的样本属于两年内(24个月)复发的病人，而类别2的样本属于两年后不复发的病人。如果将类别2判断到类别1，那么在术后的两年内医生可以对其进行更为谨慎的临床观察，即便这个病人两年内没有复发；但是，如果将类别1判断到类别2，那么医生就可能会认为该病人两年内不会在复发而放松治疗，病人也会因此减少相应的检查次数，其后果是不堪设想的。在本数据中，大部分样本属于类别2，也就是良性的情况，数据的不平衡可能导致类别2的样本对决策树训练更加充分。类别1被判断到类别2的人数是类别2被判断到类别1的两倍，这种判别对于原本两年内复发的病人是极其危险的。 3.2.2 Logistic逐步回归 Logistic回归用于处理二分类问题，属于广义线性模型二项分布族。以疾病复发类别为因变量，各临床变量为自变量建立Logistic回归方程，并通过逐步回归筛选变量。最终得到筛选结果如下： Estimate Std. Error z value Pr(>|z|) (Intercept) -7.312e+00 8.511e+00 -0.859 0.39023 m_rad 6.004e+00 2.268e+00 2.647 0.00812 ** m_per -8.319e-01 3.212e-01 -2.590 0.00960 ** m_sym 2.663e+01 1.763e+01 1.511 0.13086 m_frad 2.610e+02 1.035e+02 2.523 0.01164 * sd_comp -1.019e+02 5.306e+01 -1.921 0.05471 . sd_conp 3.247e+02 1.383e+02 2.349 0.01884 * sd_sym -9.426e+01 5.226e+01 -1.803 0.07131 . max_rad -9.837e-01 5.802e-01 -1.695 0.09001 . max_area 4.443e-03 3.136e-03 1.417 0.15657 max_smo -4.731e+01 2.291e+01 -2.065 0.03894 * max_comp 1.516e+01 7.003e+00 2.164 0.03046 * max_conp -2.583e+01 1.708e+01 -1.512 0.13056 lymph -1.112e-01 5.094e-02 -2.183 0.02904 * --- Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 可以看到，最终选出了13个变量，分别为m_rad，m_per，m_sym，m_frad，sd_comp，sd_conp，sd_sym，max_rad，max_area，max_smo，max_comp，max_conp和lymph。除sd_tex这个变量以外，决策树所选出的变量都被包含在Logistic回归所选择的变量之中，因此Logistic回归是一种更保守的变量选择方法。 3.2.3模拟退火算法 模拟退火算法涉及的变量较多，因此我们用编号1-32代表上述的32个预测变量。根据上文的伪代码，编写程序，进行模拟。参数设定为：T=50，Tmin=2，m=50，nvar=1， a=10，模拟次数为200次。支持向量机所有参数选取都为默认值，核函数选择为径向基（RBF）核。表2显示的是200次模拟中选出的变量频数分布情况及其对应的平均错判率。 表 2 模拟退火算法变量选择结果 变量编号 错判率 Freq 变量编号 错判率 Freq 1 0.178309 16 18 0.205882 1 3 0.17402 12 19 0.191176 1 4 0.174706 25 21 0.163043 23 6 0.205882 1 22 0.205882 2 7 0.202941 5 23 0.159229 29 8 0.180882 10 24 0.166176 30 11 0.178922 6 25 0.205882 1 13 0.183824 2 28 0.205882 2 14 0.171123 11 29 0.205882 1 15 0.205882 2 30 0.205882 1 16 0.198529 6 31 0.161765 1 17 0.205882 1 32 0.167112 11 图 5 模拟退火算法结果 从图5可以看出，变量24(max_area)，23(max_per)，4(m_area)，21(max_rad)，1(m_rad)，3(m_per)出现频率较高，而且其平均错判率较低，而前四个变量相对于变量1，3有更高的出现频率。稳健起见，模拟500次作为对照，出现频率前6的变量与200次模拟时相同，因此变量选择如上。 这里有两点需要说明： （1）上述模拟退火方法是对每个变量单独进行的也就是每次仅用一个变量使用支持向量机进行分类。如果采取穷举的方法，对于每个变量分别使用svm并且计算错判率，那么只需模拟32次就能得出错判率最低的6个变量，但是，所得的错判率仅针对训练集，扩展能力较差。而模拟退火算法是一种随机化方法，加上模拟过程中使用了交叉验证的方法，这样就能在不断地选择中逐渐淘汰掉错判率较高的变量，因此这种方法更为稳健。虽然这种方法需要使用大量的模拟运算，但这在计算机性能突飞猛进的今天，已经不是主要的瓶颈。 （2）上述特征选择方法基于一个较强的假设，每次选出的最优变量组合在一起仍然是最优的，由于变量之间可能存有错综复杂的关系，因此这种方法的效果需要在下文中验证。 4研究结论 4.1模拟结果 4.1.1各变量选择方法在支持向量机中的分类效果对比 将以上三种方法所选出的特征应用于1、2两种类别的疾病复发转移情况分类中，采用分层等比例抽样的方法对原始数据进行划分，将2/3作为训练集，其余作为预测集，分类方法全部选用支持向量机，得到结果如表3。 表 3 各种变量选择方法在支持向量机中的表现 变量选择方法 选出变量 训练集错判率 测试集错判率 FS方法评价 决策树 max_area,max_rad,sd_tex, max_comp,max_conp 0.1841 0.2219 快速，错判率低 Logistic回归 m_rad, m_per,m_sym,m_frad sd_comp,sd_conp,sd_sym,max_rad max_area,max_smo,max_comp max_conp,lymph 0.1561 0.2258 较慢，错判率尚可 模拟退火1 max_area, max_per, m_area, max_rad m_rad, m_per 0.1793 0.2025 最慢，错判率最低 模拟退火2 max_area, max_per, m_area, max_rad 0.1783 0.2053 未特征选择 全部变量 0.1539 0.2164 无 需要对上表进行说明的是，在这里我们将模拟退火所选出的变量分为两组：模拟退火1选用的是所有6个变量，而模拟退火2仅采用了出项频率最高的前4个变量。最后一栏是对各种变量选择方法的评价。 如果仅从训练集的错判率来看，未进行特征选择时的错判率最低，但是从应用角度来讲，我们更加关心所选变量在测试集中的表现。由于受到许多无关特征的影响，未进行特征选择时对测试集的效果会变差。而决策树和Logistic回归所选出的变量对测试集的表现甚至不如未进行特征选择，说明在本课题中，用决策树和Logistic回归为为支持向量机进行变量选择是不合适的。从对测试集的错判率来看，两组模拟退火算法所选出的变量表现最优，而前4个变量与前6个变量的表现差距则不大。 此外，在三种方法所选出的变量中，max_area和max_rad同时出现，说明三种方法都认为是这两个变量是关键变量。事实上，仅通过这个变量就能对训练样本取得较低的错判率（在训练集和预测集的错判率分别为0.1852和0.2206），因此在误差允许的情况下，仅检测变量max_area和max_rad就能达到最小的检测成本和较理想的分类效果。 4.1.2支持向量机与其他分类方法分类效果的对比 为了对比支持向量机方法与决策树和Logistic回归的分类效果，分别对其进行200次模拟：支持向量机采用模拟退火方法选出的max_area, max_per, m_area, max_rad四个变量，Logistic回归选择逐步回归之后的变量。同样选用2/3做训练集，1/3做测试集，得到结果如表4。 表 4 三种分类方法结果比较 分类方法 训练集错判率 测试集错判率 决策树 0.1394 0.2644 Logistic回归 0.1168 0.2070 支持向量机 0.1783 0.2053 模拟数据表明，支持向量机能够达到最低错判率，Logistic回归次之。由于Logistic回归和svm本质上属于线性分类，决策树是非线性分类，决策树效果不如前两者说明该分类问题存在线性解，也就是说仅依靠线性分类就能取得很好的效果。而且，从上面的变量选择结果可以看出，Logistic回归和支持向量机所选出的变量存在较大差异，为什么出现这样的结果，原因可能是Logistic回归采用的逐步回归方法和支持向量机所采用的模拟退火方法在原理上有较大差异：前者是以AIC准则作为评价模型的标准，而后者则是一种随机算法，以最小错判率作为评价标准。 4.2研究结论与不足 经过以上的模拟计算，可以看出支持向量机作为一种结构风险最小化算法，对于对于未知样本的确能起到较好的预测效果。而经过变量选择，支持向量机分类器在分类性能上得到了进一步的提升。本文将决策树，Logistic逐步回归，和模拟退火算法三种变量选择方法进行了对比，得到了模拟退火算法要优于其他两种方法的结论。事实证明，将模拟退火算法这一局部搜索算法应用于特征选择，取得了良好的效果。 此外，决策树和Logistic回归不仅能作为变量选择方法，其本来的作用就是进行分类。模拟结果显示，支持向量机和Logistic逐步回归对于测试集具有相近的分类效果，但是决策树的表现不如这两者。这说明两种发病类别在某个空间内存在线性解，决策树的非线性解反而表现欠佳。 从实际意义来看，选择出的有关乳腺组织细胞核半径（max_rad）、面积（max_area）和周长（max_per）等特征变量，可以作为乳腺癌预后复发诊断的重要指标；采用以上选择出来的特征变量和分类器，应用于复发诊断将能明显地起到降低医疗成本的作用，同时在一定程度上降低诊断复杂度、缩短诊断时间、提升诊断精度；并且可以考虑将这种研究思路平行地应用到其他医学领域。 正如前文所说，类别的错误划分所带来的代价是不同的，因此可以引入损失函数或者代价矩阵来描述这种情况，将错判率乘以代价获得一个综合的指标；此外，本研究是基于小样本，二分类进行的研究，所提出的方法在应用于大样本或多分类数据时效果可能会有所改变，如何将变量选择方法推广到多分类的情况值得研究；最后，模拟退火变量选择基于一个较强的假设，即每次选出的最优变量组合在一起仍然是最优的，因此本文的处理方法是每次选出一个变量，通过多次模拟，挑选出出现频率最高的变量，由于变量之间可能存有错综复杂的关联性，因此如何将这种关联性考虑进入变量选择过程中，也是值得探讨的问题。 参考文献 [1] 王星. 非参数统计. 北京: 清华大学出版社, 2009. [2] 田英杰, 邓乃阳. 数据挖掘中的新方法-支持向量机. 北京: 科学出版社, 2004. [3] Alexandros Karatzoglou. Support Vector Machines in R. Journal of Statistical Software, April 2006, Volume 15, Issue 9. [4] J.C. Burges. A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery 1998, 2, 121-167,. [5] Sancho Salcedo-sanz,Mario Deprado-Dumplido. Feature Selection Methods Involving Support Vector Machines for Prediction of Insolvency in Non-life Insurance Companies. Intell. Sys. Acc. Fin. Mgmt. 2004, 12, 261–281,. [6] Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning. America: Springer-Verlag, 2001. � 数据来源：http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Prognostic%29 �本文数据分析采用开源的R软件，其中决策树用到rpart软件包，支持向量机用到e1071软件包，Logistic回归用到stats软件包的glm函数，模拟退火算法部分为自编函数。 _1298573030.unknown _1298579039.unknown _1298628504.unknown _1298632472.unknown _1298632573.unknown _1298632688.unknown _1299063049.unknown _1315774154.unknown _1298893692.unknown _1298632642.unknown _1298632488.unknown _1298629221.unknown _1298629252.unknown _1298628505.unknown _1298629120.unknown _1298579570.unknown _1298580199.unknown _1298628503.unknown _1298579854.unknown _1298580159.unknown _1298579656.unknown _1298579453.unknown _1298579469.unknown _1298579529.unknown _1298579391.unknown _1298577139.unknown _1298578292.unknown _1298578596.unknown _1298578605.unknown _1298578440.unknown _1298578146.unknown _1298578276.unknown _1298578057.unknown _1298575952.unknown _1298576359.unknown _1298577015.unknown _1298577104.unknown _1298577114.unknown _1298576719.unknown _1298575972.unknown _1298573557.unknown _1298574897.unknown _1298575951.unknown _1298574575.unknown _1298573114.unknown _1298573459.unknown _1298554465.unknown _1298572627.unknown _1298572733.unknown _1298572844.unknown _1298572703.unknown _1298572458.unknown _1298572580.unknown _1298572368.unknown _1297838266.unknown _1297838870.unknown _1297838925.unknown _1297839016.unknown _1297838479.unknown _1297837347.unknown _1297837380.unknown _1297837264.unknown