使用误差中心基准最优化方式的支持向量机的快(2)
2016-01-06 01:07
导读:用于有大量训练组的支持向量机最优化问题的快速解决。 通过观察Fig.1(b),失去支持向量的状态或者在内或者在间隙的误差的一边。而且因为他们没有被包
用于有大量训练组的支持向量机最优化问题的快速解决。
通过观察Fig.1(b),失去支持向量的状态或者在内或者在间隙的误差的一边。而且因为他们没有被包括在最后的训练中,他们的匹配是零。KKT条件表明结合零的样本必须能被正确的分类并且要放在间隙的外测。通过这个得到启发,已经对中心基准最优化进行了修改。现在,通过分离那些符合KKT条件的样本,每一个群被分离成为了两个附属群并且这样被放在了外部或者是放在来自那些违反KKT条件的当前间隙和放在内部或者是放在当前间隙的误差的一边。一方面,如果在最初的至少一个群违反KKT条件的训练组有一些样本,他们将被分离。另一方面,程序要反复到在最初的违反KKT条件的训练组没有样本为止。因为KKT条件是解决最优化问题的必要充分条件,所以通过这个算法被找到的解决最优化问题的方法是能够保证的。另一方面,这个新的算法建立了利用一组群中点的支持向量机。这里,我们将违反KKT条件的样本指作间隙误差。为了在每次重复中进一步减少二次规划问题的数量,仅仅是需要将间隙误差的群被包括在支持向量机训练中。剩余的群是通过在先前的重复中找到的支持向量来描述的。此外,他还能通过一个大的二次规划问题在一系列小的二次规划附属问题中被解除的【10】来被证明。如果至少一个违反KKT条件的样本被加到先前附属问题的样本中,那么每一步将会简化所有的目标函数并且支持一个可施行的遵守所有条件的解决方法。因此,一个总是加在至少一个违反样本的二次规划附属问题的结果将会被保正会趋于一致。考虑到这个结果,为了确保它在目标函数中的绝对改进以及因此使之集中,则新的计算要将一个误差中心置于仅仅假设它违反了KKT条件的工作组。否则,在那个大多数违反KKT条件的群中的样本将会被置于就如它的群所描述的工作组。因为大多数工作组的样本误差群的中心(先前重复的支持向量必须是误差群的中心),这个新的算法被称为误差中心基准最优化算法(ECO)。ECO的执行步骤列在表1中。
本文来自中国科教评价网
Fig.1利用中心基准最优化算法找到两个可能的决定边界。那些点是确定的样本并且星状物是不确定的点。群的中心被绘制成一些大点。实线表示的是决定边界。在虚线中间的空间是间隙。在(b)中,在包含剩余支持向量的群中的样本被小框所标记。
表1 误差中心基准的最优化算法的执行步骤
给一个训练组S,将每一个S的模本看成是一个群
将工作组S初始化为这这两个群的中心
重复
在S上训练支持向量机
将S设置为支持向量
对于S的每个群
通过确认间隙误差,将最近的群分解成两个附属群, 也就是说,他们违反了KKT条件。如果误差群的中心违反了KKT条件,将中点加到S中。否则,将违反KKT条件的最坏点的样本加到S中。
直到没有新的间隙误差被找到。
S表示通过决定函数两个模本被分类的一个训练组。
S表示包括在附属支持训练中的样本组。
表示中心被定义成的S的第r个群。