124
第7
章 利 用AdaBoost
元算法提高分 类性 能中 ，£»向量给第一个数据点0.5的权重。这就可以通过变量3 9 3 0 1 & 3 ^ ^ 的符号来了解总的类别。
第二次迭代之后，我们就会发现第一个数据点巳经正确分类了，但此时最后一个数据点却是错分 了。£>向量中的最后一个元素变成0.5，而乃向量中的其他值都变得非常小。最 后 ，第三次迭代之 后a g g C l a S S E S t所有值的符号和真实类别标签都完全吻合，那么训练错误率为0,程序就此退出。
为了观察也88丨『防 如 &>^的 值，键 人 ：
>>> c l a s s i f i e r A r r a y
[ { 'dim' : 0, 1i n e q ' ： 1 lt' , ' t h r e s h 1 : 1 . 3, 'a l p h a 1 : 0 . 6 9 3 1 4 7 1 8 0 5 5 9 9 4 529}, { 'dim' : 1, 1i n e q 1 : ' l t 1, 't h r e s h 1 : 1.0, 1a l p h a 1 ： 0 . 972 9 5 5 0 7 4 5 2 7 6 5 6 5}, { 1d i m 1 : 0,'i n e q ' : ' l t 1, 1 t h r e s h ' : 0 . 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 , 'a l p h a 1 :
0 . 8 9 5 8 7 9 7 3 4 6 1 4 0 2 7 2 6 } ]
该数组包含三部词典，其中包含了分类所需要的所有信息。此 时 ，一个分类器已经构建成功，
而且只要我们愿意，随时都可以将训练错误率降到0。那么测试错误率会如何呢？为了观察测试 错 误 率 ，我们需要编写分类的一些代码。下一节我们将讨论分类。
7 . 5 测试算法：基于八€ ^日00切的分类
一旦拥有了多个弱分类器以及其对应的&1!^值 ,进行测试就变得相当容易了。在程序清单7-2 的3(1战 0 0 比 化 七 灿 3 ( ) 中 ，我们实际巳经写完了大部分的代码。现 在 ，需要做的就只是将弱分 类器的训练过程从程序中抽出来，然后应用到某个具体的实例上去。每个弱分类器的结果以其对 应的&电1^值作为权重。所有这些弱分类器的结果加权求和就得到了最后的结果。在程序清单7-3 中列出了实现这一过程的所有代码。然 后 ，将下列代码添加到3£ ^ 00对孙中，就可以利用它基于 a da b o ostTrainDS ()中的弱分类器对数据进行分类。
丨 程 序 清 单 7 - 3 八 也 8 0 0 3汾 类 函 数
def a d a C l a s s i f y ( d a t T o C l a s s , c l a s s i f i e r A r r ) ： d a t a M a t r i x = m a t (datToClass)
m = s h a p e ( d a t a M a t r i x ) [0]
a g g C l a s s E s t = m a t ( z e r o s ( (m,1))) f o r i in r a n g e ( l e n ( c l a s s i f i e r A r r ) ) ：
c l a s s E s t = s t u m p C l a s s i f y ( d a t a M a t r i x , c l a s s i f i e r A r r [ i ] [ 1d i m 1] , \ c l a s s i f i e r A r r [ i ] [ 't h r e s h 1] , \
c l a s s i f i e r A r r [ i ] ['i n e q 1]) a g g C l a s s E s t += c l a s s i f i e r A r r [ i ] ['a l p h a 1] * c l a s s E s t p r i n t a g g C l a s s E s t
r e t u r n s i g n { a g g C l a s s E s t )
读者也许可以猜到，上述的8 6 &0 1 妨 & 巧 （）函数就是利用训练出的多个弱分类器进行分类 的函数。该函数的输人是由一个或者多个待分类样例3 & ^ 冗 1 3 %以 及多 个弱 分类 器组成 的数组 c l a s s i f i e r A r r 。函数&3301&351£乂（）首先将3 & 七0?001&33转换成了一个>^ « 的 ^ 阵 ，并且得 到3 & 七010 0 1 & 3 3 中的待分类样例的个数^ 然后构建一个0列向量3 9 9 0 1 3日3瓦3 七，这个列向量与 adaBoostTrainDS () 43½ ^ ^ — '样 。
接 下 来 ，遍历。1 & 331£16仏 1 ^ 中的所有弱分类器，并基于3 1 ^ 叩013331 £乂（>对每个分类器 得到一个类别的估计值。在前面构建单层决策树时，我们巳经见过了3 七挪? 0 1 3 3 3 1 £ 7 ( ) 函数，
7 . 6
示 例 ：在 一 个 难 数 据 集上 应 用八4380081 125
在 那 里 ，我 们 在 所 有 可 能 的 树 粧 值 上 进 行 迭 代 来 得 到 具 有 最 小 加 权 错 误 率 的 单 层 决 策 树 。而 这 里 我 们 只 是 简 单 地 应 用 了 单 层 决 策 树 。输 出 的 类 别 估 计 值 乘 上 该 单 层 决 策 树 的 a lpha权 重 然 后 累 加 到 a g g C l a s s E s t i , 就 完 成 了 这 一 过 程 。 上 述 程 序 中 加 人 了 一 条 ？4 址 语 句 ， 以 便 我 们 了 解 3 订9 0 1 3 3 3 £ 3 1 ；每 次 迭 代 后 的 变 化 结 果 。 最 后 ， 程 序 返 回 3 9 9 0 1 3 3 3 £ 3 1 的 符 号 ， 即 如 果 3 9 9 0 1 3 3 3 £ 3 1 ：大 于 0 则 返 回 + 1 , 而 如 果 小 于 0 则 返 回 - 1 。
我 们 再 看 看 实 际 中 的 运 行 效 果 。 加 人 程 序 清 单 7 - 3 中 的 代 码 之 后 ， 在 ? 5 ^ 如 提 示 符 下 输 人 ：
>>> r e l o a d (adaboost)
< m o d u l e 1a d a b o o s t ' f r o m ' a d a b o o s t . p y ' >
如 果 没 有 弱 分 类 器 数 组 ， 可 以 输 人 如 下 命 令 ：
>>> d a t A r r , l a b e l A r r = a d a b o o s t .l o a d S i m p D a t a ()
>>> c l a s s i f i e r A r r = a d a b o o s t . a d a B o o s t T r a i n D S ( d a t A r r , l a b e l A r r , 30) 于 是 ， 可 以 输 人 如 下 命 令 进 行 分 类 ：
>>> a d a b o o s t .a d a C l a s s i f y ([0, 0 ] , c l a s s i f i e r A r r ) [[-0.69 3 1 4 7 1 8 ] ]
[[-1.66 6 1 0 2 2 6 ] ] [[-2.56 1 9 8 1 9 9 ] ]
m a t r i x ([[-1.]]) ‘
可 以 发 现 ， 随 着 迭 代 的 进 行 ，数 据 点 [0，0]的 分 类 结 果 越 来 越 强 。 当 然 ，我 们 也 可 以 在 其 他 点 上 进 行 分 类 ：
>>> a d a b o o s t .a d a C l a s s i f y ([[5, 5 ],[ 0 , 0 ] ] , c l a s s i f i e r A r r ) t [ 0.6 9 3 1 4 7 1 8 ]
[-2•56198199]]
m a t r i x {[[ 1•],
[-1.]])
这两个点的分类结果也会随着迭代的进行而越来越强。在下一节中，我们会将该分类器应用 到一个规模更大、难度也更大的真实数据集中。
7 . 6 示例：在一个难数据集上应用八0^巳005丨
本节我们将在第4章给出的马疝病数据集上应用入加8 00对分类器。在第4章 ，我们曾经利用 匕叩^价回归来预测患有疝病的马是否能够存活。而在 本 节 ，我们则想要知道如果利用多个单层 决策树和人也8008櫳不能预测得更准。
j
示例：
.在一个难轉据集上的如辨妙
8 _取
•： ：
» , ; i - j;：
(1) 收集数据：提供的文本文件。
(2) 准备数据：确保类别标签是+1和-1而非1和0。 (3) 分析数据：手工检查数据。
(4) 训练 算法：在数据上，利用己<1己^303七1^ 己11^33()函数训练出一系列的分类器。