我们利用下面的代码来实现上述伪码。打开文本编辑器，将这些代码添加到
^ ^ ^ ^ ^
口^^文件 中 。该函 数使用了他《^
的一些函数，故 应确保将 卜€^)^1
啦1 ^ 0
比*
语句添加至1_^¥68.9^'
文件的最前面。4 . 5
使用卩7
^ < ^ 进 行 文 本 分 类61
>>> myVocabL ist = b a y e s .createVocabList(listOPosts) 至此我们构建了一个包含所有词的列表《
^^003
泣^
曰七。>>> p0V,pl V,p Ab =b ay es . trainNB0 (trainMat, listClasses)
62
第4
章 基 于 概 率 论 的 分 类 方 法 ：朴 素贝叶斯 接下来看这些变量的内部值：>>> pAb 0.5
这就是任意文档属于侮辱性文档的概率。
>>> p O V
a r r a y ( [ 0.04166667, 0.04166667, 0.04166667, 0.
0.04166667, 0. • 0.04166667, 0. • 0.04166667,
0.04166667, 0.125 ])
>>> plV
a r r a y ([ 0. , 0. , 0. , 0 . 0 5 2 6 3 1 5 8 , 0 . 0 5 2 6 3 1 5 8 ,
0. , 0.1 5 7 8 9 4 7 4, 0. , 0.05263158, 0. ,
0. , 0. ])
首 先 ，我们发现文档属于侮辱类的概率
1^3
为0.5,
该值是正确的。接 下 来 ，看一看在给定文 档类别条件下词汇表中单词的出现概率，看看是否正确。词汇表中的第一个词是0 ^ ,
其在类别0
中出现1
次 ，而在类别1
中从未出现。对应的条件概率分别为0.041 666 67
与0.0
。该计算是正确的。我们找找所有概率中的最大值，该值出现在？
(1)
数组第21
个下 标位置，大小为0.157 894 74
。在1^
乂0031^131
；的第26
个下标位置上可以查到该单词是81^
丨£1
。这意味着8 ^ ^ 4
是最能表征类别1
(侮 辱 性 文 档 类 ）的单词。使用该函数进行分类之前，还需解决函数中的一些缺陷。
4 . 5 . 3 测 试 算 法 ：根据现实情况修改分类器
利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概 率 ，即计算
…
、^
々( ' ^
々^ …
。如果其中一个概率值为0 ,
那么最后的乘积也为0
。为降低 这 种影 响 ，可以将所有词的出现数初始化为1
，并将分母初始化为2
。在文本编辑器中打开匕
3768^7
文 件, 并将& & 1 1 ^ ^ 0 ()
的第4
行和第5
行修改为：p O N u m = o n e s ( n u m W o r d s ) ； p l N u m = o n e s (numWords) p 0 D e n o m = 2.0 ； p l D e n o m = 2.0 、
另 一 个 遇 到 的 问 题 是 下 溢 出 ，这 是 由 于 太 多 很 小 的 数 相 乘 造 成 的 。 当 计 算 乘 积
p
(w0
1 c J p ( W j|
C i ) p ( w J C i ) . . . p ( W j , | c ^ 0 ^ j ' ,由于大部分因子者3
非 常 小 ，所以程序会下溢出或者 得到不正确的答案。（读者可以用? 5 ^ 011
尝试相乘许多很小的数，最后四舍五人后会得到0
。）一 种解决办法是对乘积取自然对数。在代数中有1 0 ( 3 % > = ln(a)+ln(b)
, 于是通过求对数可以 避免下溢出或者浮点数舍入导致的错误。同 时 ，采用自然对数进行处理不会有任何损失。图4-4
给出函数£(
幻 与1 1 ^ £
匕 ））的曲线。检查这两条曲线，就会发现它们在相同区域内同时增加或者 减 少 ，并且在相同点上取到极值。它们的取值虽然不同，但不影响最终结果。通过修政[6& ^
前的两行代码，将上述做法用到分类器中：plVect = l o g (plNum/plDenom) p0Vect = l o g (p0Num/p0Denom)
4.5
使 用 ？7^0111
进行文本分类63
图4 - 4 函数£ 4 >与1“ £ ( \ ) )会一块增大。这表明想求函数的最大值时，可以使用该
函数的自然对数来替换原函数进行求解
现在已经准备好构建完整的分类器了。当使用
> ^ 11^^
向量处理功能时,
这一切变得十分简单。打开文本编辑器，将下面的代码添加到
1>
吵^.?7
中 ： 程序清单4 - 3朴素贝叶斯分类_d e f c l a s s i f y N B { v e c 2 C l a s s i f y , pOVec, plVec, p C l a s s l ) :
p l =.s um ( v e c 2Classify * plVec) + l o g (pClassl) <~ n
p0 = s u m {vec2Classify * pOVec) + log(1.0 - pClassl) 办 元 素 相 乘 if p l > p0:
r e t u r n 1 e l s e ：
r e t u r n 0 d e f t e s t i n g N B ( ) ：
l i s t O P o s t s , l i s t C l a s s e s = l o a d D a t a S e t () m yVocabList = createVocabList(listOPosts) t r a i n M a t = []
f o r p o s t i n D o c i n l i s t O P o s t s ：
t r a i n M a t .a p p e n d ( s e t O f W o r d s 2 V e c ( m y V o c a b L i s t , p o s t i n D o c ) ) p O V , p l V , p A b = t r a i n N B 0 ( a r r a y ( t r a i n M a t ) , a r r a y { l i s t C l a s s e s ) ) t e s t E n t r y = [ 1 l o v e ', ' m y * , 1d a l m a t i o n ']
t h i s D o c = a r r a y ( s e t O f W o r d s 2 V e c ( m y V o c a b L i s t , t e s t E n t r y ) )
print t e s t E n t r y ；'classified as: 1,classifyNB(thisDoc,pOV,plV,pAb) t e s t E n t r y = [ 1 s t u p i d ', 1 g a r b a g e 1]
t h i s D o c = a r r a y { s e t O f W o r d s 2 V e c (my VocabList, t e s t E n t r y ) )
p r i n t testEritry, 1 c l a s s i f i e d as: ',c l a s s i f y N B ( t h i s D o c , p O V , p l V , p A b )
程序清单
4-3
的代码有4
个 输 人 ：要分类的向量7602013331£¥
以及使用函数匕&11^^0
( ) 计64
第4
章 基 于 概 率 论 的 分 类 方 法 ：朴素贝叶斯算得到的三个概率。使用
N u m P y
的数组来计算两个向量相乘的结果0
。这里的相乘是指对应元素 相 乘 ，即先将两个向量中的第1
个 元素相乘，然后将第2
个 元 素 相 乘 ，以此类推。接下来将词汇表 中所有词的对应值相加，然后将该值加到类别的对数概率上。最 后 ，比较类别的概率返回大概率 对应的类别标签。这一切不是很难，对吧 ？代码的第二个函数是一个便利函数（
00
爪^ 1 ^
加6 6 « ^ ^ ) ,
该函数封装所有操作，以节省输 人4.3.1
节中代码的时间。下面来看看实际结果。将程序清单
4-3
中的代码添加之后，在?
乂也(
奶提示符下输人：>>> reload{bayes)
<module 1b a y e s ' from ' ba ye s. py c1>
> > > b a y e s .t e s t i n g N B ()
[1l o v e1, 'my', 'd a l m a t i o n '] classified as: 0 [1 s t u p i d1, 1 garbage 1] classified as: 1
对文本做一些修改，看看分类器会输出什么结果。这个例子非常简单，但是它展示了朴素贝 叶斯分类器的工作原理。接 下 来 ，我们会对代码做些修改，使分类器工作得更好。
4 . 5 . 4 准 备 数 据 ：文档词袋模型
目前为止，我们将每个词的出现与否作为一个特征，这可以被描述为词集模型（
3
过-0£^(^18
model)
。如果一个词在文档中出现不止一次，这可能意味着包含该词是否出现在文档中所不能表达的某种信息，这 种 方法 被 称 为 词 袋 模 型 化
38-£^#0^801(^61)
。在 词 袋 中 ，每个单词可以出现 多 次 ，而 在 词 集 中 ，每个词只能出现一次。为适应 词 袋 模型 ，需要 对函数3 6 « ^
时0^32¥60(>
稍加 修 改 ，修改后的函数称为
1 ^ 0 [
时。^ 3 2
\^ 。（）。下面的程序清单给出了基于词袋模型的朴素贝叶斯代码。它与函数從匕
(^
时0=
乜 祝 扣 （）几乎 完全相 同 ，唯一不同的是每当遇到一个单词时，它会增加词向量中的对应值，而不只是将对应的 数值设为1
。程序清单4 - 4朴素贝叶斯词袋模型
def bagOfWords2VecMN(vocabList, i n p u t S e t ) : returnVec = [0]* l e n (vocabList)
for word in i n p u t S e t： if word in v o c a b L i s t：
r e t u r n V e c [vocabL is t.in d ex( w ord ) ] += 1 return returnVec
现在分类器巳经构建好了，下面我们将利用该分类器来过滤垃圾邮件。