机器学习 Linear Classifier

Machine learning 习题答案

授课人：周晓飞
zhouxiaofei@iie.ac.cn
题目：使用感知机算法，求决策函数，权重初始化为零向量。
数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
解：
将数据表示成增广向量的形式
{x1(1, 1 ， 1), x2(1, 2 ， 1), x3(2, 2 ， 1), x4(1, 0 ， 1) ，
x5(4, 5，1), x6(5, 6，1), x7(6, 7，1), x8(6, 6，1)}
w0=(0，0，0)
第一轮迭代：因为 0 1 = 0≯0 ，所以 w0 = w0 +x1 = (1, 1, 1)
T
w x

因为 0 2  0 ，所以权向量不变。
T
w x
因为 0 3  0 ，所以权向量不变。
T
w x
因为 0 4  0 ，所以权向量不变。
T
w x
因为 0 5  0 ，所以 w0 = w0 − x5 = (−3, − 4, 0)
T
w x
因为 0 6  0 ，所以权向量不变。
T
w x

因为 0 7  0 ，所以权向量不变。
T
w x

因为 0 8  0 ，所以权向量不变。
T
w x
w1 = (−3, − 4, 0)
第二轮迭代：因为 1 1  0 ，所以 w1 = w1 +x1 = (−2, − 3, 1)
T
w x
因为 1 2  0 ，所以 w1 = w1 +x2 = (−1, − 1, 2)
T
w x
因为 1 3  0 ，所以 w1 = w1 +x3 = (1, 1, 3)
T
w x
因为 1 4  0 ，所以权向量不变。
T
w x
因为 1 5  0 ，所以 w1 = w1 − x5 = (−3, − 4, 2)
T
w x
因为 1 6  0 ，所以权向量不变。
T
w x

因为 1 7  0 ，所以权向量不变。
T
w x

因为 1 8  0 ，所以权向量不变。
T
w x
w2 = (−3, − 4, 2)
第三轮迭代：因为 2 1  0 ，所以 w2 = w2 +x1 = (−2, − 3, 3)
T
w x
因为 2 2  0 ，所以 w2 = w2 +x2 = (−1, − 1, 4)
T
w x
因为 2 3 = 0≯0 ，所以 w2 = w2 +x3 = (1, 1, 5)
T
w x

因为 2 4  0 ，所以权向量不变。
T
w x
因为 2 5  0 ，所以 w2 = w2 − x5 = (−3, − 4, 4)
T
w x
因为 2 6  0 ，所以权向量不变。
T
w x

因为 2 7  0 ，所以权向量不变。
T
w x

因为 2 8  0 ，所以权向量不变。
T
w x
w3 = (−3, − 4, 4)
第四轮迭代：因为 3 1  0 ，所以 w3 = w3 +x1 = (−2, − 3, 5)
T
w x
因为 3 2  0 ，所以 w3 = w3 +x2 = (−1, − 1, 6)
T
w x
因为 3 3  0 ，所以权向量不变。
T
w x
因为 3 4  0 ，所以权向量不变。
T
w x
因为 3 5  0 ，所以权向量不变。
T
w x
因为 3 6  0 ，所以权向量不变。
T
w x

因为 3 7  0 ，所以权向量不变。
T
w x

因为 3 8  0 ，所以权向量不变。
T
w x
w4 = (−1, − 1, 6)
 经过计算， w4 = (−1, − 1, 6) 可以将所有样本分类正确，感知机算
法收敛。
决策函数为:
g ( x ) = − x1 − x2 + 6
当 g ( x )  0 时，判定为第一类样本；
当 g ( x )  0 时，判定为第二类样本。
题目：使用最小距离分离器，求决策函数。
数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
解：
类别均值作为原型向量：
1.25   5.25 
m1 =   m2 =  
 1.25   6 
决策准则：
h( x) = arg min || x − mi ||
ci
决策函数为:
g ( x) = wT x + b
 −4 
w = m1 − m2 =  
 −4.75 
1
b = − (m1 − m2 )T (m1 + m2 )=30.21875
2
决策函数为:
g ( x ) = −4 x1 − 4.75 x2 + 30.21875
当 g ( x )  0 时，判定为第一类样本；
当 g ( x )  0 时，判定为第二类样本。
题目：使用最小平方准则，求决策函数。
数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
解：
使用为逆矩阵法：
w=(XT X)−1XT y
1 1 2 1 4 5 6 6
X T = 1 2 2 0 5 6 7 6 
1 1 1 1 1 1 1 1 
yT = [1 1 1 1 − 1 − 1 − 1 − 1]
 120 135 26
X T X = 135 155 29
 26 29 8 
 0.4534 −0.3705 −0.1307 
( X T X )−1 =  −0.3705 0.3227 0.0341 
 −0.1307 0.0341 0.4261 

 −0.2159

w =  −0.2045 
 1.4432 
决策函数为:
g ( x ) = −0.2159 x1 − 0.2045 x2 + 1.4432
当 g ( x )  0 时，判定为第一类样本；
当 g ( x )  0 时，判定为第二类样本。
题目：完成 Logistic 模型的算法过程说明, 两分类问题。
数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
（1） 给出目标函数表达式以及参数更新公式。
（2） 给出迭代 1000 轮次后参数的值。
 p(1 | x )
ln = w0 + w1 x1 + w2 x2
解（1）： p(0 | x )

p(1 | x ) + p(0 | x ) = 1
推出：
 1 1
 p(0 | x ) = 1 + exp( g ( x )) = 1 + exp( w + w x + w x )
 0 1 1 2 2

 p( | x ) = 1 1
=
 1
1 + exp(− g ( x )) 1 + exp(−( w0 + w1 x1 + w2 x2 ))
目标函数为：
N1 N0
L( w ) = - ln( p(1 | xk(1) ))- ln( p(0 | xk(0) )) + C
k =1 k =1
4 4
1 1
= - ln( )- ln( )+C
k =1 1 + exp(− g ( xk )) k =1 1 + exp( g ( xk ))
(1) (0)
梯度为：
L  4 1 4
1 
=   (1 − )- (1 − ) w
w  k =1 1 + exp(− g ( xk )) k =1
(1)
1 + exp( g ( xk )) 
(0)

参数更新公式：
L
wn+1 = wn + 
w
解（2）：
使用梯度上升算法：
L
wn+1 = wn + 
w ，学习率设为 1，迭代 1000 轮，参数初始化为 0
向量解得：
w0 = 17.79
w1 = -1.57
w2 = -3.82
决策函数为：
g ( x ) = −1.57 x1 − 3.82 x2 + 17.79
当 g ( x )  0 时，判定为第一类样本；
当 g ( x )  0 时，判定为第二类样本。
题目：Fisher 鉴别分析求投影方向。
数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
解：第一类样本：{(1,1), (1,2), (2,2), (1,0)}
第二类样本：{(4,5), (5,6), (6,7), (6,6)}
1.25   5.25 
1 =   2 =  
1.25   6 
S w =  ( x − 1 )( x − 1 )T +  ( x − 2 )( x − 2 )T
xC1 xC2

 0.75 0.75   2.75 2   3.5 2.75 

= + = 
 0.75 2.75   2 2   2.75 4.75 
 −1  0.5241 −0.3034 
S = 
−
w
 0.3034 0.3862 
 −0.6551 
 = S ( 1 − 2 ) = 
−1

−
w
 0.6207 
两类投影中心：
u1 = T 1 = −1.595 u2 = T 2 = −7.164
第一类样本：{-1.276, -1.897, -2.552, -0.655}
第二类样本：{-5.724, -7, -8.276, -7.655}
决策函数为：
1
g ( x) = ω x − (u1 + u2 )
T

2
g ( x ) = −0.6551x1 − 0.6207 x2 + 4.379
当 g ( x )  0 时，判定为第一类样本；
当 g ( x )  0 时，判定为第二类样本。
总结：数据：正类 4 个样本{(1,1), (1,2), (2,2), (1,0)};
负类 4 个样本{(4,5), (5,6), (6,7), (6,6)};
各种线性分类器的决策函数如下：
线性分类器 决策函数
感知机 g ( x ) = − x1 − x2 + 6
最小距离分类器 g ( x ) = −4 x1 − 4.75 x2 + 30.21875
最小平方准则 g ( x ) = −0.2159 x1 − 0.2045 x2 + 1.4432
Logistic 鉴别 g ( x ) = −1.57 x1 − 3.82 x2 + 17.79
Fisher 鉴别 g ( x ) = −0.6551x1 − 0.6207 x2 + 4.379