2-4-2數據分析-二維數據分析

全文

(1)4-2 二維數據分析【目標】首先能利用散布圖描繪出二維數據 X 與 Y ，以便觀察與理解 X 與 Y 的直線相關的關聯性強度；進而能利用 X 與 Y 的標準化數據求出 X 與 Y 的相關係數，並熟悉相關係數的操作﹐及相關係數的代數性質；再者，能理解最適合直線的意涵，並利用數據 X 與 Y 的相關係數 r ，求出 Y 對 X 的最適合直線，以便利用數據 X 的數值 x 預估對應的 y 值。【定義】 1. 散布圖：要了解兩個變數間是否有關，最直接的方法就是將 n 筆資料 ( xi , yi ), i  1,2,, n 畫在坐標平面上，所得圖形稱 y (應變數)對 x (自變數)的散佈圖。目的在於觀察 y (應變數)對 x (自變數)之間的相關性。有時資料很多或坐標不需要時，可以將之省略。 2. 樣本點：散布圖上的點，稱為樣本點。註：畫出散布圖的目的在於先觀察出資料之間是否有一些比較明顯的關係存在，若有我們想要找出一條直線來推測出這兩個變數之間的變動規律，以衡量這兩個變數的關聯性，並推測出它們之間的關聯程度。若無顯著的一致性關係時，不要硬要討論它們之間的關聯程度。【範例】班上 10 位同學的數學成績與物理成績如下表：數學成績 X 20 40 40 50 60 80 80 100 110 120 物理成績 Y 20 10 40 10 20 50 65 60 85 50 將兩個變數的數值資料數對畫在坐標平面上，以表明它們的分布情形，此即散布圖。. 物理成績. 散布圖 90 80 70 60 50 40 30 20 10 0 0. 10. 20. 30. 40. 50. 60. 70. 數學成績. 9. 80. 90 100 110 120.

(2) 【類型】 1. 正相關：. 2.. 負相關：. 無直線相關：. 完全正相關：. 無直線相關：. 完全負相關：. 無直線相關：. 【思考】 1. 如果知道一個變數的數值時，相應的另一變數的數值的變異範圍，可以用來測量兩變數之間的關係，範圍越大，兩變數的關係越模糊，也就是兩變數之間的關聯性很低，表示兩者由不同的因素決定，也就是一變數變動時，另一變數不一定跟著改變；範圍越小，兩變數的關係越明確，也就是兩變數之間的關聯性很高，表示兩者幾乎由同一因素決定，也就是一變數變動時，另一變數跟著改變。 2. 二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) ，都可以在 XY 平面上描畫出散布圖，圖中是一些不同的散布圖：. (a). (b). (c). (d). (e). 其中(a)﹐(b)都是左下右上的散布，表示 X 較大時， Y 有偏大的趨勢，但(a)中的關聯性較(b)顯著。又(c)﹐(d)都是左上右下的散布，表示 X 較大時， Y 有偏小的趨勢，而(c)中的關聯性較(d)顯著。至於(e)中點的散布，沒有明顯趨勢，表示 Y 與 X 的關聯性很低。. 10.

(3) 【說明】 1. 將兩組數據 X 與 Y ，利用數對 ( xi , yi ) ， i  1, 2, , n 繪入坐標平面上，以便顯示其相關程度與方向，稱為散布圖。散布圖中的各點(即樣本點)完全在一直線上或分布大致在一直線附近﹐則數據 X 與 Y 之間的相關為直線相關(相關也可以是曲線相關﹐即散布圖中的各點全部在一曲線上或分布大致在一曲線附近，本文只討論直線相關的情況)。直線相關的相關關係用來表現這些樣本點的變動規律，以衡量兩數據變動的一致性，來推測它們之間的相關程度，當兩數據之關聯很高，即表示一種數據變動時，另一種數據跟著改變，因此相關程度是了解數據之變動程度的一種方法。 2. 在生活中常要分析兩個變數 X 與 Y 之間的關係，若兩者之間存在正比或反比關係，並且在專業上可能存在聯繫，但不知兩者有無存在關係，這時要了解兩變數之間的密切程度﹑相關方向，可應用相關分析來解決。 3. 相關分析不能用來當作建立因果關係的解釋。【定義】相關： 1. 正相關：當一個變數的數值增加時，另一個變數的數值有增加的趨勢。 2. 負相關：當一個變數的數值增加時，另一個變數的數值有減少的趨勢。 3. 完全相關：兩個變數的散佈圖所有點都在一條斜的直線上。 4. 完全正相關：兩個變數的散佈圖所有點都在一條斜率為正的直線上（直線斜角小於 90 度）。 5. 完全負相關：兩個變數的散佈圖所有點都在一條斜率為負的直線上（直線斜角大於 90 度）。 6. 無關(零相關)：兩變數之間沒有關係的，例如呈現圓形分布，水平線，垂直線，扁平形，全部散開形。 7. 曲線相關：兩變數間的關係不是線性的，為二次形、雙曲線形、...等等。註：兩變數相關係數為零時，表示兩變數無直線相關而已，但可能有其他的曲線相關。. 11.

(4) 【思考】通常身高與體重會成正比，但是給你一組資料，應該如何來衡量這兩組資料間的關係呢？如何衡量相關程度的高低？可否由身高來預測體重大約多少？班上 10 位同學的數學成績與物理成績如下表：身高 X (公分) 155 157 163 165 168 169 172 175 178 185 168.7 體重 Y (公斤) 45 50 53 55 57 59 63 75 79 83 61.9 畫出散布圖：散布圖 100. 體重. 80 60. ( X ,Y ). 40 20 0 150. 160. 170. 180. 190. 身高. 通常我們會畫出平均值，並表於圖形上如上圖，兩直線交點處即為兩變數平均數之處，即坐標點為 ( X , Y )  (168.7,61.9) 之處。此時若把身高的單位變化成為公分後，重新畫出一個散布圖後，並表於圖形如下圖，兩直線交點處即為兩變數平均數之處，即坐標點為 ( X , Y )  (1680.7,61.9) 之處。散布圖 200. 體重. 150 100. 50 0 0. 500. 1000. 1500. 2000. 身高. 1.. 2. 3.. 你觀察同樣資料的兩個散布圖，你可能會覺得第二個散布圖中的資料比較集中，但實際上只是資料單位取的不同而已。所以我們希望有一個不受單位影響的統計量，來觀察兩個變數之間的相關性強弱。又若不同單位，會影響統計量的大小時，是否統計量越大就表示相關性越大，則不是很客觀的，故希望能將資料標準化，而不受單位的影響。在觀察相關時，我們也希望知道相關的正或負，所以上述畫出兩變數的平均線的目的，以就是希望能夠觀察出，兩變數之間是呈現正比或是反比，若資料散布於以 ( X , Y ) 當新原點，兩變數平均線當新坐標軸的第一象限或第三象限比較多時，我們大約可以知道是呈現正相關，若散布於第二象限或第四象線比較多時，我們大約可以知道是呈現負相關。. 12.

(5) 【目的】研究兩個變數的相關性，定義相關係數時，希望能有以下性質： 1. 相關性的方向：正相關或負相關。 2. 相關性強度。 3. 要與單位無關。 4. 強度的範圍希望在  1 之間。【定義】 1. 資料標準化：將資料標準化，化成平均數 0，標準差 1：變數 Y X xi yi 原始資料平均值標準差標準化資料. 2.. xi  X SX 0 1. xi ' . 平均值標準差相關係數(correlation coefficient)： n. n. r.  xi ' yi ' i 1. n. .  (x i 1. n. i.  X )( y i  Y ).  ( xi  X ) 2 i 1. Y SY. X SX. n. (y i 1. i.  Y )2. 13. yi ' . yi  Y SY 0 1.

(6) 【方法】 1. 最小平方法：二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) 中，可由散布圖約略得到 Y 與 X 的關聯性，這種關聯性的強度可以適當量化。首先，令 Xˆ , Yˆ 分別表示 X ， Y 的標準化數據，. X   X ˆ Y  Y 即 Xˆ  。 ,Y . X. Y. n. 其次定義二次函數 e(t )   ( yˆ k  txˆk ) 2 ， e(t ) 是變數 t 的函數， k 1. 它代表一種偏差值，以下我們要求 e(t ) 的最小值。 n. 2. n. 2. n. n. k 1. k 1. 2. 2. 將平方式展開，得 e(t )   ( x k t 2  2 x k y k t  y k )  (  x k )t 2  2(  x k y k )t   y k 。 k 1. k 1. 由於  Xˆ  Yˆ  0,  Xˆ   Yˆ  1 ，故. n 2 1 n 2 1 n 2 xˆk   ( xˆk   Xˆ ) 2   Xˆ  1 ，得  x k  n 。  k 1 n k 1 n k 1 n. 2. 同理，  y k  n ， k 1. n. n.  xk y k. k 1. n. 故 e(t )  nt 2  2(  x k y k )t  n  n(t  k 1 當 t  k 1. n. )2  n . n. n.  xk y k. k 1. n. n. (  x k y k )2 k 1. n. 。. n.  xk y k. 時， e(t ) 有最小值 e( k 1. n. n. (  x k y k )2. )n. n. (  x k y k )2 k 1. n. ，. n.  xk y k. 其中 k 1. n. 稱為數據 X 與 Y 的相關係數，記為 r ( X , Y ) ，. 不致混淆時，簡記為 r 。 n. 於是，函數 e(t ) 的最小值為 e(r )  n . (  x k y k )2 k 1. n. 由於 r  k 1. n. . x   X yk  Y 1  ) ( k n k 1  X Y n. n. .  ( xk   X )( yk  Y ). k 1. 1 1 2 2 n  ( xk   X )  ( yk  Y ) n k 1 n k 1 n.  n[1 . k 1. n2. ]  n(1  r 2 ) 。. n. n.  xk y k. n. (  x k y k )2.  ( xk   X )( yk  Y ). k 1. n X  Y. n.  ( xk   X )( yk  Y ). k 1. . n. n.  ( xk   X ). ，. n.  ( yk  Y ). 2. k 1. 2. k 1. n. 得 X 與 Y 的相關係數 r  r ( X , Y ) .  ( xk   X )( yk  Y ). k 1 n.  ( xk   X ). k 1. 14. 2. n.  ( yk  Y ). k 1. 。 2.

(7) 【定義】 1. 相關係數：為了表示數據 X 與 Y 的變動一致性的直線相關程度，我們用一條最適合這些樣本點 ( xi , yi ) (i  1, 2, , n) 的直線來表示兩數據之間的關係。首先，我們將數據 X 與 Y 標準化，得到標準化數據 ( xi , y i ) ， n. 然後找一條直線 Yˆ  a  bXˆ 使得 [ y i  (a  bxi )]2 有最小值， i 1. 這種方法就是最小平方法。 n. x y i. 當a  0，b . i 1 n. x. 2. i. n. ，其中  xi 2  n ， i 1. i. i 1. n. 即當 a  0 ， b . (x   i 1. i. X. )( yi  Y ). n X  Y. n. (x  . . n. i 1. i. X. n. (x   i. i 1. [ y. i. i 1. )( yi  Y ). 時，. n. X. ). ( y. 2. i 1. i.  Y ). 2.  (a  bxi )]2 有最小值，. 這表示：當數據 X 變動一個標準差時， Y 變動 b 個標準差，它用來表示兩數據的一致性。 n.  (x  . 為了表示一致性的程度，我們取 r . i 1. i. X. n.  (x   i. i 1. )( yi  Y ). ，. n. X. ). 2. ( y i 1. i.  Y ). 2. 稱 r 為 X 與 Y 的相關係數，並用 Yˆ  rXˆ 來表示最適合這 n 個點的直線。 n. 在課文中，我們定義函數 e(t )   ( y k  t x k )2 ， k 1. n. x y i. 則當 r . i 1. n. i. ， e(r ) 為 e(t ) 中的最小值， n. x y i. 此種說法就是(1)中， a  0 ， b . i 1 n. x i 1. n. 其中  xi 2  n 。 i 1. 15. 2 i. i. 的一種簡單的表達方式，.

(8) 【例題】 1. 有 10 名學生，其性向測驗與成就測驗的分數(滿分 10 分)如下：學生編號. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 性向測驗. 5. 7. 4. 5. 9. 3. 6. 9. 7. 5. 9. 7. 3. 成就測驗 8 6 7 6 10 5 9 求這 10 名學生性向測驗與成就測驗的相關係數。解：設性向測驗為 X  x1 , x2 , , x10 ，成就測驗 Y  y1 , y2 , 學生編號 X. Y. X  X. Y  Y. ( X   X )(Y  Y ). ( X   X )2 (Y  Y )2. 1. 5. 8. 1. 1. 1. 1. 1. 2. 7. 6. 1. 1. 1. 1. 1. 3. 4. 7. 2. 0. 4. 0. 0. 4. 5. 6. 1. 1. 1. 1. 1. 5. 9 10. 3. 3. 9. 9. 9. 6. 3. 5. 3. 2. 9. 4. 6. 7. 6. 9. 0. 2. 0. 4. 0. 8. 9. 9. 3. 2. 9. 4. 6. 9. 7. 7. 1. 0. 1. 0. 0. 10 總和. 5. 3. 1. 4. 1. 16. 4. 0. 0. 36. 40. 24. 60 70. 24 2 10    0.63 。 5 36 40 10. 故相關係數 r  2.. , y10 ，作表如下：. 某校高三 20 位同學參加數學與物理競試後，他們的成績 ( xi , yi ) ， i  1, 2, , 20 ( xi , yi 分別表示第 i 位同學數學與物理的成績)，經整理結果得： 20. 20. 20. 20. i 1. i 1. i 1. i 1. 20.  xi  160 ，  yi  160 ，  xi yi 1305 ，  xi 1302 ，  yi 1320 ，求： 2. 2. i 1. (1)這 20 位同學數學與物理成績的相關係數。 (2)若每個人數學成績加 2 分，物理成績減 1 分，則相關係數為何？解答： 20. 20. 1 20 2 1 ( xi )  1302  1602  22 ， 20 i 1 20 i 1 i 1 20 20 20 1 1 2 ( yi  Y )2   yi  ( yi )2  1320  1602  40 ，  20 i 1 20 i 1 i 1 20 20 20 20 1 1 ( xi   X )( yi  Y )   xi yi  ( xi )( yi )  1305   1602  25 ，  20 i 1 20 i 1 i 1 i 1 25 25   0.84 。所以，數學與物理成績的相關係數為 22 40 880. (1)  ( xi   X )2   xi 2 . (2)每個人數學成績加 2 分，物理成績減 1 分後， ( xi   X , yi  Y ) 不會改變， i  1, 2, , 20 ，所以，成績改變後的相關係數不變，其值仍為 0.84。. 16.

(9) 【性質】 1. 在二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), 若以常數 Y 代表 y1 , y2 , , yn ，則平均偏差（標準差）為. , ( xn , yn ) 中，. 1 n 2  ( yk  Y )   Y 。 n k 1. 假設 X , Y 的相關係數為 r ，令數據 Y   r  即 yk   r . Y ( xk   X )  Y , k  1, 2, X. Y ( X   X )  Y ， X. , n，. 若以 yk  代表 yk ，則平均偏差定為. 1 n 2  ( y k  yk  ) ， n k 1. 其中 Y ( x   X )  Y ]2 X k k 1 k 1 n x  X 2 2 y  Y   Y ( k r k ) Y X k 1 2. n. n.  ( yk  yk  )   [ yk  r . n.   Y 2  ( y k  r x k )2   Y 2e(r )  n(1  r 2 ) Y 2 ， k 1. 故以 yk  代表 yk 的平均偏差 1 n 1 2 2 2  n(1  r 2 ) Y  (1  r 2 ) Y  1  r 2  Y 。  ( yk  yk  )  n k 1 n. 又由 1  r  1 知 0  r 2  1 ，得 0  1  r 2  1 ，故 0  1  r 2  1 ，. 2.. 於是 0  1  r 2  Y   Y 。  因此以 yk   r  Y ( xk   X )  Y 代表 yk 比單純用 Y 代表 yk 更好， X 且 | r | 越接近 1 ，其平均偏差越小，代表性就越好。數據 X 與 Y 的相關係數 r 恆在 1 與 1 之間，即 1  r  1 恆成立。 n. 事實上，若欲使 e(t )   ( y k  t x k )2 有最小值時， k 1. n. x y i. t 也在. i 1 n. x. i. 時， e(t ) 之值最小，. 2 i. i 1. 因此，「 X 與 Y 」的相關係數與「 Y 與 X 」的相關係數是一樣的。. 17.

(10) 【性質】 1.. 如果在散布圖中以 x  x  X 及 y   y  Y 為新的橫軸與縱軸，即新原點為. ( X , Y ) ，則可依新坐標軸圖將圖形分成四個象限，對於第一象限或第三象限內的點 ( xi , yi ) 而言， ( xi  X )( yi  y) 的值為正；對於在第二象限或第四象限 n. 內的點 ( xi , yi ) 而言，( xi  X )( yi  y) 的值為負，當我們求出  ( xi  X )( yi  Y ) i 1. 的值時。 (1)若較大的 X 傾向伴隨較大的 Y ，且較小的 X 傾向伴隨較小的 Y ，則 n.  (x i 1. i.  X )( yi  Y ) 將是正的，即 xi 大於平均數 X 時， yi 也有大於平均數 Y 的. 趨勢； xi 小於平均數 X 時， yi 也有小於平均數 Y 的趨勢。表示 X 與 Y 兩變數的變動趨勢呈現正比關係，大部份資料分布在第一、第三象限，也就是會同時為增或同時為減，我們稱兩者為正相關。 (2)若較大的 X 傾向伴隨較小的 Y ，且較小的 X 傾向伴隨較大的 Y ，則 n.  (x i 1. 2. 3.. i.  X )( yi  Y ) 將是負的，即 xi 大於平均數 X 時， yi 有小於平均數 Y 的. 趨勢； xi 小於平均數 X 時， yi 有大於平均數 Y 的趨勢。表示 X 與 Y 兩變數的變動趨勢呈現反比關係，大部份資料分布在第二、第四象限，也就是會一增一減或一減一增，我們稱兩者為負相關。相關係數為正時，大部份資料分布在第一、第三象限，越靠近 y'  x' 直線時，相關性越強，否則越弱。相關係數大約是標準化資料 xi ' , yi ' 相乘後乘積的平均。 n. n. 4.. r.  x ' y ' ( i 1. i. i. . n. i 1. xi  X yi  Y )( ) 1 n SX SY   n i 1 n. ( xi  X )( yi  Y ). . n. i 1. . ( xi  X ) 2. n. i 1. n n. .  (x i 1. n.  (x i 1. i.  X )( y i  Y ).  X )2. n. (y i 1. n. i.  Y )2. .  x y  nXY i 1. n. i i. n. . ( xi  n X )( yi  nY ) i 1. 2. 2. 2. 2. S XY ， S X SY. i 1. n. 2. 6.. n. n. 1 1 ( xi  X )( yi  Y )   xi yi  X Y 稱 X , Y 的樣本互(共)變異數。  n i 1 n i 1 利用科西不等式可得相關係數的範圍位於  1 與 1 之間：其中 S XY . 5.. i. ( yi  Y ) 2.  n  n   n    ( xi  X ) 2   ( yi  Y ) 2     ( xi  X )( yi  Y )   i 1  i 1   i 1  2  r  1  1  r  1。相關係數與單位無關，即相關係數不因變數的單位與固定數的增減的改變而改變，其證明於下列性質。. 18.

(11) 7.. 平移伸縮對相關係數的影響： si  axi  b r , ac  0 試證明：若  。 , i  1,2,, n ，則 rST   XY  rXY , ac  0 t i  cy i  d n. rST .  si ' ti ' i 1. n. n. .  (s  S )(t  T ) i. n. n.  (s  S )  (t  T ) 2. i 1. n. . i. i 1.  ((ax i 1. i. i. i 1. 2. i.  b)  (a X  b))((cy i  d )  (cY  d )). n. n.  ((axi  b)  (a X  b)) 2  ((cy i  d )  (cY  d )) 2 i 1. i 1. n. . ac ( xi  X )( y i  Y ) i 1. n. n. i 1. i 1. a 2 c 2  ( xi  X ) 2  ( y i  Y ) 2. r , ac  0 ac rXY   XY  rXY | ac |  rXY , ac  0 故平移伸縮對於相關係數的絕對值不影響，只可能影響正負相關性。 (1) r  0 稱正相關； r  1 稱完全正相關。 (2) r  0 稱負相關； r  1 稱完全負相關。 (3) r  0 稱零相關或無相關，資料可能呈現很平均的散布狀態或在一水平或鉛直的直線上。當相關係數為零時，只能說兩變數缺乏機率上的線性關係，並未排除變數間有非線性的關係，即無相關並非不相關。 (4) | r | 1 時，所有資料幾乎都在一非水平或鉛直的直線上。 (1) r  1 時，稱完全負相關。 2 (2)  1  r   時，稱高度負相關。 3 2 1 (3)   r   時，稱中度負相關。 3 3 1 (4)   r  0 時，稱低度負相關。 3 (5) r  0 時，稱零相關。 1 (6) 0  r  時，稱低度正相關。 3 1 2 (7)  r  時，稱中度正相關。 3 3 2 (8)  r  1 時，稱高度正相關。 3 (9) r  1 時，稱完全正相關。 . 8.. 9.. 19.

(12) 10. 下列是八個散布圖，其中「正相關」的最適合直線的斜率為正數，「負相關」的最適合直線的斜率為負數。. (1)正相關. (2)負相關. (3)完全正相關. (4)完全負相關. (5)無直線相關 (6)無直線相關 (7)無直線相關 (8)無直線相關【問題】 1. 不同度量單位是否會影響到相關性強弱？ 2. 因為坐標選取不同而畫出同一組資料的不同散佈圖是否可能有不同的解讀？ 3. 資料散布在某一水平直線上或某一垂直直線上時是否稱完全相關？ 4. 標準差較大是否表示相關性比較小呢？ 5. 資料伸縮或平移是否影響相關性？ 6. 平移伸縮對於平均數之影響為何？ 7. 平移伸縮對於標準差之影響為何？ 8. 平移伸縮對於變異係數之影響為何？ 9. 平移伸縮對於相關係數之影響為何？ 10. 對 y  x 對稱變換對於相關係數之影響為何？ 11. 當兩變數呈現正相關時，是否表示此兩變數一定有實際上的解讀意義？. 20.

(13) 【思考】 1. 如下圖，於散布圖中，使用哪一條直線來形容此兩變數的關係比較好呢？. Y. 散布圖 15 14 13 12 11 10 9 8 7 6 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. X. 要找出此條心目中的理想直線時，要用何種標準去判斷，所取到的直線是好還是不好的，這就需要一種標準來決定誤差是大還是小。也希望處理誤差的過程當中，能夠有容易的代數方法來處理問題。 3. 如果散布圖顯示出兩個數量變數之間的直線相關，我們會希望在散布圖中取一條直線，來對兩變數的關係做一個描述。最小平方法就是一種找出這樣的直線之方法，找出來的直線稱為最佳直線(最適合直線)或迴歸直線，利用迴歸直線可以利用一個變數來解釋或預測另一個變數，條件是它們之間的關係是可以解釋或預測的。【定義】 1. 直線： 2.. y  a  bx. 2. 3.. 觀察值（實際資料值）： yi 擬合值（估計值）： yˆ i  a0  bxi. 4.. 殘差： ei  yi  yˆ i. 5.. 殘差平方和（越小越好）： n. n. n. i 1. i 1. i 1.  ei 2   ( yi  yˆ i ) 2   ( yi  (a  bxi ))2 6.. 標準化資料： ui . n n y Y xi  X ， vi  i ，則 ui  0, vi  0 SY SX i 1 i 1. . . 21.

(14) 【定義】 1. 最適合直線：設二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) 的相關係數為 r ，令線性函  數 f ( x)  r  Y ( x   X )  Y 。它在 xy 坐標平面上的函數圖形是直線 X  y  r  Y ( x   X )  Y ，此直線稱為 Y 對 X 的最適合直線（最適合直線的方程 X  式），也稱迴歸直線，可表為 y  Y  r  Y ( x   X ) ，這是直線的點斜式，該 X  直線過點 ( X , Y ) ，斜率為 r  Y （正負與 r 同）。 X 註： Yˆ  rXˆ 為最適合 n 個點 ( xi , yi ) ， i  1, 2, , n 的直線。因此，求最適合這 n 個點 ( xi , yi ) 的「 Y 對 X 」的直線方程式， Y'  Y  X  X 就是，即 y'  Y  r  Y  ( x   X ) 為 Y 對 X 的最適合直線。 r Y X X 【性質】 1. 一般而言，二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) 中，  以 f ( xk )  r  Y ( xk   X )  Y  yk  ，代表 yk 時， X 1 n 2 2  ( yk  yk  )  1  r  Y 。 n k 1 圖中表示 ( X , Y ) 的散布圖與 Y 對 X 的最適合直線。. 其平均偏差. 平均偏差. 1 n 2  ( yk  yk  ) 表示各點 ( xk , yk ) n k 1. 到最適合直線的平均鉛直距離偏差，當 | r | 越大(接近 1 )時， 1  r 2  Y 就越小，表示點 ( x1 , y1 ), ( x2 , y2 ), , ( xn , yn ) 集中在最適合直線附近， Y 與 X 的直線關係較強。. 2.. 反之， | r | 越小(接近 0 )時， 1  r 2  Y 就越大，表示點 ( x1 , y1 ), ( x2 , y2 ), , ( xn , yn ) 偏離最適合直線， Y 與 X 的直線關係較弱。抽樣時，樣本數據有 n 個數對 ( xi , yi ), i  1, 2, , n 時，利用最小平方法估計  0 , 1 ，使得 X  x 已知時，可推測 x 的估計值  ， n. 我們求 g ( 0 , 1 )  [ yi  (a  bxi )]2 的最小值。可得到最適合直線方程式為 i 1. Y   ( x   X ) ，其中 r  Y 為 Y 對 X 最適合直線的斜率。 X X Y 對 X 的最適合直線必過 X 與 Y 的平均數決定的點 ( X , Y ) ， X 對 Y 最適合直線也必過點 ( X , Y ) ，但兩直線的斜率可能相同，也可能不相同。 y  Y  r . 3.. 22.

(15) 【例題】 1. 圖中是幾個散布圖﹑最適合直線及相關係數的例子：. 2.. 在坐標平面上﹐已知三點 P1 (1, 3), P2 (2, 5) ﹐ P3 (3, 4) ﹐試找一直線 y  a  bx 使這三點到該直線的鉛直距離平方和最小﹐即求 a, b ﹐使 [3  (a  b)]2  [5  (a  2b)]2 [4  (a  3b)]2 之值最小﹒ 解答： [3  (a  b)]2  [5  (a  2b)]2  [4  (a  3b)]2  9  6(a  b)  (a  b)2  25  10(a  2b)  (a  2b) 2  16  8(a  3b)  ( a  3b) 2.  a2  2ab  b2  6a  6b  9  a2  4ab  4b2  10a  20b  25  a 2  6ab  9b2  8a 24b  16  3a2  12ab  14b2  24a  50b  50  3a2  (12b  24)a  14b2  50b  50  3[a  (2b  4)]2  14b2  50b  50  3(2b  4)2  3[a  (2b  4)]2  2b2  2b  2 1 3 3  3(a  2b  4)2  2(b  )2   ， 2 2 2 1 取 a, b 使 a  2b  4  0 且 b   0 ， 2 3 則所求最小值為， 2 1 1 故 a  3, b  ，即所求直線方程式為 y  3  x 。 2 2. 例中所求的直線就是以那些點為數據時， Y 對 X 的最適合直線，而題解中所用的方法稱為最小平方法。一般而言，二維數據 ( X , Y )  ( x1 , y1 ), ( x2 , y2 ), , ( xn , yn ) 時， Y 對 X 的最適合直線就是使點 P1 ( x1 , y1 ), P2 ( x2 , y2 ), , Pn ( xn , yn ) 到一直線 y  a  bx 鉛直距離平方和最小的直線，亦即使 [ y1  (a  bx1 )]2  [ y2  (a  bx2 )]2   [ yn  (a  bxn )]2 之值達到最小的直線 y  a  bx 。. 23.

(16) 【方法一】標準化資料後利用最小平方法(principle ofleast square)求 u  a  bv ：找 u  a  bv n. n. n. i 1. i 1. i 1. 得殘差  ei 2   (vi  vˆi ) 2   (vi  (a  bui ))2 最小即是求出最佳的 a, b 的估計值 (大學時可用微積分方法求之) n. . ei 2 . i 1. . n. . (vi  vˆi ) 2 . n. . (vi  (a  bui ))2 . i 1. i 1. n. n. n.  ((v i 1. n.  (vi  bui ) 2  2a (vi  bui )  na2   (v i 1. i. i 1. i 1. i.  bui )  a) 2.  bui ) 2  na 2. n. 則 a  0 且  (vi  bui ) 2 最小時，殘差平分和最小 i 1. 但 n. . (vi  bui ) 2 . i 1. n. n. n. i 1. i 1.  vi  2b ui vi b 2  ui 2. i 1. 2. 故 n. b. . ( xi  X ) ( y i  Y )  SX SY i 1 n. u i vi. i 1 n. .  ui. 2. i 1. n. . ( xi  X ) 2 SX. i 1. . i 1. nS X SY. n. . n.  ( x  X )( y  Y ) i 1.  (x i 1. n.  (x i 1. i. i. i. 1 2 nS X 2 SX. 2. n.  ( xi  X )( yi  Y ). . 1 S X SY.  X )( y i  Y ).  r 時有最小值. n.  X )  ( y i  Y ) 2. i. 2. i 1. 即標準化後資料的最佳直線為 v  ru 轉回原來資料故得  y Y   x  X     S   r S Y    X.    . 即 y Y r. SY S S ( x  X )  (r Y ) x  (Y  r Y X )  a  bx SX SX SX. 24.

(17) 【方法二】利用微積分方法求 y  a  bx ： n. n. n. i 1. i 1. i 1. 找 y  a  bx ，得殘差  ei 2   ( yi  yˆ i ) 2   ( yi  (a  bxi ))2 最小，即是求出最佳的 a, b 的估計值，設 n. n. n. i 1. i 1. i 1. f (a, b)   ei 2   ( yi  yˆ i ) 2   ( yi  (a  bxi ))2  f (a, b)  a  2 ( yi  (a  bxi ))  0  i 1  n  f (a, b)  2 x ( y  (a  bx ))  0  i i i  b i 1 n. n n n a  b X  Y  yi  a  b xi  0  n  i 1  i 1 i 1   xi 2 n n n   2 i 1  a X  b  xi yi a xi  b xi  0 n  i 1 i 1  i 1. . . . . . b. . n. n.  xi yi. i 1. n n.  xi. X Y. 2. i 1. n. X. 2. . . .  xi 2  n X i 1.  2. 即 y Y r. i 1. n.  ( xi  X ) 2 i 1. SY S X)r Y X ， SX SX. S S SY ( x  X )  (r Y ) x  (Y  r Y X ) ， SX SX SX.  y Y   x  X   r   S S Y    X. 即 . i 1.  ( xi  X )( yi  Y ). S 故 a  Y  bX  Y  r Y X ， SX. 最佳直線為 y  a  bx  (Y  r.  xi y i n. n. xi y i  n X Y. i 1 n. n.  。  . 25. . S XY SX. 2. r. SY SX.

(18) 【結論】若將資料標準化後，所求得的最佳直線之斜率即為相關係數。【問題】 1. 若變數 X 與 Y 的相關係數為零，是否最佳直線的斜率為零？ 2. 若最佳直線的斜率為零，是否將資料標準化後之最佳直線的斜率也為零？ 3. 若變數 X 與 Y 原先為直線關係(即相關係數為 1 或 0 )，是否將資料標準化後之最佳直線斜率只可能為 1 或 0 ？ 4. 若資料標準化後，兩變數呈現直線關係，問原本資料為何種關係？【定義】 1. 迴歸直線(最佳直線)(用於預測與估計)： y  a  bx 2. y 對 x 的迴歸式： n. S y  a  bx ，其中 b  r Y  SX.  (x i 1. i.  X )( y i  Y ) ， b  Y  aX 。. n.  (x i 1. i.  X). 2. 3. 預測值：給定 x  xh ，則 y 的預測值為 yˆ h  a  bxh 。【問題】最佳直線必定經過資料平均數 ( X , Y ) ？將資料標準化後，所求得的最佳直線必定經過原點？若二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) 的相關係數為 r ，最適合直  線 y  Y  r  Y ( x   X ) ，該直線必過點 ( X , Y ) 。若增加了 ( xn 1, yn 1 ) 後， X 試問： (1) X 的平均值變大、不變、變小？(2) Y 的平均值變大、不變、變小？ (3) X 的標準差變大、不變、變小？(4) Y 的標準差變大、不變、變小？ (5)相關係數變大、不變、變小？(6)最適合直線斜率變大、不變、變小？ 4. 若二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) 的相關係數為 r ，最適合直  線 y  Y  r  Y ( x   X ) ，該直線必過點 ( X , Y ) 。若增加了最適合直線上的 X 一點 ( xn 1, yn 1 ) 後，試問： (1) X 的平均值變大、不變、變小？(2) Y 的平均值變大、不變、變小？ (3) X 的標準差變大、不變、變小？(4) Y 的標準差變大、不變、變小？ (5)相關係數變大、不變、變小？(6)最適合直線斜率變大、不變、變小？【說明】 1. 2. 3.. 1.. 平均偏差. 1 n 1 n ( yk'  yk )2 的形式與標準差 ( yk  Y )2 相同，   n i 1 n i 1. 但它們的意義不同。平均偏差是由最適合直線上各 xk 的估計量 yk' 與數據中 yk 的差的平均，它的目的在判別最適合直線的代表性，也是判別兩變數 Y 與 X 的直線相關強度的指標。 n. 2.. 因為  ( yk'  yk )2  n(1  r 2 ) Y 2 ，故平均偏差 i 1. 26. 1 n  ( yk'  yk )2  1  r 2  Y 。 n i 1.

(19) 【說明】 1.. 加入迴歸直線上的一點 ( X , Y ) ，則 X , Y , r 不變，  X , Y 變小，最適合直線不變。加入迴歸直線上的一點 ( xn 1 , yn 1 )  ( X , Y ) ，. 2.. 則 X , Y , r , X , Y 都變了，最適合直線不變。證明：若二維數據 ( X , Y )  ( x1, y1 ), ( x2 , y2 ), , ( xn , yn ) ，最適合直線 y  a  bx ， n. 則 e(x)   ( yi  (a  bxi )) 2 有最小值， i 1. 若增加了迴歸直線上的一點 ( xn 1 , yn 1 )  ( X , Y ) 後， n. 則  ( yi  (a  bxi ))2  ( yn 1  (a  bxn 1 ))2 為最小值加上零， i 1. n. 一定比  ( yi  (a'b' xi ))2  ( yn 1  (a'bx'n 1 ))2 為更大值加上非負數更小， i 1. 故迴歸直線不變。. 27.

(20)