07-人工智慧技術應用

(1)

Chapter 7

(2)

Case-based Reasoning

( 案例式推論 )



案例式推論解決問題的流程

:

1. 確認問題的狀態

2. 由過去案例中找尋相似的案例

3. 由相似的案例獲取經驗以解決目前的問題

4. 將目前的問題及解決的方法加入案例中

(3)



案例特徵

( 參數 ) 之訂定



案例特徵

( 參數 ) 權重之訂定



案例特徵

( 參數 ) 比對演算法之訂定

(4)

案例建制

案例調整

案例擷取

查詢模式

調整參數

新案例

重複案例

需求

結果

案例知識庫

查詢

適合的

案例

使用者

案例式推論運作流程

(5)

案例式推論實例

:

自動化郵件回覆客戶服務系統



以郵件進行客戶服務己成趨勢



現有的郵件客服有下列缺點



郵件回覆為人工進行



需要浪費人力回答重覆問題



無法保證即時回覆



目標

:



將傳統郵件回覆自動化



縮短客戶等待時間



提高客戶的滿意度



節省客服中心的人力應用

(6)

自動化郵件客服系統功能



自動辨識郵件目的及問題



搜尋最適合客戶的解決方案



即時產生回覆郵件



調查客戶滿意度



從雙方面調整資料庫

(7)

使用者

Mail

Server

問題分析

機制

詞庫

Q&A 資

料庫

解答機制

客服人員

介面

Q&A 儲存

機制

網

際

網

路

自動化郵件客服系統

架構

(8)

客服系統權重演算法



權重調整：



一名詞在所有集合中出現的頻率愈多，代表

此詞為一冗詞



一名詞在所屬集合中出現的頻率愈多，其他

集合中出現的頻率愈少，即有可能就是關鍵

詞

(9)

客服系統權重演算法

(cont.)

W

ij

=(

p

ij

–



n

ij

)/N

w

_ij

關鍵字

i 對在文章 j 的權重

N

取樣總篇數

p

_ij

關鍵字

i 在文章 j 出現的次數

n

ij

關鍵字

i 在文章 j 之外出現的次數

(10)

客服系統關鍵詞比對演算法



FAQ 關鍵詞比對：



比對客戶詢問問題與資料庫中的資料相似程

度



給予一個問題與資料庫中各筆資料介於

0 至

1 的分數，並找出分數最高的資料

(11)

Neural Networks ( 類神經網

路

)



1943 　 McCulloch 與 Pitts 首度提出正式的類神經計算單元。　



1949 　 Donald Hebb 提出第一個學習法則 ---Hebbian learning rule 。



1954 　 Minsky 首度建造類神經電腦並測試。　



1958 　 Frank Rosenblatt 發明感知機 (Perceptron)﹐ 可調整連接值。



1960 　 Bernard Widrow 與 Marcian Hoff 提出 Widrow-Hoff 學習法則　



1965 　 Nils Nilsson 綜合當代研究並提出學習機所受的限制。　



1972 　 Sun-Ichi Amari 提出有關臨界值的數學理論。



1982 　 Kohonen 研究非監督模式網路﹐建立陣列式神經元。　



1982 　 Stephen Grossberg 與 Gail Carpenter 研究調適性迴響網路。　

(12)



Advantages



prediction accuracy is generally high



robust, works when training examples contain errors



output may be discrete, real-valued, or a vector of

several discrete or real-valued attributes



fast evaluation of the learned target function



Criticism



long training time



difficult to understand the learned function (weights)



not easy to incorporate domain knowledge

(13)

A Neuron



The

n

-dimensional input vector

x

is mapped into variable

y

by

means of the scalar product and a nonlinear function mapping



_k

-f

weighted

sum

Input

vector x

output y

Activation

function

weight

vector w



w

₀

w

₁

w

_n

x

₀

x

₁

x

_n

(14)

Training a Neural Network



To obtain a set of weights that makes almost all

the tuples in the training data classified correctly



Steps



Initialize weights with random values



Feed the input tuples into the network one by one



For each unit



Compute the net input to the unit as a linear combination of

all the inputs to the unit



Compute the output value using the activation function



Compute the error

(15)

Back-Propagation Neural Network

( 倒傳遞類神經網路 )

1 2 3 n-1 n

x

Output Layer

Hidden Layer

Input Layer

1 2 3 m-1 m

y

1

W

V

₁₁ 11

z

V

q qn mq

W

z

n

(



)

f

(



q

)

f

(



)



1

(16)

範例－圖形辨識

Ａ

０１００１０１０１

Output Layer

Hidden Layer

Input Layer

1 2 3 m-1 m

y

1

W

V

₁₁ 11

z

V

q qn mq

W

z

Ａ

００１０１１１０１

Ｂ

＞０＞０＜０

(17)

倒傳遞類神經網路

演算法

Step 1: 以最小化能量函數的結果為目標，計算訓練資料輸入向量與目標輸出向

量之間的平均平方差（

Mean square error ）。

Step 2: 以下列公式調整修正權重值：

其中且



為學習率（

Learning ra

te ）。

Step 3: 以類似的方式調整修正門檻值。

Step 4: 重複 Step 1 到 Step 3 ，計算所有的訓練資料輸入向量。

Step 5: 利用測試資料測試以上訓練的網路，假如收斂，則停止；否則跳到 Step

ij ij ij

W







2 1

(

)

(

))

2

1 



( ) ( ) 





_im i i X

d

X

y

X

E

t t ij ij

W

E

W











(18)

Genetic Algorithm( 基因演算法 )



源自於 John Holland 在 1975 年出版的著作 Ad

aptation in Nature and Artificial Systems



仿效自然界生物進化過程



透過基因的選擇 (selection) 交換 (crossover) 及

突變 (mutation) 產生更好的下一代



選擇 (selection) 過程



較高合適值 (fitness value) 就有較大機會獲得保留



較低合適值的解答，可能會遭到淘汰



較不易陷入 local optimal

(19)



Population ( 族體 ):



Encoding ( 編碼 ):



Crossover ( 交配 ):



Mutation ( 突變 ):



Selection ( 適者生存 ):



Fitness Function ( 適合度公式 ):

Genetic Algorithm( 基因演算法 )

(20)

基因演算法交配運算

基因演算法突變運算

Crossover randomly selects one-cut-point and

exchanges the right parts of two parents to

generate offspring.

Mutation alters one or more genes with a

probability equal to the mutation rate.

(21)



多目標最佳化配題機制



從大量試題中，選取符合出題方向和條件的試

題，進行配置，組成最佳鑑別度試卷



指定測驗時間範圍的試題配置問題模型

(Dedicated Range of Assessment Time Problem-DRAT)



符合期望測驗時間最高界限和最低界限的多目標配

題機制。



固定題數的試題配置問題模型

(Fixed Number of Test Items Problem – FNTI)

(22)

指定測驗時間範圍的試題配置問題 (D

RAT)



DRAT 目標函式：

　　 Maximize Z =



DRAT 限制式：

X

i

= 0 or 1, i = 1, 2, …, n

　　



  n i i n i i i

x

d

1 1









n i 1

r

ij

x

i

h

j

,

j

1 ,

2 ,



,

m

;







n i 1

t

_i

x

_i

l

;







n i 1

t

_i

x

_i

u

;

(23)

DRAT 的試題配置基因演算法 (1

/5)



概念程度下限先決基因演算法

(Concept Lower-bound First Genetic approach – CLFG)



CLFG 的進行步驟

1. 建立母體 (Encoding)



X 為染色體，包含有 n 個基因



X = [x

₁

, x

₂

, …, x

_n

]

(24)





= w

 dtu  ipt_u



dtu =

DRAT 的試題配置基因演算法 (2/

5)

2. 適配等級 (Fitness ranking)



R = dc

 ipt



dc =





= w

 dtl  ipt_l



w = (



in

d

i

x

i

) / average(u, l)



dtl =



適配函數　 v(S

_k

) =











m j n i

r

_ij

x

_i

h

_j 1

(

1

)







n i i i

x

t

l

1







n i 1

t

_i

x

_i

u











n i n i i

x

d





R

(25)

DRAT 的試題配置基因演算法 (3

/5)

3. 物競天擇 (Selection)



計算各染色體的適配值

v(S

k

) ， k = 1,2, … , pop_size + offspring_size



加總所有染色體

S

_k

的適配值和選取機率

P

_k

= v(S

_k

) / V



計算各染色體 S

k

的累積選取機率



 



pop size offspring size k k

s

v

V

_ _ 1

(

)





k

q

(26)

DRAT 的試題配置基因演算法 (4

/5)

4. 交配 (Crossover)

　　　　　　 A[1110011001] 　　　　 A’[1110011

011 ]

　　　　　　 B[0100100011] 　　　

　

B’[0100100

001 ]

Procedure: crossover

Begin

k = 0

while (k ≤ c / 2) do

flag = 0

while flag = 0 do

Generate random numbers R

₁

and R

₂

from discrete interval

[1,K].

If R

₁

≠ R

₂

then flag=1

end while

(27)

DRAT 的試題配置基因演算法 (5/

5)

5. 突變 (Mutation)

　　 A[11100110

0 1] 　　　　 A’[11100110

1 1]

　

_{P = ( 1 / n )}

Procedure: mutation

Begin

for(i=1, i ≤ nk, i++){

Generate random number y

_i

from discrete interval [0, 1].

Mutation function(P,

y

_i

) }

End

(28)

固定題數的試題配置問題 (FNTI)



FNTI 目標函式：

　　 Maximize Z =



FNTI 限制式：

　　

x

₁

≥ 1

x

_i+1

> x

_{i ,}

1 ≤ i ≤ q_num – 1

　　



 num q i

d

xi _ 1







 num q i

r

xij

h

j

m

_ 1

,

1 ,

2 ,...,

(29)

FNTI 的試題配置基因演算法 (1/

5)



試題數目先決基因演算法

(Feasible Item First Genetic approach – FIFG)



FIFG 的進行步驟

1. 建立母體



X 為染色體，包含有 q_num 個基因



X = [x

₁

, x

₂

, …, x

_{q_num}

]

　

X = [25, 118, …., 803]



基因值代表著一題試題的編號

(30)

FNTI 的試題配置基因演算法 (2/5)

2. 適配等級 (Fitness ranking)



R = dc

 ipt



dc =



適配函數　 v(S

k

) =











m j n i x

h

r

ij 1

(

1

)





 n i 1

d

xi

R

(31)

FNTI 的試題配置基因演算法 (3/5)

3. 物競天擇 (Selection)



計算各染色體的適配值

v(S

k

) ， k = 1,2, … , pop_size + offspring_size



加總所有染色體

S

_k

的適配值和選取機率

P

_k

= v(S

_k

) / V



計算各染色體 S

k

的累積選取機率



 



pop size offspring size k k

s

v

V

_ _ 1

(

)





k

q

(32)

FNTI 的試題配置基因演算法 (4/5)

4. 交配 (Crossover)

　　 A[12,15, 96,112,193,243] 　　 A’[12,15,96

,185,256,356

]

　　 B[3,56,108,185,256,356] 　　 B’[3,56,108

,112,193,243

]



有兩相同基因值時，隨機更換其中一值，直到沒

有相同基因值為止



試卷中不可有二題相同的試題

Cut point

(33)

FNTI 的試題配置基因演算法 (5/

5)

5. 突變 (Mutation)

　

A[

3,8,56,66,

256 ,515

] 　　 A’[

3,8,56,66,

346 ,515

]

　

P = ( 1 / n )

Procedure: mutation

Begin

for (m = 1, m ≤ q_num  k, m++){

Generate random number r

_m

from discrete interval [0, 1]

Generate random number RC from discrete interval [1, n]

mutation function(P, r

_m

, RC) }

(34)

試題參數調整演算法



鑑別度



難度

)

(

X

_max

X

_min

N

S

D

H L





)

(

2 )

2 (

min max min

X

N

X

N

S

P

H L











(35)

實驗題庫樣本資料



每一個情況進行二十次實驗處理後，採用平均求解時間和平均

鑑別度建立

實驗樣本

Item

Bank

N

Loading time

(second)

Discrimination

Average

1

25

5.067 0.63267

2

30

5.308 0.65331

3

40

5.217 0.66602

4

250

8.522 0.60985

5

500

8.703 0.60920

6 1000

13.599 0.61208

7 2000

28.361 0.61339

(36)

CLFG 實驗結果及分析 (1/3)

l = 30

N

CLFG

Random Selection

Optimum Solution

Time(sec

)

Discrimination

Time(sec)

Discrimination Time(min) Discrimination

25 0.13275

0.754664

0.03 0.63704

5 0.754664

30 0.14265

0.818120

0.03 0.69388

187 0.818120

40 0.27880

0.880276

0.03 0.64978

163840

0.881440

250 0.96815

0.943386

0.03 0.54248

>10

6

_N/A

500 1.98875

0.952377

0.03 0.60500

N/A

1000

3.75490

0.957359

0.03 0.69753

N/A

2000

7.96650

0.956658

0.03 0.54342

N/A

4000

23.89610

0.957550

0.03 0.48540

N/A

(37)

CLFG 實驗結果及分析 (2/3)

l = 60

N

_{Time(sec) Discrimination}

CLFG

_Time(sec)

Random Selection

_{Discrimination Time(min) Discrimination}

Optimum Solution

30 0.13210

0.707622

0.03 0.64321

187 0.707622

40 0.22985

0.806201

0.03 0.63240

163840

0.806390

250 1.64565

0.924587

0.03 0.62150

>10

6

_N/A

500 2.85260

0.942419

0.03 0.55859

N/A

1000

4.36935

0.950709

0.03 0.63284

N/A

2000

10.12005

0.952650

0.03 0.60746

N/A

4000

27.90960

0.954701

0.03 0.62240

N/A

(38)

CLFG 實驗結果及分析 (3/3)

l = 120

N

CLFG

Random Selection

Optimum Solution

Time(sec

)

Discrimination

Time(sec)

Discrimination

Time(min)

Discrimination

250 2.93420

0.896015

0.03 0.59964

>10

6

_N/A

500 4.01775

0.927922

0.03 0.66515

N/A

1000

6.37270

0.940930

0.03 0.62918

N/A

2000

14.80980

0.944458

0.03 0.59838

N/A

4000

35.31320

0.947673

0.03 0.61402

N/A

(39)

CLFG 與最佳解的實驗數據圖表 (1/

2)

l =

(40)

CLFG 與最佳解的實驗數據圖表 (2/

2)

l =

(41)