實驗方法

此部份實驗會依據有沒有給予使用者查詢意圖描述，分為控制情況和非控制 情況。評估系統可將使用者所給定查詢關鍵字轉換成 SQL 查詢語句的能力及正確 性，以下分別介紹兩種不同情況的實驗方式。

<1> 查詢控制型

在控制型實驗的情境設定，我們會先提供使用者搜尋意圖描述，使用者在閱 讀該搜尋意圖後，再給定關鍵字進行查詢，以及說明查詢輸入格式，除了有提供 關鍵字之外，還提供 And 或 Or 等邏輯運算子以及欄位、運算子及常數的組合(例 如：year > 2012)。控制型關鍵字查詢問卷範例，如表 6.2 所示。此控制型部分的 實驗，每一個搜尋意圖會請五位受試使用者進行查詢，受試使用者會根據自己的 解讀，給定他認為使用能代表此搜尋意圖的查詢關鍵字，則所收集到的結果範例 如表 6.3 所示。

表 6.2 給予查詢意圖得知關鍵字查詢問卷範例

Query

搜尋意圖描述

George 在 2008 年之後擔任攝影師(cinematographer) 的電影，或 Julia Roberts 擔任女演員(actress)的在 2010 年之後的電影

關鍵字查詢 (Keyword Search)

表 6.3 使用者根據搜尋意圖描述給予查詢關鍵字之範例

Query

搜尋意圖描述

George 在 2008 年之後擔任攝影師(cinematographer) 的電影，或 Julia Roberts 擔任女演員(actress)的在 2010 年之後的電影

關鍵字查詢 (Keyword Search)

使用者 1 movie George cinematographer year > 2008 or Julia Roberts actress year > 2010

使用者 2 Movie cinematographer George after 2008 or actress Julia Roberts after 2010

使用者 3 George cinematographer movie 2008 or Julia Roberts actress movie 2010

使用者 4 George cinematographer 2008 movie or Julia Roberts actress movie 10 years ago

使用者 5 movie cinematographer George actress Julia Roberts

我們針對 IMDB 電影主題資料庫，提供了 8 個不同的搜尋意圖描述如附件 A 所示，每個搜尋意圖描述皆蒐集了 5 組查詢關鍵字，合計共 40 組查詢。而對 DBLP 論文資料庫則提供 10 個搜尋意圖描述，如附件 A 所示，每個搜尋意圖描述皆蒐

集了 5 組查詢關鍵字，合計共 50 組查詢。每一組查詢關鍵字轉換後產出的 SQL 查詢語句，由具有 SQL 知識背景的人員進行判斷是否與搜尋意圖描述相同。若相 同表示 SQL 轉換正確，反之認為兩者不同則視為轉換錯誤。而評估系統轉換 SQL 查詢語句正確率，是根據系統可正確將蒐集到的每一組查詢關鍵字轉換成正確的

SQL 查詢語句之查詢個數除以所蒐集到的查詢組數，如算式三所示。假設 T 為所 蒐集到的查詢組數，P 為正確地將查詢關鍵字轉換成的 SQL 查詢語句的查詢組數

Accuracy = P

T (算式三)

<2> 查詢未控制型

在查詢未控制型情境上的設定，我們只提供該資料庫的主題、資料庫內的屬 性欄位有哪些及基本意義為何，以及輸入格式的限定，如圖 6.3 所示。實驗會請 受試使用者任意輸入查詢關鍵字描述他想搜尋的資料之查詢條件，並且提供該查 詢對應的搜尋意圖描述，提供我們判定本系統轉換 SQL 查詢語句正確性之參考。

查詢未控制型關鍵字查詢問卷範例，如表 6.4 所示。表 6.5 顯示的所蒐集的查詢 關鍵字及所意指的搜尋意圖描述之範例。

表 6.4 關鍵字查詢問卷範例

Query

關鍵字查詢 (Keyword Search)

搜尋意圖描述

圖 6.3 輸入格式說明及參考資訊

表 6.5 任意給予關鍵字查詢及提供查詢意圖之問卷結果範例

查詢一

關鍵字查詢

(Keyword Search) Airplane or airport year > 2000

該搜尋意圖描述 西元 2000 年之後主題為飛機或機場相關的電影

查詢二

關鍵字查詢

(Keyword Search) Movie main actress Emma Watson 該搜尋意圖描述 Emma Watson 擔任女主角的電影 查詢三

關鍵字查詢

(Keyword Search) movie actor Denzel Washington touching moive

該搜尋意圖描述 丹佐華盛頓拍過那些感人的電影

查詢四

關鍵字查詢 (Keyword Search)

Movie Not everyone can become a great artist, but a great artist can come from anywhere

該搜尋意圖描述 出現“Not everyone can become a great artist, but a great artist can come from anywhere.”這句台詞的電影

查詢五

關鍵字查詢

(Keyword Search) Documentary Audrey Hepburn

該搜尋意圖描述 有關奧黛麗赫本的紀錄片

本部分實驗請多位使用者受試，根據 IMDB 電影主題資料庫，蒐集到總共 48 組查詢關鍵字，而 DBLP 論文資料庫蒐集到總共 40 組查詢關鍵字。對每一組查 詢關鍵字轉換後產出的 SQL 查詢語句，由具有 SQL 知識背景的人員進行判斷是 否與搜尋意圖描述相同。若相同表示 SQL 轉換正確，反之認為兩者不同則視為轉 換錯誤。評估系統轉換 SQL 查詢語句的正確率，也是採用算式三來計算。