國
立
交
通
大
學
資訊學院 資訊學程
碩
碩
碩
碩
士
士
士
士
論
論
論
論
文
文
文
文
以多媒體劇情輸入方式之中文成語檢索系統之研究
The Study of Chinese Idiom Search System Using Multimedia
Scenarios as Input
研 究 生：張宏茂
指導教授：陳登吉 教授
中
中
中
中 華
華 民
華
華
民
民 國
民
國
國 一
國
一
一 Ο
一
Ο 二
Ο
Ο
二
二
二 年
年
年
年 八
八
八
八 月
月
月
月
以多媒體劇情輸入方式之中文成語檢索系統之研究
The Study of Chinese Idiom Search System Using Multimedia
Scenarios as Input
研 究 生：張宏茂 Student：Hung-Mao Chang
指導教授：陳登吉 Advisor：Dr. Deng-Jyi Chen
國 立 交 通 大 學
資訊學院 資訊學程
碩 士 論 文
A Thesis
Submitted to College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master of Science
in
Computer Science August 2013
Hsinchu, Taiwan, Republic of China
i
以多媒體劇情輸入方式之中文成語檢索系統之研究
以多媒體劇情輸入方式之中文成語檢索系統之研究
以多媒體劇情輸入方式之中文成語檢索系統之研究
以多媒體劇情輸入方式之中文成語檢索系統之研究
學生：張宏茂
指導教授
：陳登吉 教授
國 立 交 通 大 學 資 訊 學 院 資 訊 學 程 碩 士 班
摘
摘
摘
摘 要
要
要
要
隨著資訊檢索技術的進步及廣泛應用在各領域上，在語文學習上的應用已經由紙本 形式，歷經單機軟體查詢方式，逐漸演進成網路查詢的型態，除了能快速的取得各種新 的資訊及解釋外，更能實現無所不在的學習環境。然而，隨著行動裝置快速的普及，傳 統使用鍵盤輸入的查詢方式，在行動裝置上顯得相對的不便。傳統的文字成語檢索系 統，使用者需先牢記成語的正確寫法，才能順利進行查詢。雖然部分研究提出關聯式檢 索的技術，但是對於難以使用文字表達的情境則顯得幫助有限。因此，本研究擬提出視 覺化劇情成語檢索系統，使用圖像式操作介面，透過圖片及劇情編輯為搜尋關鍵進行成 語檢索，提供一種更直覺、更自然的輸入方式，來解決成語檢索的困難。 利用圖像易於拖拉放的操作特性，輸入視覺化元件進行成語的檢索，讓使用者能輕 鬆的使用手機及平板電腦等各式可攜帶手持裝置進行操作，解決成語學習於行動裝置上 的缺陷。除了利用圖像進行簡單的檢索功能外，也能讓使用者使用拖拉圖像的方式來進 行劇情的編輯，並將編輯的劇情自動的轉換成檢索的關鍵字詞。透過劇情編輯的操作， 更能幫助學生從中了解成語的意境及內涵，利用做中學的理論特性，幫助並加強學生對 於成語的了解與記憶。 本研究也設計了學習成效、認知負荷及軟體使用性的相關實驗，結果顯示，應用視 覺化劇情成語檢索系統於國小學生的成語自我學習上，與使用傳統文字檢索有相同的學 習成效。於認知負荷的分析上，我們發現，透過視覺化劇情成語檢索系統能幫助減輕學 生學習的壓力，並能幫助成語的記憶。在使用者的軟體使用性的評估上，結果呈現著使 用較便利、願意經常性使用及介面設計便於閱讀等正面的回饋。 關鍵字：多媒體、視覺化劇情、劇情重用、圖像提示、資訊檢索、成語查詢、成語 檢索、關鍵詞、同義詞ii
The Study of Chinese Idiom Search System Using Multimedia
Scenarios as Input
Student：
Hung-Mao ChangAdvisors：Dr. Deng-Jyi Chen
Degree Program of Computer Science
National Chiao Tung University
ABSTRACT
With the advances in information retrieval technology and widely used in learning fields, in addition to quickly obtaining a variety of new knowledge and explanations, the better to achieve ubiquitous learning environment, it has been reported by researchers in the language learning applications, through stand-alone software query, and gradually evolved into a network query patterns. However, it is relatively inconvenience on mobile devices while using the traditional way by the keypad to enter a query with the mobile devices. The users must remember correct wording of idioms in order to successfully carry out inquiries in traditional text idiom search system. Although some studies propose associative search techniques, it may sometimes limited to the difficultly to use appropriate words to express the situation. Therefore, this study intends to make idiom search system of using visual scenario as input. By using graphical user interface, through pictures and story editor as the search key to proceed idiom search for providing a more intuitive, more natural input methods, to solve the idiom search difficulties.
Using the benefit of graphical dragging, pulling, setting free easily, inputting visual components idiom search, allowing users to easily use mobile phones and tablet computers and other kinds of portable handheld devices in operation to solve learning idioms flaws on mobile ones. Not only using simple image search function, but also allowing users to use ways of dragging and dropping graphics to proceed the editor of scenario and scenario of editor automatically for being converted into searchable keywords. Through the operation of scenario editing will help the students learn about the mood and meaning of idioms, assist and enhance students' understanding and memory for idioms, using theoretical characteristics by learning in progress.
The study also designed related experiments of learning achievement, cognitive load and software usability for future investigation. The results showed that the learning achievement of using visual scenario search system for elementary school students on idiom self-learning is the same as the traditional text search one. In the analysis of cognitive load, we found it can help alleviate the pressure of students' learning through idiom search system of visual scenario, and can help memorize idiom for them well. In the user's software usability evaluation whose results show such positive feedbacks as using more conveniently, using more often willingly and reading more easily for interface design.
Key words: Multimedia, Visual Scenario, Reusable Component, Image Prompting, Information Retrieval, Idiom Search System, Idiom Retrieval System, Synonyms
iii
誌
誌
誌
誌 謝
謝
謝
謝
由衷感謝指導老師陳登吉教授，在學生的論文研究上盡心盡力的指導，教授指導過 程中，學生不僅學到老師的專業知識、生活經驗，更讓學生學到很多處理事務的積極態 度和有效方法。 特別感謝孔崇旭教授在學生論文撰寫及口試準備期間，花費相當多的精神與時間， 每週奔波往返於台中新竹間，指導學生的論文內容能夠更加充實且更具專業性、實用 性，更引導學生能夠自己懂得抓住方向及重點去思考去突破。還有感謝口試委員曾建超 教授、林祝興教授和黃世昆教授在論文口試時，提出學生論文研究中許多未注意到的問 題點並給予寶貴指導和建議，讓論文研究內容更加充實和完整。 在論文研究的這段期間，感謝實驗室子逸學長、鎮宇學長和瑞斌學長，在論文研究 上給予詳細說明和指導。感謝實驗室同學品宏及佑安，常常需要他們的幫忙和協助。感 謝專班同學智華、世耀的互相鼓勵和協助。在此更感謝專班同學智傑一起協助實驗的進 行，及感謝實驗室學弟予恆，協助我整合軟體，並在我低落徬徨時，陪我一起度過。 在職專班求學過程中，感謝公司主管在工作上的指導，感謝同事在工作上的協助和 鼓勵。更要感謝父母全力支持我完成學業及感謝我的老婆惠敏盡心照顧好家庭，讓我可 以在學業、工作和家庭多頭忙的時候，能夠無後顧之憂的順利完成此論文研究。 張宏茂 謹誌 民國一 Ο 二年一月iv
目
目
目
目 錄
錄
錄
錄
摘要 摘要 摘要 摘要 ...i ABSTRACT ...ii 誌謝 誌謝 誌謝 誌謝 ...iii 目錄 目錄 目錄 目錄 ...iv 表目錄 表目錄 表目錄 表目錄 ...vi 圖目錄 圖目錄 圖目錄 圖目錄 ...vii 一 一 一 一、、、、緒論緒論緒論緒論 ...1 1.1 研究動機研究動機研究動機研究動機 ...1 1.1.1 現有成語檢索系統的檢索方式現有成語檢索系統的檢索方式現有成語檢索系統的檢索方式現有成語檢索系統的檢索方式 ...1 1.1.2 使用使用使用使用「「「「文字輸入文字輸入文字輸入文字輸入」」」檢索成語的缺點」檢索成語的缺點檢索成語的缺點 ...2 檢索成語的缺點 1.1.3 使用使用使用使用「「「「多媒體輸入多媒體輸入多媒體輸入多媒體輸入」」」檢索成語的優點」檢索成語的優點檢索成語的優點 ...2 檢索成語的優點 1.2 研究目的研究目的研究目的研究目的 ...3 1.3 章節概要章節概要章節概要章節概要 ...4 二 二 二 二、、、、相關研究相關研究相關研究相關研究 ...5 2.1 傳統文字輸入傳統文字輸入傳統文字輸入傳統文字輸入 ...5 2.2 圖像檢索圖像檢索圖像檢索圖像檢索 ...6 2.3 中文成語檢索的相關系統研究中文成語檢索的相關系統研究中文成語檢索的相關系統研究中文成語檢索的相關系統研究 ...7 2.3.1 教育部教育部教育部教育部《《《《成語典成語典成語典》成語典》》成語檢索系統》成語檢索系統成語檢索系統 ...7 成語檢索系統 2.3.2《《《《漢典漢典漢典漢典》》》》成語檢索系統成語檢索系統成語檢索系統成語檢索系統 ...8 2.3.3 以成語涵義為基礎之中文成語檢索系統以成語涵義為基礎之中文成語檢索系統以成語涵義為基礎之中文成語檢索系統以成語涵義為基礎之中文成語檢索系統 ...8 2.3.4 以情境式為導向之資訊檢以情境式為導向之資訊檢以情境式為導向之資訊檢以情境式為導向之資訊檢索索索索－－－－以軍事歷史與成語為例以軍事歷史與成語為例以軍事歷史與成語為例以軍事歷史與成語為例 ...9 2.3.5 一種基於本體的中國成語檢索系統一種基於本體的中國成語檢索系統一種基於本體的中國成語檢索系統一種基於本體的中國成語檢索系統 ...10 2.3.6 基於語義的成語檢索系統研究基於語義的成語檢索系統研究基於語義的成語檢索系統研究基於語義的成語檢索系統研究 ...10 2.3.7 基於成語典故本體的語義檢索模型研究基於成語典故本體的語義檢索模型研究基於成語典故本體的語義檢索模型研究基於成語典故本體的語義檢索模型研究 ...10 2.4 認知負荷及人機介面使用性認知負荷及人機介面使用性認知負荷及人機介面使用性認知負荷及人機介面使用性、、、、接受度探討接受度探討接受度探討接受度探討 ...11 2.4.1 認知負荷探討認知負荷探討認知負荷探討認知負荷探討 ...11 2.4.2 人機介面使用性人機介面使用性人機介面使用性人機介面使用性、、、、接受度探討接受度探討接受度探討接受度探討 ...12 三 三 三 三、、、、系統設計系統設計系統設計系統設計 ...13 3.1 視覺化劇情編輯介紹視覺化劇情編輯介紹視覺化劇情編輯介紹視覺化劇情編輯介紹 ...13 3.1.1 可重用元件的組可重用元件的組可重用元件的組可重用元件的組成成成 ...13 成 3.1.2 支援的功能與腳本支援的功能與腳本支援的功能與腳本支援的功能與腳本 ...14 3.1.3 可重用可重用可重用可重用視覺化元件的設計與實作視覺化元件的設計與實作視覺化元件的設計與實作視覺化元件的設計與實作 ...15 3.2 系統設計架構系統設計架構系統設計架構系統設計架構 ...18 3.2.1 系統開發思考及建置流程系統開發思考及建置流程系統開發思考及建置流程系統開發思考及建置流程 ...18 3.2.2 系統架構系統架構系統架構系統架構 ...19v 3.2.3 劇情編輯劇情編輯劇情編輯劇情編輯、、、播放與成語檢索、播放與成語檢索播放與成語檢索 ...21 播放與成語檢索 四 四 四 四、、、、視覺化劇情成語檢索之辭庫建立視覺化劇情成語檢索之辭庫建立視覺化劇情成語檢索之辭庫建立視覺化劇情成語檢索之辭庫建立 ...24 4.1 本研究使用資料來源本研究使用資料來源本研究使用資料來源本研究使用資料來源 ...24 4.1.1 成語資料庫來源成語資料庫來源成語資料庫來源成語資料庫來源 ...24 4.1.2 常用詞彙來源常用詞彙來源常用詞彙來源常用詞彙來源 ...25 4.1.3 圖檔的建立與產生關鍵詞圖檔的建立與產生關鍵詞圖檔的建立與產生關鍵詞圖檔的建立與產生關鍵詞 ...29 4.1.4 同義詞的建立同義詞的建立同義詞的建立同義詞的建立 ...30 4.2 系統展示系統展示系統展示系統展示 ...31 4.2.1 演員選擇演員選擇演員選擇演員選擇 ...31 4.2.2 劇情編輯劇情編輯劇情編輯劇情編輯 ...32 4.2.3 劇情播放劇情播放劇情播放劇情播放 ...34 4.2.4 成語查詢成語查詢成語查詢成語查詢 ...34 五 五 五 五、、、、實驗設計與研究結果實驗設計與研究結果實驗設計與研究結果實驗設計與研究結果 ...36 5.1 研究流程與架構研究流程與架構研究流程與架構研究流程與架構 ...36 5.1.1 研究流程研究流程研究流程研究流程 ...36 5.1.2 研究架構研究架構研究架構研究架構 ...37 5.2 研究設計研究設計研究設計研究設計 ...37 5.2.1 實驗步驟實驗步驟實驗步驟實驗步驟 ...37 5.2.2 實驗設計實驗設計實驗設計實驗設計 ...38 5.2.3 實驗對象實驗對象實驗對象實驗對象 ...39 5.2.4 資料處理資料處理資料處理資料處理 ...40 5.3 研究工具研究工具研究工具研究工具 ...40 5.4 研究結果研究結果研究結果研究結果 ...41 5.4.1 文字查詢與視覺化劇情查詢的學習文字查詢與視覺化劇情查詢的學習文字查詢與視覺化劇情查詢的學習文字查詢與視覺化劇情查詢的學習成效分析成效分析成效分析 ...41 成效分析 5.4.2 視覺化劇情查詢系統與傳統文字查詢的認知負荷分析視覺化劇情查詢系統與傳統文字查詢的認知負荷分析視覺化劇情查詢系統與傳統文字查詢的認知負荷分析視覺化劇情查詢系統與傳統文字查詢的認知負荷分析 ...42 5.4.3 比較視覺化劇情查詢系統與傳統文字查詢的使用性比較視覺化劇情查詢系統與傳統文字查詢的使用性比較視覺化劇情查詢系統與傳統文字查詢的使用性比較視覺化劇情查詢系統與傳統文字查詢的使用性 ...44 六 六 六 六、、、、未來展望未來展望未來展望未來展望 ...45 6.1 結論結論結論結論 ...45 6.2 未來展望未來展望未來展望未來展望 ...45 參考文獻 參考文獻 參考文獻 參考文獻 ...47 附錄一 附錄一 附錄一 附錄一 本研究之詞類統計本研究之詞類統計本研究之詞類統計本研究之詞類統計 ...50 附錄二 附錄二 附錄二 附錄二 本研究之常用成語本研究之常用成語本研究之常用成語本研究之常用成語 ...53
vi
表目錄
表目錄
表目錄
表目錄
表 1 語法定義說明表...14 表 2 分類成語詞典 17 類...24 表 3 建立成語資料庫...25 表 4 依成語 17 類分析統計所產生的詞彙量...26 表 5 八大詞類標記...26 表 6 中研院平衡語料庫詞類標記集...27 表 7 每一類成語的詞彙量統計與合併後結果...29 表 8 實用漢語分類詞典 17 類...29 表 9 詞彙同義詞例子...31 表 10 實驗分組統計量...40 表 11 組別統計量...41 表 12 K5 上學期國文總成績獨立樣本檢定...41 表 13 組別統計量 ...42 表 14 兩組前後測成績獨立樣本檢定...42vii
圖目錄
圖目錄
圖目錄
圖目錄
圖 1 成語檢索系統的輸入方式與檢索方式的關係 ...2 圖 2 一個圖像可以包含多個隱含的意思 ...3 圖 3 以多媒體劇情作為輸入之研究 ...4 圖 4 鍵盤輸入 ...5 圖 5 手寫輸入 ...5 圖 6 語音輸入 ...5 圖 7OCR 輸入...5 圖 8 條碼輸入 ...5 圖 9 教育部成語典檢索功能 ...7 圖 10 漢典檢索功能 ...8 圖 11 以成語涵義為基礎之中文成語檢索系統介面...9 圖 12 以情境式導向的方式檢索軍事歷史及成語的系統介面...9 圖 13 以本體為基礎的成語檢索系統架構 ...10 圖 14 以成語典故為基礎的成語檢索系統架構 ...11 圖 15ACTOR的 XML 檔案...13 圖 16 循序演出(小鳥飛到遠方後才縮小) ...15 圖 17 同時演出(兩隻小鳥一起飛) ...15 圖 18 使用拖拉方式將動作賦于主詞 ...15 圖 19 演員重用元件儲存的內容及呈現的結果(以飛為例) ...16 圖 20 演員重用元件儲存的內容及呈現的結果(以飛遠後變小為例) ...17 圖 21 使用者與開發者思考示意圖...18 圖 22 系統開發者的角度...18 圖 23 使用者操作的角度...18 圖 24 使用者與開發者思考示意圖...19 圖 25 以多媒體劇情輸入的成語檢索系統架構 ...20 圖 26 劇情編輯及播放架構...22 圖 27 系統整合示意圖 ...23 圖 28 教育部成語典資料內容 ...25 圖 29 形容詞的比較性質 ...30 圖 30 比較詞...30 圖 31 演員選定的畫面(主詞/受詞) ...32 圖 32 編輯劇情的畫面(將動作區的動作指定給要動作的演員) ...33 圖 33 編輯劇情的畫面(透過編輯介面來編輯動作) ...33 圖 34 劇情播放 ...34 圖 35 成語查詢的畫面與結果 ...35viii 圖 36 研究流程圖...36 圖 37 研究架構...37 圖 38 實驗步驟...38 圖 39 使用者認知負荷使用量測統計...43 圖 40 使用者增生認知負荷使用量測統計...43 圖 41 使用者查詢使用性量測統計...44
1
一
一
一
一、
、
、
、緒論
緒論
緒論
緒論
1.1 研究
研究
研究動機
研究
動機
動機
動機
隨著數位科技的進步及全球資訊網路的快速成長，我們正處於資訊爆炸的時代，如 何利用電腦輔助系統、智慧型手機及平板電腦等，透過一種簡單的操作及輸入介面，讓 我們可以在龐大的資訊洪流中找到相關的資訊，已是一門相當重要的研究課題，更成為 我們生活中不可或缺的一部分。例如搜尋引擎的使用，如 Google Search、Yahoo 等。 我們除利用搜尋引擎查詢資料外，也會利用特定的網站去找相關的資訊，例如找成 語相關的內容。教育部 2000 年所推動「國家語文資料庫建構計畫」，建構「成語資料 庫」，並用此資料庫編輯一部成語檢索系統《成語典》，於 2003 年公開於網際網路[1]， 提供成語學習者方便、快速的查詢功能，至 2012 年 12 月已達六千一百萬人次使用。 本研究將以成語相關檢索系統的輸入方式及檢索方式來做研究，並以檢索的輸入介 面為重點來研究。1.1.1 現有成語檢索系統的檢索方
現有成語檢索系統的檢索方
現有成語檢索系統的檢索方
現有成語檢索系統的檢索方式
式
式
式
目前中文成語檢索系統主要以單一關鍵詞釋義查詢、字詞查詢、類別查詢、首字部 首查詢以及首字拼音查詢為主。但一般使用者，如不清楚成語的字詞時，使得使用者較 無法查得所需的成語[2]。相關系統中，以成語涵義為基礎的檢索方式，提供可讓使用者 輸入「口語化問句」來查詢，是一種以口語化描述文字的方式來找成語[3]。陸續亦有其 他相關研究，例如語意檢索[4]、以成語本體論為基礎的檢索[5][6]、情境式檢索[7]等。 但這些系統著重在檢索方式，對於檢索查詢的介面都是以「文字」輸入為主，整理如圖 1 所示，都透過使用者使用鍵盤或手寫板等不同的輸入方式，達到文字輸入的目的。2 圖 1 成語檢索系統的輸入方式與檢索方式的關係
1.1.2 使用
使用
使用
使用「
「
「
「文字輸入
文字輸入
文字輸入
文字輸入」
」
」
」檢索成語的缺點
檢索成語的缺點
檢索成語的缺點
檢索成語的缺點
透過鍵盤、語音等輸入方式來輸入文字時，有時我們無法將完整的內容陳述出來， 就無法適當的僅透過文字內容去表達出來。如同我們使用成語檢索系統時，需要知道「相 關成語」或「相關成語的類別」才能順利檢索，但有時，使用者無法完整的將成語或成 語的內容陳述出來，或使用者對成語需求的概念與想法無法描述出來時，就較難透過文 字輸入的方式，查到適當的成語[2][3]。1.1.3 使用
使用
使用
使用「
「
「
「多媒體輸入
多媒體輸入
多媒體輸入
多媒體輸入」
」
」
」檢索成語的優點
檢索成語的優點
檢索成語的優點
檢索成語的優點
傳統的成語教材較令人乏味，但以遊戲的方式卻可以引起學習動機，提供讓人專注 與沈浸的經歷[8]。本系統使用視覺化的介面，以像玩遊戲的概念，讓使用者來結合成語 查詢及成語內容編輯的方式，達到學習的目的。本系統視覺化介面以多媒體的方式呈 現，分為圖像輸入及圖像組合成動畫的播放。圖像是一種視覺化的方法，可以幫助我們 解題及問題思考[9]，圖像能夠除去語言之間的隔閡障礙[10]、其所傳達的概念又多於語 言文字[11]、讓我們在陳述表達上可以有更大的詮釋空間[12][10]，例如一個圖像可以有 多個同義字，例如美麗的同義詞有包含漂亮、俏麗等，一個圖像也可以包含多個隱含的 意思(多義)，如圖 2 所示，關於火的圖片，你看到的可能是具象的火，也可能會想到燃 燒或很熱的感覺。另外，圖像的使用應用在電腦輔助系統及行動裝置上，將更方便操作。3 圖 2 一個圖像可以包含多個隱含的意思 圖像是透過定義有意義的圖示(semantics of icons)來代表物件[13]，讓使用者利用 icons 的拖拉方式，來達到成語查詢的輸入，並可進行成語內容的編輯。最後，將成語 查詢的結果列出，再以動畫方式呈現編輯結果。不管是文字式或多媒體式的表達方式， 這兩種表達方式是等價的[14]，但是根據研究的結果顯示，對於較複雜的事物，人們總 是習慣用圖表或是動畫的方式，使事情變得較容易理解[15]，且透過多媒體的方式，能 使文字無法陳述的抽象概念能具體化表達出來[16]，是一種更接近自然需求的表達方式 [17]，對使用者來說，是一種較容易溝通的方式。 此外，以圖像方式建立新知識時，能深入思考並記住相關知識，學習成效就會提高 [18]。對於成語的學習者來說，成語內容的查詢需求及成語內容教材的編輯需求，是一 樣重要的，因為能找到適當的成語，並對該成語有適當的了解後，才能依成語內容進行 正確的內容編輯，進而給學習者學習。 基於上述，本系統結合視覺化圖像輸入介面及多媒體的編輯介面，建置一套使用多 媒體劇情輸入的方式來檢索成語系統，使用者只要拖拉系統中的圖像，編輯劇情後，可 進行播放，就可以找到適當的成語。本研究重點是：(1)使用多媒體的方式來編輯並展示 成語的意境。(2)提供一種直覺式的檢索方式，透過轉換腦海中的景像[19]來檢索成語。 (3)使用編輯劇情來強化相關成語的學習。(4)提供行動裝置快速查詢的介面。(5)利用接 近遊戲的學習方式來強化學習的動機，並增加學習的效率。
1.2 研究
研究
研究目的
研究
目的
目的
目的
本研究目的將建置一套使用多媒體劇情輸入方式來檢索成語的系統，使用者只要拖 拉系統中的圖像，編輯劇情後，就可以找到適當的成語，本研究包括如圖 3 所示使用多 媒體的方式來展示成語的意境，以及提供一種直覺式的檢索方式，透過轉換腦海中的景 像來檢索成語[19]，並使用圖像提示及多媒體素材，透過圖像拖拉及配合系統內建動作， 組合產生劇情後，即可播放多媒體劇情內容，並轉換為關鍵字去檢索成語。4
圖 3 以多媒體劇情作為輸入之研究
最後發展一套包含多媒體成語劇情的編輯系統(Multimedia Scenario Editor System) 與多媒體成語劇情的播放系統(Multimedia Scenario Player System)，並具有視覺化劇情轉 換器(Visual-Text Translator)功能的成語檢索系統(Idiom Search System)。
1.3 章節概要
章節概要
章節概要
章節概要
本論文共分為六章，主要內容說明如下。 第一章，研究動機和研究目的，說明目前中文成語檢索系統的使用情形及本論文主 要研究目的為開發設計一套結合多媒體情境表達方式來當作成語檢索輸 入方式的系統。 第二章，相關研究及文獻探討，將目前中文成語檢索系統所使用的輸入方式及檢索 方式作說明和比較，並介紹圖像提示的概念及擴展查詢的重要性。 第三章，系統研究設計，分為系統架構設計及視覺化劇情介紹，並說明本系統的檢 索方法。以使用者對成語需求的概念想法，透過系統已內建好的常用劇 情，任意拖拉指定給需要的演員，將需求概念編輯為劇情後進行檢索。利 用本系統檢索到適當成語後，進行成語內容確認，可在回到劇情編輯系統 修改及編輯，將成語內容以多媒體劇情的方式呈現出來。 第四章，包含視覺化劇情成語檢索辭庫的相關資料建立。 第五章，實驗設計與研究結果，透過實驗，探討視覺化成語查詢系統對於學生在成 語學習的學習成效。 第六章，結論和未來展望，說明在本論文系統架構下所設計的以多媒體劇情輸入方 式來檢索中文成語的特色及功能。在未來展望部份，說明了未來可增加的 應用與功能。5
二
二
二
二、
、
、
、相關研究
相關研究
相關研究
相關研究
2.1 傳統
傳統
傳統文字
傳統
文字
文字輸入
文字
輸入
輸入
輸入
傳統的輸入工具，會受限於文字所能提供的資訊，輸入工具最基本的為鍵盤輸入， 如圖 4 所示，鍵盤輸入仍是目前電腦、手機、PDA 的主要輸入方式。另外，手寫輸入就 像人日常拿筆寫字一樣，無須學習特殊的輸入規則及拆字方法，因此學習成本少，也是 目前常用的輸入方式，如圖 5 所示。在發展人性化界面(Intelligence Human Interface)的 各式輸入法中，最自然的輸入法莫過於語音，如圖 6 所示，但讀音如有偏差、噪音等因 素會降低語音輸入的辨識率。如圖 7 所示，OCR 輸入也廣泛的被應用，例如要將一篇 文章內容轉換成電子檔，如果以人工重新鍵入或讀入電腦中，無疑是相當不經濟的。若 將其以圖形檔的方式儲存，則無法檢索及再利用，此時 OCR 就成了最快速的輸入軟體。 圖 4 鍵盤輸入 圖 5 手寫輸入 圖 6 語音輸入 圖 7 OCR 輸入 圖 8 條碼輸入 應用在商品資訊的條碼輸入，隨著科技演進，行動電話公司開始在有相機的行動電 話加入 QR 碼讀取軟體，如圖 8 所示，為 QR 碼帶來更廣泛、更新穎的消費者相關用途。 主要能讓使用者減少在手機上輸入文字等資料的麻煩。6
2.2 圖像檢索
圖像檢索
圖像檢索
圖像檢索
對於複雜的事物，我們大多使用視覺化的方式來描述，使它變的更容易了解[15]。 其中視覺化最典型的方式是就是使用圖像。研究指出，圖像表徵(from a representation) 是一種視覺化表徵的方法，當我們面臨要解決的問題時，會在腦海中呈現與問題有關的 圖像，幫助我們進行問題的處理[20]。因為圖像蘊含大量資訊，所傳達的概念往往多於 語言文字，此特性使得圖像廣泛運用在電腦輔助教學上[11]，來提升學習效率。 圖片具有具體化、關聯性、意義化及易記憶等功能[21]。根據相關學者對視覺化圖 像的研究，歸類後可分為：(1)真實性圖像，即用具體顯現且接近真實的實際事物的圖像 (2) 類比性圖像，以接近的特徵來表現觀念或主體，其特性為將真實的圖像簡化，以求 更有效率將概念說明清楚 (3)組織性圖像：可顯示文字中的重點或主要觀念之間的關 係。本系統將上述的圖像概念，應用在系統上，藉由系統促使學習者與圖像互動 [22][23][24]。 圖像檢索也稱之為圖片搜索，是從一個大型的數位圖像資料庫去檢索和檢索圖像。 第一個以微電腦為基底開發的圖像資料庫檢索系統，是由 80 年代麻省理工學院裡的 Banireddy Prasad 等人所共開發出來的。一般圖像檢索的方式是利用增加元數據(metadata) 的方法，也就是可以當作圖像的註解，例如字幕、關鍵詞或是圖像的說明，因此我們就 可以用這些圖像註解的方法來完成檢索。但圖像註解的工作是透過人工的方式來做的 話，不僅是費時、費力而且是昂貴的，為了解決這個問題，已經有大量的研究在做自動 圖像註解方面上。此外，越來越多的網際網路的應用已發展出以網路為基底發展的圖像 註解工具。例如網際網路上的搜索引擎，包括 Google、Yahoo 等都推出相對應的圖片搜 索功能，搜索的方式主要是基於圖片的文件名所建立的索引來實現查詢功能。 除了上述，一般圖像檢索是利用註解的方法外，以內容為基底的圖像檢索(CBIR， content-based image retrieval)是另一種圖像檢索的方法，其方法是給定查詢圖像的前提 下，依據內容信息或指定查詢標準，在圖像資料庫中搜索並查找出符合查詢條件的相應 圖片。其目的是為了避免使用文字上的描述而是以視覺相似性為基底，透過使用者提供 查詢的圖像或是使用者指定的圖像特徵來檢索圖像。它建立索引的方式是通過提取底層 特徵，然後通過計算比較這些特徵和查詢條件之間的距離，來決定兩個圖片的相似程度。7
2.3 中文成語檢索的相關系統
中文成語檢索的相關系統
中文成語檢索的相關系統
中文成語檢索的相關系統研究
研究
研究
研究
2.3.1 教育部
教育部
教育部
教育部《
《
《
《成語典
成語典
成語典
成語典》
》
》
》成語檢索系統
成語檢索系統
成語檢索系統
成語檢索系統
教育部 2000 年所推動「國家語文資料庫建構計畫」，建構「成語資料庫」，並用 此資料庫編輯一部成語檢索系統《成語典》，於 2003 年公開於網際網路，提供成語學 習者方便、快速的查詢功能，至 2012 年 12 月已達六千一百萬人次使用。如圖 9 所示， 《成語典》是教育部所推動的一套成語檢索系統。檢索方式分為「成語檢索」及「義類 檢索」。 系統介面分為圖文模式及純文字模式，但其檢索方式都是文字輸入。其成語解說包 含釋義、典源、典故說明、用法說明、例句、辨識、參考詞語等項目，是一套相當完整 的成語資料庫。將作為本研究成語資料的來源參考。 圖 9 教育部成語典檢索功能 輸入 成語 或 類別8
2.3.2《
《
《
《漢典
漢典
漢典
漢典》
》
》
》成語檢索系統
成語檢索系統
成語檢索系統
成語檢索系統
《漢典》建站於 2004 年，是一個免費站點，所有內容來自維基百科，維基百科本 著平等、協作、分享、自由的互聯網精神，提倡網路面前人人平等，為所有人提供共同 協作編寫的線上漢語辭典。成語檢索是其中一項，檢索方式可分為「部首檢索」及 「拼 音索引」兩種方式，如圖 10 所示。 圖 10 漢典檢索功能2.3.3 以
以
以
以成語涵義為基礎之中文成語檢索系統
成語涵義為基礎之中文成語檢索系統
成語涵義為基礎之中文成語檢索系統
成語涵義為基礎之中文成語檢索系統
以成語涵義為基礎之中文成語檢索系統是一套以「語意檢索」方式來檢索成語。其 介面如圖 11 所示，是讓使用者可輸入簡單的口語化問句來查到相關成語，例如輸入： 形容容貌美麗。 系統流程是利用 CKIP 系統斷詞後結合同義詞擴展，並與使用者所設定的詞彙權重 來運算進行檢索。此系統架構於 2009 年 9 月提出後，後續相關研究以語意檢索的方式 及應用更為多元化。 輸入 部首 或 拼音9 圖 11 以成語涵義為基礎之中文成語檢索系統介面
2.3.4 以情境式為導向之資訊檢索
以情境式為導向之資訊檢索
以情境式為導向之資訊檢索
以情境式為導向之資訊檢索－
－
－
－以軍事歷
以軍事歷
以軍事歷
以軍事歷史與成語為例
史與成語為例
史與成語為例
史與成語為例
如圖 12 所示，以情境式為導向之資訊檢索系統，是一套以「情境檢索」方式來檢 索軍事歷史及成語。其對情境的定義是由人、事、時、地、物相關詞彙所組成。例如： 輸入天地會。 系統是利用 CKIP 系統對每一篇文件做斷詞後，結合與人、事、時、地、物有關的 同義詞比對，進行詞彙的權重運算來進行檢索。 圖 12 以情境式導向的方式檢索軍事歷史及成語的系統介面 輸入 人、事、時、地、物 輸入 口語化問句10
2.3.5 一種基於本體的中國成語檢索系統
一種基於本體的中國成語檢索系統
一種基於本體的中國成語檢索系統
一種基於本體的中國成語檢索系統
此篇是將使用者所要求的一個句子或一個短句短語，先進行語法分析，提取關鍵字 後做語義相似度的計算後去找成語。主要是對應到成語資料庫的內容中分析，透過該系 統所提供的語義與成語資料庫作描述關聯，系統架構如圖 13 所示。 圖 13 以本體為基礎的成語檢索系統架構 資料來源：一種基於本體的中國成語檢索系統2.3.6 基於語義的成語檢索系統研究
基於語義的成語檢索系統研究
基於語義的成語檢索系統研究
基於語義的成語檢索系統研究
此系統也是讓使用者輸入語句的方式來檢索成語。內部流程透過已分析整理成語所 蘊含的概念和其之間的語義關係，建立出一個成語領域本體，並且建立與本體之間相對 應的檢索系統。該系統首先對使用者的查詢請求進行語法分析和語義分析，然後對成語 資料庫本體採用基於描述邏輯的推理方式進行推理，從而檢索出滿足使用者要求的成 語。2.3.7 基於成語典故本體的語義檢索模型研究
基於成語典故本體的語義檢索模型研究
基於成語典故本體的語義檢索模型研究
基於成語典故本體的語義檢索模型研究
此篇是以成語資料庫中成語典故為探討對象，所發展的一套系統。此系統也是讓使 用者輸入語句的方式，進行語法分析和語義分析後檢索成語。11 圖 14 以成語典故為基礎的成語檢索系統架構 資料來源：基於成語典故本體的語義檢索模型研究 上述，不管是用關鍵字檢索、分類檢索，至近幾年所討論的語意檢索或情境檢索方 式，他們雖然都針對成語的檢索方式進行探討與改善，但都是架構在以語意輸入後進行 語句分析，之後在進行檢索的流程，都離不開使用者以文字輸入的方式。所以本研究將 根據使用者輸入方式的部分，做進一步的探討。
2.4 認知負荷
認知負荷
認知負荷
認知負荷及人機介面
及人機介面
及人機介面
及人機介面使
使用性
使
使
用性
用性
用性、
、
、
、接受度探討
接受度探討
接受度探討
接受度探討
2.4.1 認知負荷探討
認知負荷探討
認知負荷探討
認知負荷探討
良好的設計介面，需考量到不同型態的資訊量，如何利用適當的媒體組合，來傳遞 給使用者，以避免使用者在操作過程中，因資訊量關係，產生無謂的認知負荷而影響操 作，進而阻礙了學習的過程、導致學習效果降低。 認知負荷來源 Sweller [25] 及 Leppink 等人[26]以教材設計的觀點，將認知負荷的 來源分為三類，第一類為「內在認知負荷」（Intrinsic Cognitive Load），與教材內容本 身的難易度有關；第二類為「外在認知負荷」（Extraneous Cognitive Load），就相同的12
內容以不同的呈現方式來傳達，對資訊接收者來說，也會產生不同程度的負荷；第三類 為「增生認知負荷」(Germane Cognitive Load)，藉由教學設計來吸引學生專注在學習內 容的認知過程。 這二類及第三類跟我們系統設計時有著密切關係。如何將認知負荷理論，應用到教 材的設計中，對結合多媒體的操作介面設計者來說，提供了一種新的設計觀點，可藉由 這些原則，讓我們在系統開發過程中，除了追求特殊的效果外，還需考量資訊量的組合， 不可產生因認知負荷而影響操作的狀況。 我們擬針對視覺化劇情成語檢索系統對於認知負荷度，設計一個負荷量表，並將內 容分成內在及增生負荷兩個部分為主，在完成系統操作後，進行問卷量表的填寫，藉此 分析並探討系統的認知負荷程度。
2.4.2 人機介面使
人機介面使
人機介面使
人機介面使用性
用性
用性
用性、
、
、
、接受度探討
接受度探討
接受度探討
接受度探討
根據國際標準化組織（ISO 9241-11）的定義，使用性(Usability)是指“特定使用情 境下，特定的用戶完成特定的目標時，產品所表現出來的效果、效率和令人滿意的程 度”，是用戶體驗的重要維度。Bangor[27]等人於 2009 年在 Journal of Usability Studies 發表了系統使用性(SUS： System Usability Scale)相關量測的文章，提供了一種使用性量測的參考。SUS 包含了 10 個態度語句，每項使用 5 級的李克特分量表法(Likert Scale)進行測量，經過計算後，會 得出介於 0-100 的分數，100 表示用戶體驗最佳。李克特分量表法（Likert Scale）是針 對某件事情的認同程度採用 5 階(5-Level)計分方式，即以非常不同意(Strongly
Disagree)、不同意(Disagree)、普通(Neither Agree or Disagree)、同意(Agree)、非常同意 (Strongly Agree)的方式供受訪者選擇，其以等距方式計算分數，也就是非常不同意得 1 分、不同意得 2 分、普通得 3 分、同意得 4 分、非常同意得 5 分。
我們擬針對視覺化劇情成語檢索系統的接受度，設計一個接受度量表，並在操作不 同系統到一個段落時，進行問卷量表的填寫，藉此分析並探討系統的接受度。
13
三
三
三
三、
、
、
、系統
系統
系統
系統設計
設計
設計
設計
本系統由兩大主要需求功能所組成，第一部分為視覺化劇情的編輯與播放，第二部 分是由第一部分所產生的 Visual Scenario Intermediate Format (VSIF) 資料來進行成語的 檢索，主要目的是突破傳統輸入方式受限於文字所能提供的資訊。在此章節中會先說明 本研究自訂的視覺化劇情描述語法的使用及針對演員劇情的重用這部分加入演員動作 的劇情使用。後半部會說明圖像輸入的架構及系統所使用相關資料的來源。3.1 視覺化劇情
視覺化劇情
視覺化劇情
視覺化劇情編輯
編輯
編輯
編輯介紹
介紹
介紹
介紹
本系統劇情編輯的部分，是沿用本實驗室自訂的視覺化劇情描述語法，定義視覺化 元件來幫助編輯者作視覺化的編輯。視覺化劇情編輯過程中，都是透過視覺化介面，讓 使用者拖拉圖及套用可重用元件來完成，並提供了儲存的功能，達到讓使用者重新播放 的特性，該檔案所記錄的資訊更可套用在其他元件上，直接使用已編輯的內容。3.1.1 可
可
可
可重用元件的組成
重用元件的組成
重用元件的組成
重用元件的組成
本研究以 XML(Extensible Markup Language)檔案的描述方式來儲存可重用元件 (reusable components)。XML 是一種資料儲存的規格，其特徵包含了可按照需求，以某 種形式儲存和組織任何類型的資訊，且 XML 是一種開放標準，任何編輯者皆可以使用， 並利用 XML 簡明的語法和明確的結構，如圖 15 所示。
14
可重用元件(reusable components)區分為四類元件：(1) 演員劇情 (Actor Scenario) 重用元件，此元件記錄著編輯者對該演員設定的劇情，例如某演員的劇情為上下左右移 動，則該演員元件的資料即為上下左右移動。 (2) 演員 (Actor) 重用元件，包含了演員 劇情與設定的演員參數，演員參數包括了演員的圖片、演員移動的距離、演員旋轉的角 度、演員每個動作的間隔與演員的初始位置等資訊。 (3) 句子 (Sentence) 劇情重用元 件句子劇情包含了演員劇情元件、演員元件與句子間的關聯。一個句子可由多個演員所 組成，句子的關聯包括了循序的句子關聯、平行的句子關聯與互動的句子關聯。最後一 類為 (4) 場景 (Scene) 重用元件，是上述三個元件的組合，額外包括了設定背景與條件 相 關 資 訊 。 以 演 員 重 用 元 件 為 例 ， 演 員 重 用 元 件 所 儲 存 的 資 料 主 要 包 含 (1) Actor_Name：紀錄演員的名字及圖片路徑 (2) Information：紀錄演員的各項參數 (3) Information_location：紀錄演員位置、大小(4) Action：紀錄演員的劇情。語法定義如表 1。 表 1 語法定義說明表
<Teaching material> ::= <Scene>*|<Scene>*<Teaching material > <Scene>::=<Actor_list><Relation><User_control> <Actor_list>::=<Actor>*|<Actor_list><Actor>* <Relation>::=<Par_Relation>|<Seq_Relation> <Actor>::=<name><parameter><Action> <Action>::=<move_up>|<move_down>|<rotate>|<Action>
3.1.2 支援的功能與腳本
支援的功能與腳本
支援的功能與腳本
支援的功能與腳本
本系統使用視覺化的方式來編輯所需要的視覺化劇情，利用介面上所提供的功能， 進行腳本的編輯。視覺化功能包含下列四類： (1) 基 本 劇 情 的 組 成 (atomic scenario) 包含上下左右、放大縮小、旋轉、演員消失與演員出現、演員停滯 (2) 預儲可重用劇情 (resuable scenario) 包含可重用動作及可重用劇情 (3) 組合劇情(composite scenario)包含 循序(sequential)、平行(parallel)、迴圈(loop) (4) 互動式劇情編輯(Interactive scenario)包含 點選、拖拉、滑鼠控制、鍵盤控制。藉由提供不同的腳本來減少劇情編輯的負擔，並能 提供行動裝置上一致性的體驗。在編輯劇情的時候，使用者可以優先由系統根據檢索主15 詞所帶入的預儲可重用元件減少編輯的困難度及時間。若需要更專業的編輯，也可以經 由基本劇情組成中的元件進行更複雜的組合。當在組合劇情的時候，有些事件是同時演 出的，有些則是循序接連演出，因此我們也提供了相關的組合劇情方式。如圖 16 所示， 當小鳥飛到遠方後才變小，這就有循序接連演出的關係，也就是小鳥飛到一個距離後才 使用縮小的動作；另外同時演出的例子如圖 17 所示兩隻小鳥一起飛，此時小鳥是同時 進行的，不能等一隻飛的動作完成後，另一隻在接著飛，必須兩隻飛的動作是同時進行 的。 圖 16 循序演出(小鳥飛到遠方後才縮小) 圖 17 同時演出(兩隻小鳥一起飛)
3.1.3 可重用
可重用
可重用
可重用視覺化
視覺化
視覺化
視覺化元件
元件
元件
元件的設計與實作
的設計與實作
的設計與實作
的設計與實作
可重用視覺化元件包含兩種，一種是主詞可重用，因為成語裡面出現的主詞並不只 一次，且因應劇情的需要，主詞也不會只出現一次。另一種是動作可重用，動作可重用 是指系統已預先將常用的基本動作編輯完成，如飛、走路、落下等，使用者只要輕鬆將 動作拉到主詞上面，就可以賦于該主詞相對應的動作，如圖 18 所示。 圖 18 使用拖拉方式將動作賦于主詞16 動作可重用包含了下面的特點，(1)使用者利用系統內建好的常用動作劇情，以任意 拖拉的方式指定給需要的主詞，(2)使用者可在次儲存已編輯好的劇情內容，可指定給其 他的主詞，讓使用者可拖拉動作即可重複使用，如此，一個動作可以對應到其他主詞。 以飛為例，蜜蜂跟小鳥都會飛，而且飛的動作軌跡較為相似，所以我們可以把飛這 個動作指定給蜜蜂跟小鳥如圖 19 所示飛的動作，。 圖 19 演員重用元件儲存的內容及呈現的結果(以飛為例) 除了飛的動作外，我們又加入了飛遠之後，會漸漸變小為例子，如圖 20 所示飛及 變小的動作，都可將動作都指定給蜜蜂跟小鳥，最後都會呈現飛遠之後漸漸變小的感覺。
17
18
3.2 系統設計架構
系統設計架構
系統設計架構
系統設計架構
3.2.1 系統
系統
系統
系統開發思考
開發思考
開發思考
開發思考及建置
及建置
及建置
及建置流程
流程
流程
流程
圖 21 所示，是同時以系統開發的角度及使用者操作的角度來呈現的流程示意圖。 圖 21 使用者與開發者思考示意圖 圖 22 所示為系統開發的思考流程。因為成語可由多個關鍵字所組成，一個關鍵字 可由多個同義詞同時來替換，又多個同義詞的表達可由一個圖像的概念來呈現，此種思 考過程是本系統開發的主軸，並經過歸納統計，結果已實際由系統呈現，將於下一章節 中說明。 圖 22 系統開發者的角度 圖 23 所示，換從使用者的角度來看，則剛好相反，須由下到上。使用者操作時， 是將腦海中的記憶，利用圖像的組合來找尋成語，經過拖拉圖像後，系統就會搜尋適合 的成語。 圖 23 使用者操作的角度 成語 關鍵詞 同義詞 圖 圖 同義詞 關鍵詞 成語19 整合使用者與系統開發者的角度，就會有圖 24 的關係。 圖 24 使用者與開發者思考示意圖 建置系統會用到的成語、關鍵詞、同義詞、圖之間的關係，將依下面的說明原則來 實作。(1) 從查詢系統時，要把圖的概念導入，這個圖就是關鍵，變成文字，且這個文 字跟實體的成語資料庫是相關聯的。再來 (2) 查詢系統都必須要先定義，因為要去把資 料找出來，一定要先有東西去形容詞他，這就是一個關鍵，我們的目標就是要將圖、詞 彙、成語等關聯起來。(3) 我們將圖分為主詞、動詞、形容詞、受詞。(4) 關於形容詞 的部分會用比較級的方式呈現，因為形容詞本身是相對性的，是一種比較級的東西，如 果沒有給他一個比較的基準，之後做的系統就沒有依據標準了。二個以上有比較性的圖 在一起時，就可以形成一種關係的比較 (5) 動詞是使用者編輯動作及呈現動作的主要核 心，我們要加入動作可重用的概念，最後(6) 圖與關鍵詞的依據，則依本研究所統計出 的常用的詞彙為依據。
3.2.2 系統架構
系統架構
系統架構
系統架構
本研究所開發之系統，以所建立的資料庫為研究基礎，主要設計由九項功能模組及 四組資料庫所組成，如圖 25 所示，此概念可擴展到網際網路的應用上。 成語 關鍵詞 同義詞 圖 系統開發 使用者操作20
圖 25 以多媒體劇情輸入的成語檢索系統架構
(一) 系統由主要九項功能模組所組成，包含：
(1) Multimedia Data Selector：：：處理使用者所選定的演員。 ：
(2) Multimedia Scenario Editor：：：處理使用者所要編輯的劇情內容來產生角： 本。
(3) Multimedia Scenario Player：：：處理劇情播放的流程並回饋給使用者。 ： (4) Visual Scenario Intermediate Format (XML)：：：：依據使用者編輯的劇 情，產生視覺化劇情描述語法。
(5) Visual-Text Translator：：：：依據視覺化劇情描述語法(XML)的內容，產生相 關關鍵詞，作為同義詞擴展及成語檢索的依據。
(6) 同義詞同義詞同義詞同義詞 Generator：：：：進行同義詞擴展處理。
(7) 檢索用的關鍵詞及同義詞處理檢索用的關鍵詞及同義詞處理檢索用的關鍵詞及同義詞處理檢索用的關鍵詞及同義詞處理：：：：處理關鍵詞及同義詞的權重。 (8) 成語檢索系統成語檢索系統成語檢索系統成語檢索系統(Idiom Search System)：：：：使用 SQL 語法進行檢索。 (9) 成語檢索結果成語檢索結果成語檢索結果成語檢索結果：：：：回饋檢索的結果。
21
(二) 另外，系統由建立四組資料庫為資料依據
(1) Multimedia Data Database：：：存放系統已建立的演員(圖像檔案)及使用者後： 續新增的演員。 (2) Scenario Database：：：：儲存系統所設定的劇情內容及使用者利用本系統所編 輯的劇情內容。 (3) 同義詞同義詞同義詞同義詞 Database：：：：此資料庫利用「教育部重編國語詞典修定本」網站內容 來建立系統的同義詞資料庫。 (4) 成語成語成語成語 Database：：：：成語內容的建立是採用教育部成語典的內容，將成語的 釋義、語義說明及使用類別明擷取出來，作為成語檢索比對使用
3.2.3 劇情編輯
劇情編輯
劇情編輯
劇情編輯、
、
、
、播放
播放
播放
播放與成語檢索
與成語檢索
與成語檢索
與成語檢索
本系統提供視覺化方式的操作表單、演員與劇情等相關的資訊。當使用者選定演員 後，系統辨識編輯者所傳遞與鍵入的訊息，將使用者輸入的劇情解譯成對應的演員與動 作，並暫時儲存解譯出來的劇情，直到編輯者按下撥放才回傳給編輯者，如圖 26 所示。 進入檢索流程前，系統先抓取 Visual-Text Translator 的內容後，經過同義詞的擴展處理 後，系統在依 Visual-Text Translator 所回饋的使用者關鍵詞，並記錄同義詞擴展，透過 SQL 語法進行檢索。整合劇情編輯、播放相關模組及成語檢索相關模組後即為本系統， 可讓使用者可透過編輯劇情來檢索成語，並可依查詢後的成語內容在次編輯，來呈現多 媒體的成語劇情。22 圖 26 劇情編輯及播放架構 如圖 27 所示，我們將系統介面跟系統內部結合說明。第一部分：使用者依要查詢 的內容，從選擇圖像，然後把圖像拉進來，系統就會自動記錄及轉換相關資訊。第二部 分：系統會依據所拉進來的圖像，出現在第二個畫面中，系統並針對主詞把相關的動作 找出來，這些主詞及動詞就是我們可重用的元件，使用者在這個畫面中編輯，此時系統 將使用者所編輯的劇情內容儲存在「視覺化描述語言中」，並進行可重用元件的處理及 編輯播放的處理。接著第三部分：系統根據使用者所編輯劇情之間的關係，透過劇情語 法轉換，去成語資料庫裡面，把相關的成語作檢索，根據權重，將相關性較高的排在前 面。這個畫面呈現兩個部分，左半邊就是使用者所編輯的劇情，右半邊就是成語的相關 文字解釋。藉由使用者編輯的劇情重播來強化他對於成語的了解與記憶，並增加趣味 性，不然只看著解釋會很無聊，因為學習最重要的就是要有學習的興趣與動機，本系統 使用多媒體的方式來提升學習的興趣與動機，讓學習者覺得很有趣，想繼續操作下去。
23
24
四
四
四
四、
、
、視覺化劇情成語檢索之辭庫建立
、
視覺化劇情成語檢索之辭庫建立
視覺化劇情成語檢索之辭庫建立
視覺化劇情成語檢索之辭庫建立
4.1 本研究使用
本研究使用
本研究使用
本研究使用資料
資料
資料
資料來源
來源
來源
來源
4.1.1 成語資料庫來源
成語資料庫來源
成語資料庫來源
成語資料庫來源
本研究依《成語字典超好用 2000 個》[28]與《好查好用分類成語詞典 17 類》[29] 整合出兩者共同出現的成語。表 2 為《好查好用分類成語詞典》將成語分為十七類。整 理歸納後，共同出現的共計 574 條成語。將此 574 條成語透過教育部《成語典》，如圖 28 所示，擷取其系統中釋義、語義說明、使用類別等三個欄位之資料，作為成語資料庫 基礎，作為系統查詢之對象，如表 3 所示。 表 2 分類成語詞典 17 類 分類 類別 分類 類別 1 日常生活類 11 情交深淺類 2 倫理關係類 12 老病往生類 3 言語影響類 13 祝賀稱美類 4 人際相處類 14 際遇不同類 5 儀態外表類 15 心緒情感類 6 才能見識類 16 治事為政類 7 德行品格類 17 戰事攻防類 8 勤快懶惰類 9 自然景象類 10 萬物形態類25 圖 28 教育部成語典資料內容 資料來源 : 教育部成語典 表 3 建立成語資料庫
4.1.2 常用詞彙來源
常用詞彙來源
常用詞彙來源
常用詞彙來源
利用本系統研究所建立的成語資料庫，依成語 17 類，分析統計「語意說明」這一 欄位所產生的詞彙量，平均每一類約產生 5 個詞彙，分析結果如表 4。26 表 4 依成語 17 類分析統計所產生的詞彙量 分析的方式是使用中研院 CKIP[30]系統進行斷詞後，分析斷詞後的詞類標記，作為 系統中主詞、動詞、形容詞、受詞的預設詞彙來源，即關鍵詞來源，也是系統中的圖庫 資料。詞類標記是採用中央研究院資訊科學研究所中文詞知識庫小組提出八大詞類標 記，如表 5 所示。 表 5 八大詞類標記 標記 詞類 A 非謂形容詞 C 連接詞類 D 副詞類 I 感嘆詞 N 體詞 P 介詞 T 語助詞 V 述詞
27 其所採用的詞類標記是由詞庫小組八萬詞目詞典中 178 個詞類簡化成 43 個標記， 另外加 3 個特殊標記，共 46 個標記，表 6 為中研院平衡語料庫詞類標記集。 表 6 中研院平衡語料庫詞類標記集 精簡詞類 簡化標記 對應的CKIP詞類標記1 A A A /*非謂形容詞*/ C Caa Caa /*對等連接詞，如：和、跟*/
POST Cab Cab /*連接詞，如：等等*/
POST Cba Cbab /*連接詞，如：的話*/
C Cbb Cbaa, Cbba, Cbbb, Cbca, Cbcb /*關聯連接詞*/
ADV Da Daa /*數量副詞*/
ADV Dfa Dfa /*動詞前程度副詞*/
ADV Dfb Dfb /*動詞後程度副詞*/
ASP Di Di /*時態標記*/
ADV Dk Dk /*句副詞*/
ADV D Dab, Dbaa, Dbab, Dbb, Dbc, Dc, Dd, Dg, Dh, Dj
/*副詞*/ N Na Naa, Nab, Nac, Nad, Naea, Naeb /*普通名詞*/
N Nb Nba, Nbc /*專有名稱*/
N Nc Nca, Ncb, Ncc, Nce /*地方詞*/ N Ncd Ncda, Ncdb /*位置詞*/ N Nd Ndaa, Ndab, Ndc, Ndd /*時間詞*/
DET Neu Neu /*數詞定詞*/.
DET Nes Nes /*特指定詞*/
DET Nep Nep /*指代定詞*/
DET Neqa Neqa /*數量定詞*/
POST Neqb Neqb /*後置數量定詞*/
M Nf Nfa, Nfb, Nfc, Nfd, Nfe, Nfg, Nfh, Nfi /*量詞*/
POST Ng Ng /*後置詞*/
N Nh Nhaa, Nhab, Nhac, Nhb, Nhc /*代名詞*/ Nv Nv Nv1,Nv2,Nv3,Nv4 /*名物化動詞*/ T I I /*感嘆詞*/ P P P* /*介詞*/ T T Ta, Tb, Tc, Td /*語助詞*/ Vi VA VA11,12,13,VA3,VA4 /*動作不及物動詞*/ Vt VAC VA2 /*動作使動動詞*/ Vi VB VB11,12,VB2 /*動作類及物動詞*/ Vt VC VC2, VC31,32,33 /*動作及物動詞*/ Vt VCL VC1 /*動作接地方賓語動詞*/ Vt VD VD1, VD2 /*雙賓動詞*/
Vt VE VE11, VE12, VE2 /*動作句賓動詞*/
Vt VF VF1, VF2 /*動作謂賓動詞*/ Vt VG VG1, VG2 /*分類動詞*/ Vi VH VH11,12,13,14,15,17,VH21 /*狀態不及物動詞*/ Vt VHC VH16, VH22 /*狀態使動動詞/ Vi VI VI1,2,3 /*狀態類及物動詞*/ 1 斜體詞類，表示在技術報告#93-05中沒有定義，即後來增列的。
28 Vt VJ VJ1,2,3 /*狀態及物動詞*/ Vt VK VK1,2 /*狀態句賓動詞*/ Vt VL VL1,2,3,4 /*狀態謂賓動詞*/ Vt V_2 V_2 /*有*/ T DE /*的, 之, 得, 地*/ Vt SHI /*是*/ FW FW /*外文標記*/ COLONCATEGORY /* 冒號 */ COMMACATEGORY /* 逗號 */ DASHCATEGORY /* 破折號 */ ETCCATEGORY /* 刪節號 */ EXCLANATIONCATEGORY /* 驚嘆號 */ PARENTHESISCATEGORY /* 括弧 */ PAUSECATEGORY /* 頓號 */ PERIODCATEGORY /* 句號 */ QUESTIONCATEGORY /* 問號 */ SEMICOLONCATEGORY /* 分號 */ SPCHANGECATEGORY /* 雙直線 */ 例如「一貧如洗」的語意說明為：形容非常貧窮，一無所有，經 CKIP 中文剖析後， 扣 除 逗 點 及 句 號 後 的 斷 詞 標 記 結 果 為 形 容 (VE) 非 常 (Dfa) 貧 窮 (VH) 一 無 所 有 (VH) ，如此產生 4 個詞彙，再用中研院平衡語料庫詞類標記集，將主詞、動詞、形容 詞、受詞統計整理出來，作為系統中預設的基本詞彙，也就是系統中的圖庫的主詞演員、 動詞演員、形容詞演員、受詞演員。本研究中，將主詞及受詞定義為相同的圖庫，是整 理自 N 開頭的詞類，動詞是整理自 V 開頭的詞類(不含標記中的狀態動詞)，形容詞是整 理自 V 開頭的詞類中的狀態動詞(因中央研究院平衡語料庫所採用的詞類標記，將形容 詞歸類為動詞，稱為「狀態動詞」)。 統計過程中，詞彙量會因為重複並經合併後而減少。經上表 4 統計，每一個成語的 「語意說明」這一欄所產生的詞彙平均量為 5 個詞彙，以資料庫中 17 類常用成語 507 條來統計的話，所產生的詞彙量預估為 507 乘以 5 得到 2535 個詞彙。實際經斷詞後的 詞彙加總為 2490 個，與預估所得接近。但經分類合併後，實際所產生的詞彙量為 1800 個，約少了三分之一，所以會得到如表 7 的結論，當成語數量越大時，常用的詞彙量不 會因為成語數量而劇增。
29 表 7 每一類成語的詞彙量統計與合併後結果
4.1.3 圖檔
圖檔
圖檔
圖檔的
的
的
的建立
建立
建立
建立與
與
與
與產生關鍵詞
產生關鍵詞
產生關鍵詞
產生關鍵詞
系統中所建立的圖檔名稱即為關鍵詞，當使用者新建圖檔圖時，需為圖檔取跟圖相 關的檔名。系統中的圖庫資料排序是依《實用漢語分類詞典》[31]的分類方式，如表 8 所示，由第 A 類排到第 Q 類，共計 17 類。 表 8 實用漢語分類詞典 17 類 分類 類別 A 宇宙、地球 B 生命、生物 C 人體、醫療衛生 D 人類、社會 E 飲食、衣服、居住、財產 F 感覺、情感、性格、行為 G 思想、語言、資訊 H 農業 I 工業、科技 G 行動、交通運輸 K 經濟、商業、職業 L 政治、法律、軍事 M 教育、文化、藝術、體育 N 宗教、民間信仰30 O 事情、情狀(一般) P 物質、物體 Q 數量 在形容詞演員這部分，加入了比較基準，因為形容詞本身是相對性的，是一種比較 級的東西，需給系統一個比較的基準，此系統才有依據的標準。例如強壯跟虛弱，兩個 圖在一起時，就可以形成一種關係的比較，如圖 29 所示。 圖 29 形容詞的比較性質 資料來源 : 寶寶的第一本圖畫字典[32] 系統除依分類，也將相近的放在一起，如圖 30 所示喜怒哀樂、高矮胖瘦等，其他 如十二生肖、松竹梅等，也是利用此模式，方便使者找尋所需要的。 圖 30 比較詞
4.1.4 同義詞
同義詞
同義詞
同義詞的建立
的建立
的建立
的建立
本系統利用「教育部重編國語詞典修訂本」[33]建立常用詞彙的同義詞，作為關鍵 詞擴展使用，如表 9 美麗的同義詞包含了標緻、漂亮、俊俏、俏麗、妍麗、豔麗。31 表 9 詞彙同義詞例子 詞彙 同義詞 美(美麗) 標緻、漂亮、俊俏、俏麗、妍麗、豔麗 醜(醜陋) 喜(歡喜) 高興、快樂、歡騰、歡樂、歡快、歡欣、歡暢、愉快 怒(憤怒) 憤懣、憤慨、憤激、氣忿、義憤 哀(悲哀) 悲憤﹑悲痛﹑悲慟﹑悲戚﹑悲傷﹑悲慘﹑辛酸﹑沉痛﹑哀傷 樂(快樂) 高興、康樂、安樂 成功 樂成、告成、勝利 失敗 敗北、腐敗、凋零、退步、失利、鎩羽、衰弱 聰明 伶俐、靈敏、智慧、聰敏、聰慧、聰穎 愚笨 笨拙、鳩拙、拙笨、愚昧、愚蠢 富貴 榮利 貧窮 貧乏﹑貧困﹑貧苦、貧寒﹑貧窶﹑困難﹑困苦﹑困窮﹑艱難﹑清貧﹑窮 苦﹑窮困
4.2 系統
系統
系統展示
系統
展示
展示
展示
透過本系統中已建置的圖庫及演員動作，把看到或想要傳達的概念，利用拖拉圖像 的方式來選擇，並利用視覺化介面，透過選定角色及指定動作來編輯與播放，最後查詢 到相關成語。本系統由四大主要功能所組成，使用者透過這些功能來達到演員選擇、劇 情編輯、劇情播放及成語檢索的目的。4.2.1 演員選
演員選
演員選
演員選擇
擇
擇
擇
主畫面包含演員區(圖像)，分為主詞/受詞、動詞、形容詞，利用頁籤來切換，演員 區已內建相關常用的演員。我們將主詞/受詞、動詞、形容詞各自訂義為主詞演員、受詞 演員、動詞演員、形容詞演員。 使用者利用滑鼠選定演員後，依主詞、動詞、形容詞及受詞，拖拉至右邊的演員放 置區。 例如拖拉左邊圖像區中的小狗與城牆到右邊的放置區，最後如下圖 31 所示。 然後點按 編故事囉 的按鈕。32 圖 31 演員選定的畫面(主詞/受詞)
4.2.2 劇情編輯
劇情編輯
劇情編輯
劇情編輯
劇情編輯有兩種方式，一種是使用系統預設的動作，另一種是透過視覺化介面來編 輯。當使用者由圖像選擇的畫面切換過來後，原選定的主詞演員、受詞演員、形容詞演 員會出現在場景區中，其中動詞演員，則會出現在動作指定區中。 第一種方式是直接拖拉系統預設的動作給主詞，如圖 32 所示，將預設動作區中的動 作，設定給場景區中的演員，也就是將"跳"得動作指定給"小狗"。設定方式為：先在場 景區中要指定的演員主詞上，用滑鼠點按一下，然後再將動作區中的動作，拖拉到場景 區的該演員上面，此時會有紅色軌跡跑出來，此時動作即可指定完成。 圖庫區 拖拉放置區33 圖 32 編輯劇情的畫面(將動作區的動作指定給要動作的演員) 第二種方式是使用者透過視覺化介面編輯。視覺化介面編輯區，如圖 33 所示，包含 上下左右、隱藏出現、放大縮小等基本的動作組合，設定方式為：先在場景區中要指定 的演員主詞上，用滑鼠點按一下，然後點按視覺化介面編輯區的動作，點按動作的同時， 一樣會有紅色軌跡跑出來，此時動作即指定給場景區中的演員。 圖 33 編輯劇情的畫面(透過編輯介面來編輯動作) 預設動作 視覺化介面編輯區
34
4.2.3 劇情播放
劇情播放
劇情播放
劇情播放
編輯好的內容即可以進行播放。播放的方式支援同時(parallel)播放及循序(sequential) 播放兩種，如圖 34 所示。第一種同時播放，也就是多個演員可同時播放，例如演員 1、 演員 2、演員 3…同時間進行播放。另一種是循序播放，將設定好的演員劇情循序撥放， 例如序列順序為演員 1、演員 2、演員 3…則一定要等到演員 1 播放完畢後，接著演員 2， 然後才是之後的演員等依序播放。 圖 34 劇情播放4.2.4 成語查詢
成語查詢
成語查詢
成語查詢
最後成語查詢的結果會呈現有兩區，如圖 35 所示，左側為使用者自行編輯的劇情， 右邊則為資料庫查詢的結果，包含了注音、分類、釋義及例子。播放區可以讓使用者一 邊觀看劇情，一邊閱讀解釋並了解成語真正的含意，藉由圖像及劇情的互動，加強學習 的樂趣並能提高學習的效率。 劇情播放區35 圖 35 成語查詢的畫面與結果 本系統之所以這樣呈現的原因，主要是基於學習動機及認知負荷的理論，我們可以 透過動畫所提供的趣味性來增加成語的學習與記憶能力，一方面可以增加學習動機，另 一方面也可以使學習過程富有趣味性，讓學習者更有興趣繼續探索成語學習。 劇情重複播放 查詢結果
36
