情境感知語音及語言處理在數位訓練及照護上的應用---成人溝通行為對兒童語言溝通發展影響之研究

行政院國家科學委員會補助專題研究計畫 □ 成 果 報 告

■期中進度報告 成人溝通行為對兒童語言溝通發展影響之研究

計畫類別：□ 個別型計畫 ■ 整合型計畫 計畫編號：NSC96-2221-E-006-269-MY3

執行期間： 96 年 8 月 1 日至 99 年 7 月 31 日

計畫主持人：吳俊良 共同主持人：陳有圳 計畫參與人員：

成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列 管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：國立成功大學醫學系耳鼻喉科

中 華 民 國 97 年 5 月 13 日

總計畫名稱：情境感知語音及語言處理在數位訓練及照護上的應用 子計畫二名稱：成人溝通行為對兒童語言溝通發展影響之研究 Interaction Between Communicative Behavior of Caregivers and

Development of Communication in Children 計 畫 編 號 ： NSC96-2221-E-006-269-MY3 執 行 期 限 ： 96/08/01 ～ 99/07/31

主 持 人 ： 吳俊良 成功大學醫學系耳鼻喉科助理教授 共同主持人： 陳有圳 南台科技大學電機工程系助理教授 E - m a i l ： [email protected]

F a x ： 06-2377404 中文摘要

主 要 照 顧 者 的 互 動 溝 通 行 為 會 影 響 兒 童 的 語 言 與 口 語 行 為 學 習 發 展 ， 對 人 際 溝 通 、 語 文 學 習 、 環 境 調 適 、 認 知 能 力 、 社 會 文 化 適 應 等 影 響 更 甚 。 本 研 究 預 期 完 成 成 人 與 兒 童 居 家 互 動 性 溝 通 行 為 資 料 庫 ， 建 立 互 動 溝 通 行 為 模 組 ， 可 提 供 兒 童 語 言 與 口 語 行 為 學 習 發 展 之 重 要 資 訊 ， 並 完 成 優 質 化 成 人 溝 通 策 略 訓 練 系 統 與 優 質 化 兒 童 和 成 人 口 語 行 為 訓 練 系 統 ， 協 助 進 行 優 質 化 兒 童 教 養 訓 練 ， 提 升 兒 童 的 語 言 與 口 語 行 為 的 學 習 發 展 潛 力 以 強 化 國 家 競 爭 力 。

關鍵詞：溝通、語言發展、口語行為、溝通 策略

Abstract

Children’s interpersonal communication, personality, social adaptive capability, and learning ability could be affected by the interaction with their caregivers. As declining birth rate in Taiwan causes the advent of aging society, children’s education is more important for improving national competitive advantage.

In China, the speech corpus of Putonghua had been collected and tracked for a long time, even though the subjects of the corpus are only distributed within a narrow age range. In Taiwan, only Taiwanese speech corpus has been developed, but Mandarin corpus is still not established. Also, the investigation about the effect of adult’s communicative strategy on

child’s language and pragmatic development, and the interaction of communications between adults and children are not available.

Keywords: Communication, Language development, Speech act, Communication strategy

一、前言與目的

兒 童 在 居 家 生 活 中 的 主 要 照 顧 者 可 能 為 父 母 、 祖 父 母 等 成 人 ， 其 互 動 溝 通 行 為 於 日 常 生 活 中 影 響 兒 童 的 語 言 與 口 語 行 為 學 習 發 展 ( E d d y , 1 9 9 7 , L a n v e r s , 2004 , M a r c o s , 2 0 0 5 , P a n , 1 9 9 6 , R y c k e b u s c h , 2 0 0 4 ) ， 對 兒 童 日 後 人 際 溝 通 、 語 文 學 習 、 環 境 調 適 、 認 知 能 力 、 社 會 文 化 適 應 等 具 有 極 重 要 的 影 響 性 。

基 於 語 料 共 享 的 原 則 ， 兒 童 語 言

資 料 轉 換 系 統 ( c h i l d l a n g u a g e d a t a

e x c h a n g e s y s t e m , C H I L D E S ) 的 建 構

概 念 是 由 B a t e s , M a c W h i n n e y , 及

S n o w 等 學 者 發 展 出 來 的 ， 並 於 1 9 8 3

年 在 M a c A r t h u r 基 金 會 的 資 助 下 ， 由

M a c W h i n n e y 和 S n o w 兩 位 學 者 主 導

開 始 建 立。C H I L D E S 建 構 的 目 的，首

先 是 希 望 提 供 不 同 年 齡 、 語 言 及 文 化

下 兒 童 的 大 量 語 言 資 料 庫 ； 其 次 提 供

一 致 性 高 ， 且 標 記 完 整 的 資 料 庫 ， 可

以 達 到 資 料 分 享 的 目 的 ； 再 者 是 提 供

資 料 分 析 自 動 化 處 理 ， 程 式 共 享 的 目

的 ( D a v i e s , 2 0 0 5 , E d w a r d s , 1 9 9 2 ,

G i b b o n , 1 9 9 7 , R o w e , 2 0 0 5 ,

M a c W h i n n e y , 1 9 9 5 , O s h i m a - T a k a n e ,

1 9 9 5，王 立 非，2 0 0 3，溫 志 軍，2 0 0 1 ， 蔡 素 娟 ， 民 9 3 ) 。

在 台 灣 地 區 則 有 蔡 素 娟 ( 民 9 3 ) 採 用 C H I L D E S 的 分 析 系 統 ， 蒐 集 閩 南 語 兒 童 口 語 語 料 ， 資 料 分 析 的 內 容 則 包 含 有 聲 調 、 子 音 、 構 詞 、 分 類 詞 、 動 詞 論 元 結 構 、 句 法 、 詞 彙 、 及 語 尾 助 詞 的 習 得 等 、 對 於 閩 南 語 兒 童 的 口 語 習 得 多 方 面 的 研 究 。 除 此 之 外 ， 對 於 使 用 中 文 兒 童 語 言 發 展 和 溝 通 行 為 方 面 的 研 究 ( 朱 從 梅 ， 2 0 0 3 ， 李 曉 燕 ， 2 0 0 4， 孫 秀 榮 2 0 0 1 )； 張 鑑 如 ( 民 9 1 ) 長 期 追 蹤 兒 童 親 子 對 話 與 其 敘 述 能 力 的 關 係 ， 研 究 發 現 ： 兒 童 自 三 歲 至 七 歲 之 間 的 敘 述 能 力 有 顯 著 差 異 ， 研 究 並 發 現 兒 童 對 於 生 活 經 驗 的 故 事 結 構 、 敘 述 觀 點 、 及 敘 述 順 序 能 力 皆 有 顯 著 進 步 ， 但 在 兒 童 之 間 有 個 別 差 異 。 而 且 母 親 在 兒 童 三 歲 和 七 歲 之 間 所 使 用 的 引 導 方 式 有 顯 著 的 差 異 ， 顯 示 母 親 會 依 親 子 對 話 的 內 容 ， 調 整 引 導 的 方 式 。 隨 著 兒 童 的 成 長 ， 母 親 提 供 的 訊 息 和 提 問 會 逐 漸 增 加 ， 但 母 親 個 人 的 引 導 風 格 並 無 太 大 改 變 。 洪 瓊 之 ( 民 9 1 ) 在 探 討 親 子 互 動 談 話 的 組 織 言 談 主 題 的 溝 通 分 析 中 ， 發 現 隨 著 語 言 能 力 的 發 展 ， 兒 童 在 對 談 中 對 於 談 話 主 題 的 起 始 和 持 續 參 與 會 逐 漸 改 善 ， 同 時 也 能 在 言 談 主 題 中 加 入 新 的 訊 息 。 而 母 親 在 言 談 過 程 的 調 整 現 象 ， 提 供 兒 童 有 效 溝 通 和 語 言 發 展 的 引 導 與 支 持 。

在 溝 通 歷 程 中 ， 母 親 的 對 話 引 導 方 式 和 支 持 會 影 響 兒 童 的 語 言 能 力 發 展 ， 尤 其 是 在 兒 童 的 敘 述 能 力 上 的 表 現 。 本 計 畫 透 過 C H I L D E S 語 料 標 記 方 法 ， 進 行 兒 童 和 成 人 在 溝 通 互 動 歷 程 的 口 語 行 為 ， 及 成 人 的 溝 通 策 略 的 介 入 之 相 關 性 研 究 ， 以 完 成 互 動 性 溝 通 行 為 資 料 庫 設 計 與 蒐 集 。

二、研究方法與步驟

在 互 動 性 溝 通 行 為 資 料 庫 蒐 集 架 構 如 圖 一 所 示 ， 首 先 進 行 互 動 式 口 語 語 料 蒐 集 ， 語 料 蒐 集 實 驗 設 計 如 下 ：

A. 與孩子一起選擇玩具

事 先 與 父 母 溝 通 階 段 ， 父 母 依 據 孩 子 的 閱 讀 狀 況 選 擇 一 本 故 事 書 ， 在 活 動 開 始 前 與 孩 子 討 論 ， 選 擇 一 種 認 為 容 易 引 起 孩 子 注 意 的 玩 具 ， 做 為 預 熱 階 段 的 遊 戲 材 料 。 並 與 孩 子 討 論 在 操 作 性 質 與 角 色 扮 演 的 活 動 中 ， 欲 使 用 的 玩 具 。

B. 預熱階段

目 的 是 幫 助 孩 子 適 應 環 境 ， 減 少 孩 童 對 周 遭 人 物 及 環 境 正 在 進 行 的 事 而 存 在 的 不 安 全 感 或 注 意 力 ， 只 要 覺 得 孩 子 已 能 夠 將 注 意 力 放 在 與 母 親 的 互 動 上 時 ， 即 可 結 束 預 熱 階 段 的 活 動 ， 進 入 主 要 活 動 階 段 。

C. 主要活動階段

依 據 階 段 A 所 挑 選 的 玩 具 與 書 籍 ， 分 別 進 行 操 作 性 玩 具 、 角 色 扮 演 與 親 子 共 讀 等 三 個 活 動 。

D. 互動口語蒐集

互 動 性 口 語 語 料 蒐 集 方 面 ， 採 用 高 感 度 方 向 性 麥 克 風 ， 將 母 子 雙 方 的 對 話 口 語 語 料 錄 製 成 數 位 電 子 格 式 ， 以 利 於 應 用 語 音 科 技 協 助 進 行 口 語 文 字 的 轉 譯 。

資料蒐集 環境建置 活動設計 成人與兒 童研究對 象之選取

成人與兒童 互動式口語 語料蒐集

自動化電腦輔助 語者切割系統 自動化電腦輔助

語音辨識系統

人工校准

互動式口語 文字資料庫 互動式口語

語音資料庫

圖一 電 腦 輔 助 教 學 系 統 流 程 圖 在轉錄口語資料方面，應用語者切割技

術與 語音辨識技術，將整個對話資料切割成

句子結構，再藉由中研院之斷詞程式(CKIP)

協助以進行語句的斷詞，中文語句經由斷詞

程式處理後，各個斷詞可獲得一組候選詞

性，這些詞性可形成詞性網格，下圖二為中

文語句”我花了一天做作業”之詞性網格示意

圖，其中一條路徑即為該中文句之正確詞性 序列，此標記程式採 viterbi 演算法進行詞性 序列之決定，找出詞性序列 S 使得下式有最 大機率值，該序列 S 即為最佳詞性序列 ， 其機率模型推導如下：

S

ˆ

( ) ( ) ^{( )}

( ) (

)

1 1

ˆ arg max arg max arg max

S

S

n n

i i i i

S i i

S P S W

P W S P S

P w s P s s₋

= =

=

≅

= ∏ ∏

(1)

其中 S 為詞性序列，W 為中文詞序列，由 貝氏定理展開後得到兩個機率，P(W|S)為詞 性生成機率，P(S)為詞性相依機率，P(W|S) 估測如下：

( ) ( )

( )

1 2 1 2

1

n n

n

i i

i

P W S P w w w s s s P w s

=

=

=

L L

C ⁽²⁾

此機率可找出該中文詞之候選詞性中最 常出現之詞性，配合詞性相依機率 P(S)：

( ) ( )

( ) ( )

1 2

1 2 1

1

1 1

n n

i i

n

i i

i

P S P s s s P s s s s

P s s

−

=

−

=

=

=

≅

L

C L

C

i

(3)

取得每個語句的語詞組成，依據中央研究院 的詞性分類系統，統計詞彙語料的詞頻、詞 性，及相關的資訊，建立台灣學齡前兒童口 語詞彙資料庫。

圖二、中文語句詞性網格示意圖 三、結果與討論

在本計畫中收集 30 對的母組對話語 料，每一隊母子至少錄製兩次對話資料，研 究對象之家庭成員平時以漢語為日常溝通語

言、孩童語言發展正常、無任何聽覺與言語 障礙的疑慮、父母親之教育程度及職業較為 相近者。

在本對話語料庫中，錄製 130 次對話過 程，合計 22 小時 23 分鐘 33 秒的原始語音訊 號。為協助標記過程之便利性，建立輔助人 工標記介面，如下圖三所示，將整個語音訊 號，經由語者切割技術與語音辨識技術處理 後，整個初步轉譯文字資料顯示並提供人工 標記修正，且在完成轉譯後，透過中研院 CKIP 的斷詞程式後，取得所有詞彙斷點資 訊，並標記每個詞彙其語法詞性，提供給語 言分析專家參考與修正，最後由語言學專家 進行語用標記，本介面可將分析結果儲存成 CHILDS 格式，提供未來分析之相容格式。

本計畫已完成 9 對對話語料的轉譯與人工修 正之語料庫，其中兩對對話語料已完成語用 標記，其部分轉譯結果如下所示：　

@Begin

@ Age of child: 5y11m

@Birth date of child: 1995/12/14

@Filename: 130C10c01

@Language: Mandarin

@Sex of child: Male

@Transcriber: Lin

*MOT: 今天想要穿什麼樣的衣服到學校去?

%spa: $ DJF:QN

*CHI: 穿熊熊的衣服.

%spa: $ DJF:SA

*MOT: 哪一件熊熊的衣服啊?

%spa: $ DJF:QN

*CHI: 這一件.

%spa: $ DJF:SA

*MOT: 這個是熊熊的嗎?

四、結論與建議

將語音識別技術、中文斷詞技術與詞彙

詞性標記技術應用於互 動 性 溝 通 行 為 資

料 庫 設 計 與 蒐 集 中 ， 有 效 減 分 析 的 冗

長 人 工 過 程 ， 且 在 初 步 自 動 化 標 記 過

程 中 ， 將 人 工 標 記 之 結 果 回 饋 於 工 程

人 員 ， 能 透 過 跨 領 域 合 作 ， 協 助 資 訊

工 程 人 員 進 行 斷 詞 與 詞 性 標 記 之 效

能 改 進 。

圖三、輔助人工標記介面

Eddy, J. R. (1997) Mothers' topic-control behaviors during play interaction with hearing-impaired and normally hearing preschoolers., Volta Review, 99(3), 171-183.

Davies, J. (2005). Childish nonsense rules.

Times Higher Education, 1115:18-20.

Edwards, J. (1992). Computer methods in child language research: four principles for the use of archived data. Journal of Child Language. 19: 435-458.

Gibbon, D., Moor, R., & Winski, R. (Eds.).

(1997). Handbook of standards and resources for spoken language systems.

Berlin: Mouton de Gruyter.

Lanvers, U. (2004) Gender in discourse behavior in parent–child dyads: a literature review. Child: Care, Health &

Development, 30(5):481-493.

MacWhinney, B. (1995). The CHILDES Project: Tools for Analyzing Talk. 2nd Edition. Mahwah, NJ: Lawrence Erlbaum Associates.

Marcos, H.& Rabain-Jamin, J.. (2005).

Conversational Support for Assertives in Young Children. Discourse Processes, 40(2):145-169.

Oshima-Takane, Y., & Mac Whinney, B.

(1995). Japanese CHAT manual Tokyo:

Tokyo University Press.

Pan, B. A., Imbens-Bailey, A. Winner, K. &

Snow, C. E. (1996). Communicative intents expressed by parents in interaction with young children. Merrill-Palmer Quarterly.

Rowe, M. L., Pan, B. A., & Ayoub, C. (2005).

Predictors of Variation in Maternal Talk to Children: A Longitudinal Study of Low-Income Families. Parenting: Science

& Practice,5(3):285-310.

Ryckebusch, C. & Marcos, H. (2004). Speech acts, social context and parent-toddler play between the ages of 1;5 and 2;3. Journal of Pragmatics,. 36(5):883-898.

王立非，劉斌. (2003)國際兒童口語語料庫錄 寫系統的賦碼原則初探。解放軍外國語學 院學報，1，50-54。

朱從梅 (2003). 圖畫書閱讀中母親和兒童的 語用研究。南京師範大學碩士論文。

李曉燕 (2004). 不同教育背景母親的言語運 用對兒童語用的影響-3-6 歲兒童的母子 互動研究。南京師範大學碩士論文。

孫秀榮 (2001). 母親的言語運用對兒童語用 發 展 的 影 響 -1-3 歲 兒 童 的 母 子 互 動 研 究。南京師範大學碩士論文。

張鑑如 (民91). 親子對話與幼兒敘述能力之 發展：多年期研究。行政院國家科學委員 會專題研究計畫成果報告。

溫志軍，胡瑰玲 ( 2001). 開發利用世界上最 大的兒童語料庫--CHILDES 。外語教學 與研究，5，374-377。

蔡素娟 (民93). 台灣兒童語料庫(III)。行政院

國 家 科 學 委 員 會 專 題 研 究 計 畫 成 果 報

告。國立中正大學語言學研究所。