應用文字探勘技術於概念股輿情與股價共同移動之研究 -以蘋果供應鏈為例 - 政大學術集成

全文

(1)國立政治大學資訊管理研究所碩士學位倫文. 指導教授：楊建民博士. 應用文字探勘技術於概念股輿情與股價共同移動之研究 -以蘋果供應鏈為例 A Study of Using Text Mining on The Co-movement of Concept Stock Emotion and Price - Take Apple Supply Chain for example.. 研究生：簡智宏中華民國一○四年六月.

(2) 摘要在動盪的股票市場，投資人選擇投資標的時，通常會以報章雜誌經常報導的有共同移動現象之相關股票作為投資標的，而延伸出概念股一詞。但報導所指出的概念股並沒有來源依據來證明概念股間是否具有明顯的關聯性。由於概念股通常具有共同移動的現象，本研究透過文字探勘及 Apriori 關聯法則分析新聞斷詞後的字詞庫，得出 5 個隱藏於新聞中的蘋果相關個股：鴻海、大立光、玉晶光、台積電與台郡。再以此五檔個股與大盤相比，作共同移動程度 T 檢定，驗證結果此五檔股票有共同移動性，並且共同移動程度大於大盤。因此本研究將此五支股票歸納為蘋果概念。然而除了技術分析外，由於投資人也經常參考股市新聞與文章來做參考依據後，來做投資的動作。因此本研究再利用情緒探勘之技術來探討概念股新聞情緒後，再與股價做相關係數比對及過濾，結果發現台積電及玉晶光與新聞輿情有較高的相關性，其相關係數高達七成；此外透過輿情之位移發現新聞輿情領先(影響)0~3 天。最後本研究再以國際指標、總體經濟、技術指標建立滾動 SVM 模型以預測台積電及玉晶光未來 3 日之漲跌，再加入新聞輿情於 SVM 模型，探討情緒是否有助益。結果發現與原型 SVM 相比，加入新聞輿情的 SVM 模型之準確率都有明顯上升，其中預測台積電有較高的準確率達 65%(原型預測率 61%)。其結果足以證明新聞輿情與概念股股價有共同移動性，並領先(影響)概念股股價 1~3 天，因此可以透過新聞輿情搭配相關指數來建立預設模型，以預測相關概念股未來之漲跌.. 關鍵字詞：文字探勘、股市、關聯分析、SVM、Apriori. 1.

(3) Abstract When investors decide which stock to invest, they would likely to take the related stocks reported by news into consideration. And these stocks were called concept-stock. Because investors think that these concept-stocks' price will always move jointly. Unfortunately, there are no proof to prove what the news reported is right or not. So this paper made use of the text mining and relation analysis to find what are concept-stocks hidden in news. According to this paper's method, we mining the CNA NEWS from 2014/9 to 2015/2 and find 5 concept-stocks which are 鴻海、大立光、玉晶光、台積電與台郡. Then analyzing these 5 concept-stocks price by their co-movement indicator and the result is that these stocks move more jointly than the whole stock market. So we concluded that 鴻海、大立光、玉晶光、台積電與台郡 are concept-stocks about Apple. And investors can take this conclusion into consideration when investing. Actually, people will stock the same company after reading the news or finance magazine. So this research analyzed the news emotions about these five stocks and to compare their historical price. Finding that only 台積電 and 玉晶光 are more related with the emotions of the news. So, this research set the 台積電 and 玉晶光 as the target to predict. Last, this paper use the international stock indicators、macroeconomic and technical stock indicators to build the SVM prediction model to predict the 台積電 and 玉晶光 of stock price. And finding that put the emotions to the SVM prediction model can improve the accuracy rate from 61%to 65%. So according this research, we could prove that the news emotion is useful to predict the concept stock by using the SVM prediction model. 2.

(4) 致謝一轉眼的時間兩年就過去了，當初懷抱者持續學習的精神報考研究所並很幸運地加入了政大資管的大家庭。在修課期間，感謝所上的教授們給予細心地指導及建議，拓展了我的視野和知識，讓我了解何謂學海無涯、學無止盡。在政大修課的兩年，除了在學術上的學習，也認識許多人，學到許多做人處事的道理，並認知到自己還須更加努力、持續的學習。能夠完成本篇論文，首先要感謝我的指導教授-楊建民博士，從題目的發想開始，老師都給予我極大的空間去探討有興趣的研究，並適時得點出問題或邏輯上的癥結點後，給予重要的建議。指導論文時，老師常給予我們鼓勵，將研究背後的邏輯脈絡及理論掌握清楚後，再大膽假設，但小心求證。多虧老師耐心及細心的指導下，最終順利完成此篇論文撰寫並完成口試。真的非常感謝教授兩年來的教導。此外要感謝我的家人，一直鼓勵我報考研究所，並在考上後的這兩年給予我無後顧之憂的支援，讓我能順利的完成此篇論文。最後感謝YangYang LAB的各位：良杰、函升學長及悅岑學姊，威宇、佳芸、早彬、詮維同學們，及修維、亦安及柏航學弟們，謝謝大家meeting時給予的建議及幫忙；也感我的同學羿廷、維正、永樂與我討論論文架構及方法並給予我極大的啟發及幫助。瑞祥、佳宏、梓凱、漢文、承安、志騰、承霖也感謝你們在做研究的空閒時，時常揪團一起打球、健身，定期讓我能適當地釋放壓力，英杰、瀚徽、士潔、冠伶、聖凱、冠汝、羽真… 等也感謝你們經常辦聚餐聯絡大家的感情，讓我的研究所的生活充滿了歡笑。最後，很慶幸能成為政大資管的一份子，有你們在身邊，讓我有堅強的依靠，使我不斷朝目標前進，成為更好的人。今日我以政大資管為榮，希望未來能讓政大資管以我為榮。. 簡智宏謹誌國立政治大學資訊管理碩士班中華民國 104 年6月 3.

(5) 目次摘要 ........................................................................................................................................... 1 Abstract ..................................................................................................................................... 2 致謝 ........................................................................................................................................... 3 目次 ........................................................................................................................................... 4 圖目錄 ....................................................................................................................................... 6 表目錄 ....................................................................................................................................... 7 第一章動機與目的 ................................................................................................................. 8 1-1 研究動機 ......................................................................................................................... 8 1-2 研究目的 ......................................................................................................................... 9 第二章文獻探討 ................................................................................................................... 10 2-1 文字探勘於股市新聞與股票預測 .............................................................................. 10 2-2 概念股相關研究 ........................................................................................................... 11 2-3 概念股探勘 ................................................................................................................... 12 2-4 從眾效應與輿情分析 ................................................................................................... 13 2-5 影響台股之相關指數與 SVM 預測 ........................................................................... 17 2-6 本章小結 ....................................................................................................................... 22 第三章研究方法 ................................................................................................................... 23 3-1 第一階段：尋找新聞中隱藏之概念股 .................................................................. 23 3-2 第二階段：情緒探勘與股價共同移動分析 .......................................................... 30 第四章研究結果 ................................................................................................................. 39 4-1 挖掘概念股與驗證 ....................................................................................................... 39 4-2 新聞輿情與股價之關聯性 ........................................................................................... 41 4-3 SVM 股價預測模型與加入新聞輿情之 SVM 模型比較........................................... 46 第五章結論建議與後續研究 ................................................................................................. 56 4.

(6) 5-1 結論與建議 ................................................................................................................... 56 5-2 後續研究 ....................................................................................................................... 58 參考文獻 ................................................................................................................................. 60 英文文獻 ............................................................................................................................. 60 中文文獻 ............................................................................................................................. 61. 5.

(7) 圖目錄圖 1 支援向量機示意圖.............................................................................. 21 圖 2：新聞前處理....................................................................................... 23 圖 3：資料庫新聞示範............................................................................... 24 圖 4：字詞編號表圖 5：新聞對應的字詞表............ 24 圖 6：9 月新聞的斷詞後之"蘋果"詞彙編號 ............................................ 25 圖 7：9 月有關蘋果新聞的編號................................................................ 25 圖 8：新聞過濾布林表............................................................................. 26 圖 9：Apriori 演算法 .................................................................................. 26 圖 10:輿情探勘 ........................................................................................... 30 圖 11：尋找概念股相關新聞 ..................................................................... 30 圖 12：第一次滾動式 SVM ....................................................................... 34 圖 13：第二次滾動式 SVM ....................................................................... 35 圖 14：新聞輿情與蘋果股價比較圖......................................................... 41 圖 15：新聞輿情與台積電比較圖............................................................. 41 圖 16：所有新聞輿情、蘋果股價與台積電之五日平均比較圖............. 42 圖 17：本研究自行整理較相關之概念股................................................. 43 圖 18：本研究自行整理較不相關之概念股............................................. 43 圖 19：台積電不同切割比例之預測準確率............................................. 46 圖 20：玉晶光不同切割比例之預測準確率............................................. 47. 6.

(8) 表目錄表 1：NTUSD 台灣大學語意詞庫 .......................................................... 14 表 2：Apriori 示範 ...................................................................................... 27 表 3：詞彙與語意庫比對........................................................................... 31 表 4：SVM 模型與相關指數 ..................................................................... 36 表 5：SVM 模型與相關指數 ..................................................................... 37 表 6：加入新聞輿情並位移的 SVM 模型與相關指數 ............................ 37 表 7：新聞輿情位移範例........................................................................... 37 表 8：加入蘋果股價的 SVM 模型與相關指數 ........................................ 38 表 9：加入新聞輿情與蘋果股價的 SVM 模型與相關指數 .................... 38 表 10：Apriori 分析結果 ............................................................................ 39 表 11：Apriori 分析結果 ............................................................................ 39 表 12：所有概念股相關係數比較............................................................. 44 表 13：所有概念股位移後之相關係數比較............................................. 45 表 14：SVM 相關指數 ............................................................................... 46 表 15：台積電原型 SVM 與加入新聞輿情的 SVM 比較 ....................... 49 表 16：新聞輿情位移範例......................................................................... 50 表 17：加入位移的新聞輿情之 SVM 模型比較 ...................................... 50 表 18：台積電原型 SVM 與加入蘋果股價的 SVM 比較 ....................... 51 表 19：加入位移的蘋果股價之 SVM 模型比較 ...................................... 51 表 20：台積電原型 SVM 與加入新聞輿情與蘋果股價的 SVM 比較 ... 52 表 21：加入位移的新聞輿情與蘋果股價之 SVM 模型比較 .................. 52 表 22：玉晶光原型 SVM 與加入新聞輿情的 SVM 比較 ....................... 53 表 23：加入位移的新聞輿情 SVM 模型比較 .......................................... 53 表 24：玉晶光原型 SVM 與加入蘋果股價的 SVM 比較 ....................... 54 表 25：加入位移的蘋果股價 SVM 模型比較 .......................................... 54 表 26：玉晶光原型 SVM 與加入位移的新聞輿情與蘋果股價 SVM 比較 .............................................................................................................. 55 表 27：加入位移的新聞輿情與蘋果股價之 SVM 模型比較 .................. 55. 7.

(9) 第一章動機與目的 1-1 研究動機證券市場中影響股市因素很多，常常因為大盤、政治因素、國際指標、匯率、總體經濟...等因素，使得股票市場充斥者不確定因素，投資者難從中獲利或是做風險迴避。. 一般民眾在投資標的選擇上，經常會縮減並針對特定產業，如：科技業、傳統產業…等來做選擇；然而即使縮小至產業，由於產品的不同及競爭，產業鏈中的個股也存在者不同的風險。使得股民在投資選擇時，所考量的不只是企業本身的營運好壞，更考量整體產業鏈或相關供應鏈的未來發展性，以作為參考依據。. 因此傳統投資在做股價分析時，會以移動平均線、K 線...等技術分析來對個股股價作追蹤；然而全球化之影響，除了歷史股價追蹤外，股市相關文章的情緒也成為非常重要的指標之一，因為投資人在選擇個股投資時，常常會參考新聞報章來做為參考依據，進一步選擇較活耀、較有話題性且有共同移動特性的產品或產業鏈題材相關個股作為投資的對象，而這類具有共同移動特徵的股票衍生出" 概念股"一詞。. 以手機產業及蘋果產品有關的公司為例，2014.9 月推出 iPhone6 後，新聞媒體大篇幅報導其產品及其製造商相關新聞，甚至一些新聞直接點名台積電、鴻海．．．等上市櫃公司，歸納為其概念股；然而這些報導所指出的概念股並沒有來源依據，因此本研究透過文字探勘技術，找尋新聞中所傳達的相關概念股，並檢驗這些相關概念股股價的共同移動性及領先性，進而建立 SVM 預測模型。 8.

(10) 1-2 研究目的本研究以新聞為基礎，藉由文字探勘技術對新聞加以整理及分析，找出具有相同話題性的概念股及探討概念股新聞輿情與股價共同移動之現象。希望達到以下目的(以蘋果概念股為例)： 1.透過文字分析技術，找出及探討相關新聞中所隱藏之概念股，並透檢定驗證所找出概念股間關聯的顯著性。 2.透過情緒探勘技術，探討蘋果概念股新聞輿情，並以相關係數證明新聞輿情與股價之共同移動性。 3.結合上述概念股及新聞輿情分析，本研究以資料探勘技術建立 SVM 模型預測概念股未來之漲跌。. 9.

(11) 第二章文獻探討 2-1 文字探勘於股市新聞與股票預測本研究中央社之財經新聞，希望找尋蘋果相關新聞中具有共同話題性之相關概念股，因此透過 CKIP 斷詞將新聞做前處理後，再以資料探勘技術探討處理後的字詞彼此間或與文章間隱藏的資訊。因此本節整理相關文字探勘與新聞分析之技術文獻作為參考。. 股市新聞與預測 Ahmad, Oliveira, Manomaisupat, Casey & Taskaya（2002）在 Description of events: An analysis of keywords and indexical names 研究中指出，新聞消息中所隱藏的各種資訊，如：財報、未來政策...等，對投資策略的制定都非常重要的因素之一。. 葉文華(2011)於運用文字探勘於財經新聞內容即時偵測股價反轉時點之研究，針對非結構化的股市新聞以文字探勘架構來建立股價反轉時點預測之模型並結合技術指標將新聞做分類。研究結果指出透過新聞分類模型結合技術指標在預測反轉點時是有助益的，投資人可以參考其模型作為投資決策之依據。. 鍾任明、李維平、吳澤民(2007)在運用文字探勘於日內股價漲跌趨勢預測之研究，認為除了傳統的基本面及技術面分析外，消息面也是短期對股價有巨大的衝擊性，因此藉由詞性標記方式將新聞斷詞後萃取其關鍵字詞，並結合股價量化資料已建立模型建立一模型。此研究結果指出，新聞結合歷史股價所建立的模型，對投資人在股票市場上有正面的投資效益，對於短期的操作上具有參考的價值。 10.

(12) 2-2 概念股相關研究本研究主要係透過文字探勘技術發掘概念股股價具有共同移動性，因此在本節整理概念股之相關文性，並給予概念股定義。林澄源(2008)在概念股宣告對股價異常報告之研究中，以 2005 年太陽能概念股、2006 年越南概念股及 2007 年水資源概念股等三大不同產業或領域，探討上市櫃公司在宣告概念股形成宣告後對其股價之影響。研究結果發現，不同產業的概念性股票宣告後都對股價會有正面的影響效果，且會有超常報酬的現象。透過此研究，作者對概念股定義為＂具投資話題性的股票，依其產品為標，所包含之上下游合作廠商之類股＂。. 張獻文(2007)在概念股之共同研究-以任天堂遊戲機 Wii 概念股為例的研究中，主要以概念股的交易為主軸，探討遊戲機概念股是否有共同移動之現象。其研究結果證實遊戲機概念股有"共同移動"之現象，且其移動的改變與股價有相當程度的關聯性。而作者在文中定義概念股為：通常指為有共同特性的公司，如相互競爭的同一產業公司，有合作關係的上下游公司，同一集團的公司...等，都可歸納為同一概念股。因此我們可以得知，概念股是有共同"主題"的一群個股，且此具有共同的話題性，並被投資者看好會帶共相關個股反應，造成齊漲齊跌之現象。. 高麗萍、謝佳臻&邵姵雅(2014)在新產品宣告對供應鏈廠商股價影響之研究以 iPad 與 iPhone 宣告為例，研究中作者以蘋果概念股為例，使用事件研究方法及複回歸分析來探討新產品事件對供應鏈廠商股價的影響。其研究結果證實，蘋果新產品宣告和供應鏈股價間存在正向的相關性，且供應鏈協力廠商具有協同合作之價值鏈，對證卷分析具有實質上的助益。. 11.

(13) 2-3 概念股探勘本研究應用文字探勘技術以挖掘新聞中的概念股，透過將新聞斷詞後，針對新聞字詞做 mining，以找尋與蘋果概念股一同出現之概念股。喻欣凱(2008)於運用支援向量機與文字探勘於股價漲跌趨勢之預測指出，文章是有許多句子組合而成，而句子則有許多字詞組合而成；中文的文件或文章是有字與字、標點符號以非結構化的方式組成，單一的字詞未必能獨立表達出在文中所代表的含意，簡而言之其字詞與字詞間沒有明顯的邊界。因此在處理中文文件前，必須對文章採取斷詞的動作，才能使字能以有意義的詞彙方式呈現。然而最常中採用地的方式，以辭典式斷詞法（Chen. 1992）及統計式斷詞法(Sproat. 1990)最為常見。因此將新聞做斷詞分析後，我們進一步可以透過關聯分析來探討資料庫中資料或字詞的關聯性，以作為購物籃分析、交叉銷售、目錄設計... 等方面。常見的問題如：一個消費者買了產品 A，那他購買產品 B 的機會有多大? 透過關聯規則，可在大量的資料中找出少量且易於觀察的資料。. 李家政(2009)在利用關聯法則探勘個股之間的關聯性中，利用 Apriori 演算法訂定 minSupport 與 minCofidence 為過濾門檻，來分析證交所及雅虎股市資訊所提供的資訊，並利用興趣因子(Interesting Measure)探討個股間是否有關連性。此研究指出透過門檻的調整發現，門檻越高時其興趣因子也較容易分辨出個股間是否有關連、無關聯及負關聯之程度。. 吳振和(2011)在應用文件探勘技術於概念股股價共同移動之研究中，使用 Apriori 演算法來訂定 minSupport，來分析聯合知識庫新聞，探討新聞中與蘋果共同出現的相關概念股。研究中指出，透過 Apriori 所選出的概念股相較於大盤有較大的共同移動之波動，呼應消息面對股市市場漲跌的影響。. 12.

(14) 2-4 從眾效應與輿情分析過去研究顯示投資股市之民眾有從眾效應，因此本研究透過輿情分析新聞情緒，了解大眾對概念股新聞之看法，以便後續探討個股漲跌。情感分析應用於自然語言處理、本文挖掘及計算機語言學等方式，來識別和提取原素材中的主觀訊息。進而利用此方法來分析表達的意見、情感、評論、態度...等，發覺內容所代表的字詞，如：贊同(正面)、反對(負面)、或中立情感，亦或是字詞的搭配產生的情感：不(負面)贊同(正面)=負面、不(負面)反對(負面)=正面...等。因此若能透過自動化處理這些意見情緒，對文章的分類或意見的評判在商業上或是社會上都有極大的幫助。. 2-4-1 從眾效應陳志宏(2007)於台灣股市從眾行為之分析中顯示國內股票市場中，投資者們帶有情緒性介入股票市場，使得整體市場出現齊漲齊跌的現象。但在短期獲利空間，從眾效應有正回饋的投報效應。. 李晉寧(2010)於台灣股票市場從眾行為探討暨分量回歸應用中，藉由 Cross-Sectional Absolute Dispersions (CSAD)的研究方法衡量從眾效果，其結果顯示台灣市場有顯著的從眾現象。更進一步的證實美國市場的波動變化對台灣投資者的從眾效應更加加劇。. 陳思蒨(2014)股市從眾效應：以台灣股市為例，其結果發現台灣在總市場中投資人的確存在顯著的從眾現象。並且發現除極少數產業外，其餘皆呈現明顯從眾現象。. 13.

(15) 2-4-2 輿情分析與應用一.意見詞獲取：透過第二節的斷詞法將文章斷詞後，我們可以得到許多字詞或字詞組合，而這些詞彙代表者基本的意見，例如:「開心」是帶有正面的詞彙，而「生氣」則是帶有負面的詞彙；因此要判斷詞彙的極性(polarity)是正向、負向或是中立，則是意見探勘最基本的且必要的課題。目前研究將意見極性判斷歸類為三大類：人工方法(Manual Approaches)、基於字典方法(Dictionary-Based Approaches)與基於語料庫方法(Corpus-Based Approaches) (Feldman, 2013) 1.人工方法：基於於言學以人工方式下去定義詞彙極性，一般來說耗時耗力，較不適用於大量資料。 2.基於字典法：此方法主要是利用事先定義好的特殊字詞，藉由將字詞與語彙資源或語彙庫做比對，如果出現在正面詞彙庫中則代表正向，反之則代表負向，最後將正負向加總來代表文章之情緒。然而此方最大限制在於，如果正負向詞彙庫中沒有其詞彙則無法得知其極性。目前台灣已建立好的詞彙庫為 Kuet al.(2006)發表了台灣大學語意辭典 (NTUSD)，是一部可自行擴充的辭典。如下表 1：表 1：NTUSD 台灣大學語意詞庫正面詞庫. 負面詞庫. 一帆風順,一帆風順的,一流,一致. 一下子爆發,一下子爆發的一連串. 一致的,了不起,了不起的,瞭解,人性. ,一巴掌,一再,一再叮囑,一拳,一般殺人. ,人性的,人格高尚,人格高尚的,人情. 罪,一陣狂風,一陣緊張,一掌,一團糟,一. ,人情味,入神,入神的,入迷,入迷的. 摑,一點點,一蹶不振,人事不省. ,上好,上好的,上等...等，共 3 千多個正 ,人為,人為的,入迷...等，共 8 千多個負面詞彙。. 面詞彙。 14.

(16) 3.基於與料庫方法：此方法是透過演算法大量的予料庫中自動學習詞彙、語句、文章間與意見頃向的關係，但此種方法教義賴種子詞彙的個數及質量，且需要大量的語料來做訓練學習，造成一些詞彙具有多義性而造成詞彙的極性判斷錯誤。. 二.輿情分析: 由於 mobile 及社群的興起，使得人們習慣觀看的習慣改變從原本的報紙轉換變成閱讀網路新聞、網路社群...等，並且透過網路發表自我的看法，因此我們可以透過文字探勘來分析文章之情緒，幫助我們更快速了解新聞或網路上所想表達的輿情。 Li and Wu (2010)於 Using text mining and sentiment analysis for online forums hotspot detection and forecast 蒐集各個論壇的約 22 萬的大眾討串，透過結合 SVM 及 K-means 的演算法將所蒐集到的文章做分類，並給予一個每個類別一個情緒值，以作為類別所代表議題的熱門程度。. Alexander Pak, Patrick Paroubek(2010)於 Twitter as a Corpus for Sentiment Analysis and Opinion Mining 將 twitter 作為資料來源，透過自動蒐集 twitter 上的詞彙後以 Na¨ıve Bayes 做分類，將詞彙分為正面、負面及中立的語意庫。. 楊惠淳(2011)於以客觀分析與相互資訊檢索探討情感分析之準確度-以電影評論為例之研究中，作者蒐集電影評論後，透過劇情資料庫及評論資料庫分別建立主/客觀特徵詞庫，將影評＂主觀＂的句子抽出後再做情感分析。研究中指出透過主/客觀特徵詞庫篩選出並做情感分析較能提高準確度；此外搭配 TFIDF 的程度評估而選取前 2000 個情緒詞時，期評論的分類效果最佳。. 15.

(17) 林揚書(2009)於網際網路新聞文章心情偵測之研究中，以研究新聞讀後心情為目標，蒐集雅虎新聞文章及文章底下的投票資料，再透過 CKIP 將新聞文章斷詞，並且計算出 Log Likelihood Ratio 值，最後與新聞文章的心情比例分數結合，以找出關鍵詞彙做為預測使用。. 鄒函升(2014)於新聞輿情與民意偵測追蹤之研究中，作者收集中央社政治類新聞，透過新聞的分類來了解熱門之事件；並且提出對文件情緒的判斷方式：將所有新聞文件正向與負向極性分數的絕對值加總，得到分數總量，再利用正向極性分數除以分數總量，得到正向文件門檻值。之後透過上述方法做情緒分析以探討新聞情緒的樂觀或悲觀頃向。研究結果顯示，有效的分類有助於更快速洞察新聞，並且透過情緒的分析，更能夠了解事件的輿情走勢及周期性。. 16.

(18) 2-5 影響台股之相關指數與 SVM 預測本研究參考過去有關台股相關影響因素之研究，蔡正修(2007)於台灣上市電子類股股價指數走勢預測之研究指出：台股資訊、國際指標、總體經濟與技術指標，因研究標的時間、對象、背景與研究變數不同，而有不同的適用分析方法，但可以透過互相配合找出較佳的決策；因此本研究從中選取影響蘋果相關概念股之因素已建立 SVM 預測模型，預測蘋果相關概念股未來股價之漲跌。. 2-5-1 影響台股之相關指數 SVM 指數介紹：一.國外大盤係數 1.道瓊工業指數：由華爾街日報與道瓊公司創建者所創造的股票市場指標，現今算法是取一特別值作為除數來計算指數，而指數為美國最大、最知名的 30 間上市公司來做計算。何彥慶(2001)於九零前後，台股加權股價指數與美國道瓊工業指數、日本股價指數的連動關係之研究中顯示台股與美國道瓊工業指數有相當程度的緊密程度。因此道瓊工業指數可作為觀察蘋果趨勢之指標，幫助本研究預測概念股未來股價之漲跌。 2.S&P500：一個由 1957 年起記錄美國股市的平均紀錄，採取美國的 500 家上市公司（佔全美 70%市值），並透過市值加權來計算的一種指數，是僅次於道瓊工業指數的第二大指數，並被供認為全球最具代表的股價指數。張瑛淑(2010)於台股指數、美國指數的預測及兩者關聯性分析，其研究中顯示美股對台股影響中，S&P500 影響台灣加權指數具有一定的程度。因此透過此指數更能觀察全球股市的影響，作為觀察蘋果趨勢之指標，並作為間接影響台股的國際指標。 17.

(19) 3. NASDAQ：納斯達克的上市公司涵蓋所有新技術行業，包括軟體和電腦、電信、生物技術、零售和批發貿易等主要以高科技公司為主；包括：Microsoft、Intel、Apple、 Dell…等，為世界第一個電子證券交易市場。林煜城(2008)於 S&P500 指數期貨與 NASDAQ 指數期貨之關聯性及波動外溢與跳躍現象之探討-VEC-GAECG 模型建立及避險比率與績效評估中表示， S&P500 與 NASDAQ 可做為股價預測之參考指標。因此透過觀察 ZAZDAQ 之指數，可做為觀察 Apple 整體之市場情報，並做為間接影響台股的國際指標。. 二.國內總體經濟指標 1.匯率(Exchange Rate) 匯率為我國貨幣與外國貨幣的兌換比率，匯率除了受到國內經濟狀況影響，國民消費水平增加、購買力增強，匯率就會下降。更受到國外與我國經濟、政策面…等因素影響，影響我國進出口貿易之費用，而反映在股價上面。陳鳳琴(2007)於台灣股匯市與美國股市連動性之在探討之研究中表示，美國匯率的變動對於台灣股市具有顯著的影響力。因此透過觀察匯率的變動，可作為台股股價的參考指標。. 2.外匯存底(Foreign Exchange Reserves, FER) 外匯儲備是指以一個國家的外匯累積，包括現鈔、黃金、國外有價證券等。我國對外貿易依存度極高，當對外貿易有順差時，外匯存底會增加，助於我國的經濟穩定成長，進而吸引投資人投入資金，股價上漲…等。謝中琮&李淑麗(2011)於經濟處報告國際資金流動對我國股票市場的影響中指出外資的買賣與我國股價呈正相關，因此透過觀察外匯存底，可作為台股股價預測參考因素。. 18.

(20) 3.消費者物價指數(Consumer Price Index, CPI) 消費者物價指數是反映國民生活相關價格所統計出的物價變動指標，用來衡量一個國家貨幣與市場經濟的重要指標；如果 CPI 過高，則表示經濟呈現不穩定的狀態，進而影響投資者投資意願。鄧俊明(2012)於台灣地區股價指數、利率、匯率與消費者物價指數相關性之研究中顯示，消費者物價指數影響股價指數。因此本研究將 CCI 設為 SVM 指標，以預測股價之漲跌。. 4.消費者信心指數(Consumer Confidence Index, CCI) 由消費者滿意指數和消費者預期指數構成，反映消費者信心強弱的指標，反映消費者對目前經濟收入、景氣、消費心理狀態…等主觀的感受，以預測經濟與消費趨勢的一項指標。張偉諒(2007)於消費者信心指數與台灣股票市場相關性之研究，其研究結果顯示消費者信心指數與電子類股及汽車類股相當程度的關聯並，且透過模型比較發現對這兩種類股的預測能力也較優於其他類股。因此本研究將 CCI 設為 SVM 指標，以預測股價之漲跌。. 三.股票相關技術指標 1.相對強弱指標(Relative Strength Index, RSI) 相對強弱指標為 1970 年 Wells Wider 找出的一種可以判斷股市買氣強弱與賣氣強弱的一種指標，其經由計算某一段時間的上漲日的指數平均值與下跌日的指數平均值，而推算出股價上漲機率。陳玟志(2013)於 RSI 與威廉指標於台灣加權指數操作績效實證中顯示，採用 RSI 與威廉指標作為投資股市參考依據時，投資報酬有明顯的增長。因此本研究將 RSI 設為 SVM 股票相關技術之指標之一，以預測股價之漲跌。. 19.

(21) 2.KD 隨機指標 KD 隨機指標是 George C. Lane 在 1957 年所創立，其透過計算未成熟隨機值 RSV 來判斷當天收盤價於近期的相對位置為強勢或弱勢，與其他指標相似的是其亦可透過 K 值線與 D 值線的黃金交叉與死亡交叉來判斷進場時機。許溪南、何怡滿與張瓊如(2012)於KD與MA技術指標在避險時機之應用：以台指選擇權為例，其研究中顯示使用 KD 與 MA 技術指標組合時，期投資績效有顯著提升。因此本研究將 KD 隨機指標設為 SVM 股票相關技術之指標之一，以預測股價之漲跌。. 3.MACD 研判股票價格變化的強度、方向、能量，以及趨勢周期，以便把握股票買進和賣出的時機。MACD 指標由一組曲線與圖形組成，通過收盤時股價或指數的快變及慢變的指數移動平均值（EMA）之間的差計算出來。伍尚文(2006)於台指選擇權及期貨操作之研究-運用買賣權結構比例及週技術指標研究中顯示，以 MACD 作為進出場參考時機點，有超過 60%準確率，且投資績效獲利也有顯著提升。. 20.

(22) 2-5-2 SVM 模型支援向量機器(Support-Vector Machine, SVM)由 Vapnik 在 1995 年提出小樣本情況下網路學習規律理論。而資料間分離程度越高，SVM 分類效果越佳。SVM 主要是利用超平面 (Hyperplane)來將資料點分隔成兩類，而資料點與超平面的最短距離稱為邊界 (Margin)，而 SVM 目的為找出最大邊界的超平面，將給定訓練樣本分隔開來，並估計系統輸入和輸出之相依關係，能夠針對未知樣本之輸出做出盡可能準確的分類。 Positive Example H1 H. H: 超平面 H1, H2: 距離H最近的平面. H2. H1 Negative Example. H2. H. 圖 1 支援向量機示意圖 SVM 已廣泛應用於文字分類的研究，SVM 可有效處理文字分類問題的三個特性，包含(1)高維度的特徵空間、(2)稀少不相關的特徵、(3)每個向量的稀疏性。林育龍(2014) 使用 SVM 對 Google Play 上的通訊 App 評論進行情感判別，實證後發現 SVM 所建構的情感分類模型有良好的效果。. Robert P. Schumaker and Hsinchun Chen 於 Textual Analysis of Stock Market Prediction Using Breaking Financial News: The AZFinText System(2006)也指出透過將新聞斷詞結合歷史股價分析，並以 SVM 模型來做預測時，發現在股價預測及投資報酬率都相較於單純使用技術面(歷史股價來預測)分析更有助益。. 21.

(23) 2-6 本章小結從過去研究中，可以了解到股市的相關新聞中有許多隱藏的資訊-新聞消息面及概念股面，並且透過文字探勘之技術，能幫助大眾更快速地瞭解、分析及找出隱藏的信息。新聞消息面中，透過文字探勘的技術結合歷史股價，可以幫助使用者建立預測模型並且提升預測準確率。概念股面中，則可以透過文字探勘的技術，找出相關概念股的關聯性，幫助投資者預測相關股市之漲跌。. 另有研究指出，一般大眾的投資行為有其從眾性，因此大眾接收新聞訊息後，其散戶會共同進出場而影響股價之漲跌。因此透過輿情探勘於新聞的應用，可以幫助投資者了解其他大眾對股市的看法，進而預測股價之漲跌。. 因此本研究結合『文字探勘』及『情緒探勘』之技術並搭配技術指標，首先利用文字探勘技術找尋新聞中隱藏的概念股後再以技術指標做概念股關聯性驗證；得出概念股後，再透過輿情探勘技術找尋相關概念股新聞中的情緒與歷史股價坐進一步比對，做第二次概念股相關性驗證；最後再結合影響股市之相關因素及新聞輿情做 SVM 預測模型，以預測概念股未來之漲跌。. 22.

(24) 第三章研究方法由於新聞消息中隱藏各種影響投資者決定策略的資訊(Ahmad, Oliveira, Manomaisupat, Casey & Taskaya，2002)進而影響投資者的從眾效應（陳志宏 2007）投資相關概念股，因此本章抓取中央社財金新聞，並以蘋果類股為標的，透過文字探勘之技術找出新聞報導下所隱藏的蘋果概念股，探討所有概念股新聞所代表的情緒與蘋果股價是否有齊漲齊跌之關係。本研究整體架構分為兩階段：第一階段：以文字探勘技術將新聞作前置處理後，使用關聯度分析找出新聞中所隱藏之蘋果相關概念股，並以結合技術分析(股價)來驗證概念股是否有共同移動之現象。第二階段：透過情緒探勘找出新聞中蘋果概念股的情緒後，與股趨勢圖及相關係數比對，以驗證前置處理所找出的概念股是否有共同移動現象並做過濾。最後再以相關股票國際指數、總體經濟指數、股票相關技術加上新聞輿情或蘋果股價建立 SVM 模型以預測短期漲跌。. 3-1 第一階段：尋找新聞中隱藏之概念股. 圖 2：新聞前處理 23.

(25) 3-1-1 資料來源本研究透過 JavaAPI：Jsoup(網路爬蟲之 API)，總共抓取中央社 2014 年 9 月 ~2014 年 12 月約 10000 篇財經類別之新聞，這些新聞中所包含的種類多樣，如: 股市新聞、產業新聞、房市新聞...等，要從中找尋想要的資訊並不方便。因此本研究將新聞依照月份做歸類並給予新聞編號以便查詢使用。如下表 2:. 圖 3：資料庫新聞示範. 3-1-2 斷詞處理為了瞭解文章之意義需將文章做斷詞動作（喻欣凱 2008），因此本研究採取 CKIP 斷詞服務，將所有新聞按照月份做斷詞處理，將每個字詞建立編號並將所有斷詞存入字詞庫中兩 table 中，一個字詞編號所對應的中文斷詞；另一個為每篇新聞中所包含的字詞編號，以便未來做分類及建立情緒詞庫使用。. 圖 4：字詞編號表. 如下:. 圖 5：新聞對應的字詞表 24.

(26) 3-1-3. Research 蘋果新聞. 完成斷詞後，本研究 search 每個月的字詞庫，從中找出"蘋果"之字詞及對應到的新聞編號，並且找出共 654 篇關於蘋果的新聞，舉例 9 月的新聞為例如下:. 圖 6：9 月新聞的斷詞後之"蘋果"詞彙編號. 圖 7：9 月有關蘋果新聞的編號. 3-1-4 新聞過濾與關聯度分析新聞過濾：由於單單透過字詞的評判，無法正確的得知新聞是否真正地在談論蘋果電腦，再加上本研究希望找出蘋果新聞中所隱藏的概念股。因此本研找尋許多投顧報告，並且整理出鴻海、台積電、可成、玉晶光．．．等 20 家台灣上市上櫃科技大廠；之後透過字詞庫比對 3-1-3 所得的 9~12 月共 650 篇新聞中是否包含這些科技大廠之詞彙，將所得解果存成布林資料庫。如下圖：1 代表新聞中有提及此公司，0 則反之沒有. 25.

(27) 圖 8：新聞過濾布林表得出此資料表後，本研究將沒有包含任何其他概念股(所有布林之為 0)，而這些新聞有極大的"可能"是談論蘋果公司本身的產品或營運狀態亦或是水果-蘋果之新聞，因此本研究將與去除以免失真。最後得出 224 篇有關於蘋果概念股之新聞。關聯度分析 Apriori 演算法為 1994 年 Agrawal 等人提出的 Apriori 關聯規則演算法[18]，核心是以兩階段級頻集思想的推演，找出大於支持度大於最小支持度的項集，此項集稱為頻集項集，也稱為最大項集。其演算法如下：. 圖 9：Apriori 演算法 26.

(28) 以下表舉例例來說：下表為資料庫 D，項集={鴻海，台積電，中華電，大光}。考慮關聯法則鴻海→台積電，即找出新聞中出現鴻海也出現台積電之新聞。可以得出下列 Support= 2/3：共有 3 個新聞資料，新聞編號 1 及新聞編號 2 同時出現鴻海及台積電，Support=(NewsID 1+ 2)/所有新聞 Confidence = 2/3；在鴻海出現的相關新聞之下，台積電也出現的機率， confidence=(NewsID 1+2)/(NewsID1+2+3) 表 2：Apriori 示範 NewsID. 鴻海. 台積電. 中華電. 大立光. 1. 1. 1. 0. 1. 2. 1. 1. 0. 0. 3. 1. 0. 0. 0. 本小節最後將透過 Apriori 演算法，分析圖 8 布林表，以找出新聞中之概念股. 3-1-5 概念股與台股大盤共同移動檢定 3-1-4 找尋出的概念股，是新聞中最常與蘋果公司共同出現的"話題"，這些概念股是否因有關連性或是共同的話題性而一起被投資人看中而投資，從圖表來看不可得知，因此本研究透檢定方式來驗證這些候選概念股相對於台股大盤是否有共同移動之關係。股價共同移動程度檢定：分別取欲檢定之概念股所對應大盤在同一時間區間每一開盤日上漲個股數及下跌各股數，以計算其股價共同移動程度值，大盤共同移動值計算方式如下：：第ｉ天大盤上漲個股數量：第ｉ天大盤下跌個股數量：第ｉ天大盤股價共同移動程度值 27.

(29) = Max 此外，候選概念股共同移動值計算方式如下：：第ｉ天候選概念股上漲個股數量：第ｉ天候選概念股下跌個股數量：第ｉ天候選概念股共同移動程度值 = Max 此股價共同移動程度計算方式所代表一群股票單日股價漲跌的不平均程度,其值會介於 0.5~1 之間：. . 若一群股票在當日內上漲或下跌程度相同，則其共同移動程度值： Max. . =. =1/2。. 反之，若一群股票在當日內所有股票皆為上漲或下跌，則其共同移動程度值： = Max. =1。. 因此若數值越接近 1，代表這群股票當日共同移動程度較為一致；反之若越接近 0.5，則代表者群股票當日共同移動程度較不一致。. 得到移動程度後，本研究採取 t 檢定來做驗證，假設大盤指數沒股價共同移動之現象，並使用以下方式檢定：兩成對母體平均數差異之 t 檢定，n=120，α=0.05 大盤在第ｉ天股價共同移動程度：計算大盤每日股價共同移動程度平均值. ，標準差. 概念股在第 i 天股價共同移動程度：計算選定知改念股每日股價共同移動平均值，標準差 =1,2,3...n. 28.

(30) ：概念股沒有股價共同移動之現象，與大盤股價移動無異，. ：概念股有股價共同移動之現，計算檢定統計量：T= 拒絕域(RR)={|T|. }，接受域(AR)={T. 若 T 統計量於接受域 AR 則接受虛無假設，表示統計量於拒絕域則拒絕虛無假設. } 和無顯著差異；反之若 T. ，接受對立假設. 有顯著差異，且顯著大於。. 29. ，表示和.

(31) 3-2 第二階段：情緒探勘與股價共同移動分析. 圖 10:輿情探勘. 3-2-1 找尋概念股新聞 id：以 9 月份鴻海新聞為例透過字詞庫 ID，找尋新聞庫中所有關於鴻海的新聞。. 圖 11：尋找概念股相關新聞. 30.

(32) 3-2-2 透過 Python Research TermName 並且與台大 Ntusd 辭典做情緒比對，以鴻海 9 月某一則新聞為例：表 3：詞彙與語意庫比對. 正面詞庫. 負面詞庫. 一帆風順,一帆風順的,一. 一下子爆發,一下子爆發的. 流,一致. 一連串. 一致的,了不起,了不起的,. ,一巴掌,一再,一再叮囑,一. 瞭解,人性...等，共 3 千多. 拳,一般殺人罪,一陣狂風.... 個正面詞彙。. 等，共 8 千多個負面詞彙。. 透過上述方式比對新聞的斷詞與NTUSD後，得到8個正面詞彙：投資、管理、經驗、成長、娛樂、能力、發展、生產。且沒有任何負面詞彙，因此本研究初步將此篇文章以8-0=8作為此篇文章之情緒。將 Preprocessing 所得概念股與蘋果之每日相關新聞與情緒詞庫做比對，計算每日蘋果概念股平均情緒，幫助本研究透過新聞輿情的分析，能更了解概念股新聞的輿情走向及周期性。(鄒函升 2014). 31.

(33) 3-2-3 蘋果概念股新聞情緒與概念股價數值轉換由於比對情緒庫所得之新聞情緒與歷史股價之數值基底不同，因此本研究將兩數值需先以移動平均做轉換找出移動趨勢，再將移動平均正規化將資料轉換到同個標準以便比較。. 數值轉換： . 移動平均：移動平均是一種統計處裡方式算出平均成本的概念，將數字做算術平均；移動平均的種類相當多種，可分為短期(5 日及 10 日)、中期(也稱為月線，24 日、25 日及 26 日)及長期(也稱半年線， 146 日或 150 日。) 由於股票市場訊息面變化快速，造成的影響也非常急遽，所以情緒造成的影響也相當短暫，因此本研究採取 5 日移動平均(即單周移動平均)，以作為後續正規化之使用。. . 正規化：正規化得目的是將不同標準的資料，轉換到同一個標準，以提高分析時的準確度，正規化的種類相當多種，可分為極值正規化(適用於資料在某個指定範圍內)、Z-score(適用於瞭解資料平均與分布關係)及十進位正規化(適用於將資料壓縮在區間[0,1])。由於股價的波動甚大，本研究認為資料範圍須在某個範圍內的極值正規化並不適合;而將資料壓縮在區間[0,1]的十進位正規化則無法有效地比較股價走勢也不適合；因此本研究採取需瞭解資料平均與分布關係的 Z-score 做正規化，來觀察短期內情緒與股價的移動趨勢是否相同。. 32.

(34) 3-2-4 蘋果概念股新聞情緒與概念股價數相關係數驗證此小節探討新聞輿情與概念股股價的共同移動性，將上述所得正規化後輿情與股價做相關係數比對，並且透過情緒位移後再次計算相關細數，以證明概念股之共同移動性。並透過相關系數比較尋找受蘋果新聞輿情影響天數及更進一步篩選概念股以做為下階段 SVM 之預測目標。相關係數驗證及位移天數：將上一小節正規化後所得之新聞情緒及概念股歷史股價計算兩者間相關係數ρ:. )，探討兩者間之相關性，如果相關係數>0.6 則表示此概念股受蘋. 果新聞輿情影響較大且共同移動性較佳；反之相關係數<0.6 則表示此概念股受蘋果新聞輿情影響較不明顯且無共同移動性。並且透過新聞情緒做位移，如：將 9/14 之新聞情緒位移至 9/15，重新計算相關係數是否＞0.6，如是則代表情緒領 1 天，反之則代表不相關；9/13 之新聞情緒位移至 9/15，探討情緒是否領先 2 天...以此類推。位移後重新計算概念股之相關係數，並選擇相關係數較佳的概念股做為後續 SVM 預測之目標。. 33.

(35) 3-2-5 SVM 模型建立本節將蘋果股價的相關國外大盤係數、國內影響消費者投資相關指數及股票相關技術指標作為參考係數建置 SVM 模型，以預測所篩選而得概念股之隔日漲跌。並以 T 檢定驗證不同訓練%數之 SVM 模型預測能力，以選擇較佳切割資料方式。最後本研究透過單獨加入新聞輿情、單獨加入蘋果歷史股價或新聞輿情與歷史股價共同加入以修改 SVM 模型，探討所研究之輿情及概念股是否有提升預測能力以玆證明影響性及有助預測之能力。. training %數選擇與 SVM 模型建置： (a) 滾動式建立 SVM 與選擇 Training 60 % VS 70% 滾動式建立 SVM：建立模型時，本研究將以滾動方式來建置 SVM 模型，預測領先指標所影響之隔 N 日漲跌。以預測個 3 天漲跌為例：. First：70%切割資料，即 1~7 天做為第一次 SVM 模型計算，預測後 3 天(8~10 天)。. 圖 12：第一次滾動式 SVM 34.

(36) Second：2~8 天做為第二次 SVM 模型計算，預測後 3 天(9~11 天)。. 圖 13：第二次滾動式 SVM 藉由以上方法以此類推，觀察所有滾動 SVM 所預測後三天之預測準確率，並計算其平均數做為此 SVM 模型之預測能力。. 切割比例選擇及鑑定：大多文獻上 SVM 採用 70%作為資料切割之比例，卻沒提供數據證明是否 70%為較佳比例;本研究透過(a)階段之後方法將模型分別以 60%及 70%作為切割方式後，再以 t 檢定驗證兩者預測能力何者較佳，以選定後續修改行 SVM 之切割%數。本研究採取 t 檢定驗證，假設 70%做為資料切割比例之預測準確率沒有優於 60%作為切割比例之預測準確率為. 虛無假說：. 兩種%數之與準確率差異之 t 檢定，n=31，α=0.05 以 60%作為切割比例並預測第ｉ天股價漲跌之準確率：以 70%作為切割比例並預測第ｉ天股價漲跌之準確率：計算 70%與 60%預測能力之平均差異，做雙母體差異檢定。 =1,2,3...n. 35.

(37) ：以. 為資料切割比例之預測準確率沒有優於以. ：以. 為資料切割比例之預測準確率較佳，. 計算檢定統計量：T=. ，拒絕域(RR)={|T|. 為切割比例之預測準確. }，接受域(AR)={T. }. 若 T 統計量於接受域 AR 則接受虛無假設，表示以 70%為資料切割比對之預測準確度並無優於以 60%為資料切割比例；反之若 T 統計量於拒絕域則拒絕虛無假設. ，接受對立假設. ，. 為資料切割比對之預測準確度較優。. (b) SVM 指數與建置：本研究透過紅色部分為國際指數、綠色部分為國內消費者相關指數、藍色部分為透過相關系數篩選後所得概念股之技術指標，將這些參數訂為 SVM 參考指標，以建立模型來預測概念股隔日之漲跌。表 4：SVM 模型與相關指數消費消費道瓊外匯者物者信工業 S&P500. NASDAQ. 匯率. 隔日 RSI. 存底價指心指. MACD KD 漲跌. 指數數. 數. 本研究透過相關文獻發現，國際指標：道瓊工業(何彥慶 2001)、S&P500(張瑛淑 2010)及 NASDAQ(林煜城 2008)都包含蘋果公司並且間接影響台灣相關電子股之股價；總體經濟指標：匯率(陳鳳琴 2007)、外匯存底(謝中琮&李淑麗 2011)、 CPI(鄧俊明 2012)、CCI(張偉諒 2007)都對台灣股市有一定的影響；技術指標 RSI(陳玟志 2013)、KD(許溪南、何怡滿與張瓊如 2012)、MACD(伍尚文 2006)對股票預測有相當助益。因此本研究藉由上述指數來建立 SVM 預測模型，希望能預測相關概念股之漲跌。 36.

(38) 3-2-6 加入新聞輿情於 SVM 上一小節選擇模型指數及資料切割比例後，本節更進一步地探討新聞輿情及蘋果股價是否會對概念股有其影響性，因此將此兩變數加入 SVM 模型並針對此兩變數做位移比較預測準確率，證明此兩變數是否有影響力。表 5：SVM 模型與相關指數消費消費道瓊新聞. 外匯者物者信工業 S&P500 NASDAQ 匯率. 輿情. RSI MACD KD 存底價指心指. 隔日. 指數數. 數. 漲跌. 表 6：加入新聞輿情並位移的 SVM 模型與相關指數新聞消費消費輿情道瓊外匯者物者信位移工業 S&P500 NASDAQ 匯率. RSI MACD KD 隔日存底價指心指. 1~3 指數. 漲跌數. 數. 天將情緒往後遞移一天，如：當本研究想觀察 9/24~9/27 的新聞輿情位移一天變動時，則將 9/24~9/27 之新聞輿情移至 9/25~9/28 以做觀察。其餘位移 2、3 則以此類推。表 7：新聞輿情位移範例 9/24. 1. 9/24. 0. 9/25. 2. 9/25. 1. 9/26. 3. 9/26. 2. 9/27. 4. 9/27. 3. 9/28. 5. 9/28. 4. 37.

(39) 表 8：加入蘋果股價的 SVM 模型與相關指數消費消費道瓊蘋果. 外匯者物者信工業 S&P500 NASDAQ 匯率. 股價. RSI MACD KD 存底價指心指. 隔日. 指數數. 數. 漲跌. 蘋果消費消費股價道瓊外匯者物者信位移工業 S&P500 NASDAQ 匯率. RSI MACD KD. 隔日. 存底價指心指 1~3 指數. 漲跌數. 數. 天. 表 9：加入新聞輿情與蘋果股價的 SVM 模型與相關指數消費消費道瓊新聞蘋果. 外匯者物者信工業 S&P500 NASDAQ 匯率. 輿情股價. RSI MACD KD 存底價指心指. 隔日. 指數數. 數. 漲跌. 新聞蘋果消費消費輿情股價道瓊外匯者物者信位移位移工業 S&P500 NASDAQ 匯率. RSI MACD KD 隔日存底價指心指. 1~3 1~3 指數. 漲跌數. 天. 數. 天. 透過上述方法探討(a)加入新聞輿情、(b)加入蘋果股價&(c)同時加入兩者，並將變數位移 1~3 天以修改 SVM 模型，探討此變數是否對股價預測有影響性。. 38.

(40) 第四章. 研究結果. 4-1 挖掘概念股與驗證本研究透過 Apriori 分析，並且將信心程度門檻設為 0.5，來分析 3-1-3 所得 224 篇新聞，並且將每次得到一個概念股就將此概念股相關的新聞納為概念股候選，並從布林資料表中去除，重新以 Apriori 分析剩下來的新聞，以做階層式分析。(去除的目的在於，將確定的概念股納為候選後，本研究希望能找出其他概念股，因此透過去除方式來避免資料的失真。)結果如下：表 10：Apriori 分析結果篇數. Tier. 信心程度. 概念股. 224. 1. 0.5. 鴻海. 157. 2. 0.5. 大立光. 本研究到第二層時，發覺剩餘概念股之信心程度稍微於低落，因此稍微降低信心程度至 0.3 以尋找信心程度高於 0.3 之改念股，結果如下：表 11：Apriori 分析結果篇數. Tier. 信心程度. 概念股. 111. 3. 0.3. 玉晶光. 82. 4. 0.38. 台積電. 61. 5. 0.36. 台郡. 最後本研究透過兩階段的信心門檻的過濾，得到 5 個相關後選概念股：鴻海、大立光、玉晶光、台積電、台郡，而從階層性來看，其與蘋果公司的關聯程度：鴻海>大立光>玉晶光>台積電>台郡，此外從信心程度來看，我們可以推測可得 39.

(41) 一般普羅大眾與新聞記者對於鴻海及大立光是最為熟悉，因此在新聞中最常與蘋果公司一同出現，而玉晶光、台積電、台郡，相較之下則較不為大眾或記者熟知。至於本研究利用文字探勘所找出的這些概念股股票間是否有關連性，本研究將結合股價來作檢定，驗證這些概念股是否相較於大盤有共同移動之現象，以證明其關聯性。. 概念股驗證：為驗證本研究所發掘之概念股間是否具有關連性，而針對 2014/9~2015/2 月之大盤與概念股是否有共同移動之特性，以雙母體統計檢定，期間造成的母體平均差異檢定檢果如下：. 0.207 ：概念股沒有股價共同移動之現象，與大盤股價移動無異，. ：概念股有股價共同移動之現，拒絕域(RR)={|T|. }，接受域(AR)={T. 檢定統計量：T. 5.768. 49(拒絕. 假設，接受. } 假設). 在概念股與大盤共同移動程度之雙母體平均數差異的檢定下，在自由度>100 時，. ；而我們計算出的統計量 T 5.768. ，因此我們拒絕虛無假設. ，接受. ，換句話說透過本研究所抓取的 5 個概念. 股，其 2014/9~2015/2 期間交易日股價共同移動之程度較大盤顯著，故得本研究所選定的 5 概念股相對於大盤有共同移動之現象。後續情緒部分將這 5 個概念股新聞作分類，並且探討新聞中詞性之極性來作為專屬經濟詞庫來源，以作為後續蘋果相關概念股新聞情緒之分析。. 40.

(42) 4-2 新聞輿情與股價之關聯性本研究將 2014/9~2015/2 半年的新聞中，有關於蘋果、鴻海、大立光、台積電、玉晶光、台郡相關尋聞從新聞資料庫中抓出後與 NTUSD 做輿情比對以計算每篇新聞情緒，統計每日所有情緒後做算術平均以代表當日的情緒。並且與 Preprocessing 所得之概念股及蘋果股價做比較，觀察新聞情緒是否領先各檔股票。結果如下圖： 8. 140. 7. 120. 6 5. 100. 4. 80. 3 2. 60. 1. 40. 0 -19月9日. 10月9日. 11月9日. 12月9日. 1月9日. 新聞輿情蘋果股價. 2月9日 20. -2. 0. 圖 14：新聞輿情與蘋果股價比較圖 8. 160. 7. 140. 6. 120. 5 4. 100. 3. 80. 2. 60. 1 0 -19月9日. 40 10月9日. 11月9日. 12月9日. 1月9日. 2月9日 20. -2. 0. 圖 15：新聞輿情與台積電比較圖. 41. 新聞輿情台積電.

(43) 從上表中，本研究發現新聞輿情值與股價兩者間的基底表準不同，以新聞情緒與台積電股價為例：新聞輿情位於左 Y 座標區間[-1~7]，而台積電股價值位於右 Y 座標區間[120,148.5]，兩者的數值差距過大無法準確的比較其相關性。因此本研究將數值取５日移動平均並且做正規化 Z-score，使得兩者的基數以相同標準基底來表示以便後續觀察及驗證。. 移動平均：本研究為了更精準地觀察新聞輿情與股價趨勢，因此將蘋果、鴻海、大立光、台積電、玉晶光、台郡的股價做 5 日移動平均，以蘋果及台積電與新聞輿情之 5 日移動平均為例： 6. 160 140. 5. 120 4. 100 新聞輿情5日移動平均. 3. 80 60. 2. 蘋果股價5日移動平均台積電五日移動平均. 40 1. 20. 0 9月9日. 0 10月9日. 11月9日. 12月9日. 1月9日. 2月9日. 圖 16：所有新聞輿情、蘋果股價與台積電之五日平均比較圖從上表觀察可知，將新聞輿情與股價轉換為 5 日移動平均後，其趨勢線區轉為較為平滑，但新聞輿情的基數與股市不同，本研究將更進一步將新聞輿情及股價以正規化方式將其轉換為相同標準基底以便後續觀察及驗證。. 42.

(44) 正規化 Z-score：本研究將上述蘋果、鴻海、大立光、台積電、玉晶光、台郡及新聞輿情的 5 日移動做正規化將所有數值化為相同基底之數值。其公式為 Z =. ，結果如下：. 本研究觀察趨勢線圖後，先行整理出趨勢線與新聞輿情＆蘋果相近的概念股 2.5 2 1.5 1. 新聞輿情. 0.5 0 -0.59月9日. 蘋果 10月9日. 11月9日. 12月9日. 1月9日. 2月9日. 玉晶光台積電. -1 -1.5 -2 -2.5. 圖 17：本研究自行整理較相關之概念股本研究觀察趨勢線圖後，先行整理出趨勢與新聞輿情＆蘋果相距甚遠的概念股 2.5 2 1.5 1. 新聞輿情. 0.5. 鴻海. 0 9月9日 -0.5. 大立光 10月9日. 11月9日. 12月9日. 1月9日. 2月9日. -1 -1.5 -2. 圖 18：本研究自行整理較不相關之概念股. 43. 台郡.

(45) 新聞輿情與概念股相關係數比較及尋找領先天數透過上一小節處理，將新聞輿情與股價轉換成相同基底，並以趨勢線圖顯示，本研究發現新聞輿情與蘋果、玉晶光＆台積電之走勢圖較為相近；反之與鴻海、大立光與台郡較有差異；但透過線圖無法得知其走勢相似度，因此本小節透過相關係數計算各新聞輿情與個股間的相關性，並以 0.7 作為相關門檻檢驗是否有高度相關信，以及過濾較無相關的個股。. 相關係數比較：表 12：所有概念股相關係數比較新聞情緒蘋果. 鴻海. 大立光. 玉晶光. 台積電. 台郡. 0.735277144. -0.3643. 0.45574. 0.7136. 0.72052. -0.0965. 與股價相關係數. 透過觀察上表可知，新聞輿情與蘋果有高度的相關性，且本研究 Preprocessing 所得概念股中玉晶光＆台積電相較於其他概念股有較高的相關性，因此本研究設定此兩概念股為觀察之目標，作為後續 SVM 預測使用。. 44.

(46) 尋找領先天數：此小節將 9/14 之新聞情緒位移至 9/15，重新計算相關係數是否＞0.7，如果是則代表情緒領 1 天，反之則代表不相關；9/13 之新聞情緒位移至 9/15，探討情緒是否領先 2 天...以此類推來找出領先天數。表 13：所有概念股位移後之相關係數比較遞移天數. 蘋果. 鴻海. 大立光. 玉晶光. 台積電. 台郡. 0. 0.735277144. -0.3643. 0.45574. 0.7136. 0.72052. -0.0965. 1. 0.753370547. -0.3494. 0.46379. 0.70801. 0.72244. -0.0838. 2. 0.762611783. -0.3399. 0.46424. 0.71079. 0.72236. -0.0695. 3. 0.765257022. -0.3339. 0.4697. 0.72616. 0.72609. -0.0529. 4. 0.760157057. -0.5346. 0.37047. 0.30263. 0.36858. -0.0551. 從觀察上表可知，在位移第三天時玉晶光及台積電的相關係數為最大值，到第四天時相關係數大幅降低；本研究將此現象歸納為新聞輿情領先玉晶光及台積電 3 天，因此在觀察蘋果相關概念股時，本研究建議以新聞情緒作為玉晶光及台積電未來１~3 天內趨勢之參考指標。. 45.

(47) 4-3 SVM 股價預測模型與加入新聞輿情之 SVM 模型比較本節將透過 SVM 建立預測模型來測試過去 2014/9~2015/2 台積電及玉晶光在股價表現上的隔日漲跌，模型所參考的參數如下：表 14：SVM 相關指數消費消費道瓊外匯者物者信工業 S&P500. NASDAQ. 匯率. RSI. MACD KD. 存底價指心指. 隔日. 指數數. 數. (紅色部分為國際指數、綠色部分為國內消費者相關指數、藍色部分為台積電及玉晶光技術指標。). 4-3-1 選擇 Training 60 % VS 70%與滾動式建立 SVM 本研究先以 T 檢定驗證切割比列何者較佳，再以驗證後所得之切割比列來做滾動型 SVM 以預測台積電及玉晶光之漲跌。選擇切割比例： (a) 台積電 SVM 模型 70%&60%比較從下表格，初步觀察切割比例 70%的平均預測力較優於 60%. 圖 19：台積電不同切割比例之預測準確率 46. 漲跌.

(48) 以台積電為例檢定切割比例：未檢驗切割比例何者較佳，本研究已以雙母體統計檢定，所有預測期間內母體平均差異檢定檢果如下： =1,2,3...31；. ：以. 為資料切割比例之預測台積電股價之準確率沒有優於以. 為切割. 比例之預測準確：以. 為資料切割比例之預測準確率較佳，. 拒絕域(RR)={|T|. }，接受域(AR)={T. 計算檢定統計量：T= 受. =. = 1.722884. } ，拒絕. 假設，接. 假設。上述結果顯示以 70%為資料切割比對之預測準確度優於以 60%為資. 料切割比例。. (b)玉晶光 SVM 模型 60%&70%比較從下表格，初步觀察切割比例 70%的平均預測力較優於 60%. 圖 20：玉晶光不同切割比例之預測準確率. 47.

(49) 以玉晶光為例檢定切割比例：未檢驗切割比例何者較佳，本研究已以雙母體統計檢定，所有預測期間內母體平均差異檢定結果如下： =1,2,3...31；. ：以. 為資料切割比例之預測台積電股價之準確率沒有優於以. 為切割. 比例之預測準確：以. 為資料切割比例之預測準確率較佳，. 拒絕域(RR)={|T| 計算檢定統計量：T= 受. }，接受域(AR)={T =. = 1.71748. } ，拒絕. 假設，接. 假設。上述結果顯示以 70%為資料切割比對之預測準確度優於以 60%為資料切割. 比例。由上述檢定可知台積電、玉晶光兩檔股票作資料切割時，以 70%為比列的切割方法有較高的預測準確率，因此本研究採取 70%為切割比例做為後續 SVM 修改之比例。因此最後建立模型時，本研究將上述指數作為 SVM 模型參考因素，再以滾動方式建置切割資料為 70%的 SVM 模型，預測 4-3 所得領先指標天數 3 天作為目標天數，探討滾動式 SVM 後 3 天之準確率。. 48.

(50) 4-3-2 SVM 修改確定 SVM 切割比例後，本階段本研究近一步加入操作指標部分－新聞輿情 or 蘋果股價 or 兩者都加入以修改 SVM 模型，並且透過遞移 1~3 天，探討 (a)修改後模型的準確率是否有提升之作用，(b) 遞移 1~3 天準確率是否有提升：. 一.台積電_SVM 1.加入新聞輿情的台積電 SVM 模型：表 15：台積電原型 SVM 與加入新聞輿情的 SVM 比較訓練%數. 台積電_SVM. 台積電_ 新聞輿情_SVM. 70. 0.611. 0.635. (a) 修改後模型的準確率是否有提升之作用：本研究將輿情加入 SVM 模型作修改後，從上述圖表中觀察可知加入新聞輿情之 SVM 模型的預測能力高於原本 SVM 模型 2%，由此推斷新聞輿情對於股市的預測是正面的影響性，能提升預測能力。. (b)將新聞輿情遞移 1~3 天準確率是否有提升：由上述表格中，本研究將(a)修改後的 SVM 模型做進一步的調整，將新聞輿情作位移。台積電_輿情位移：將情緒往後遞移一天，如：當本研究想觀察 9/25~9/30 的新聞輿情位移一天變動時，則將 9/24~9/29 之新聞輿情移至 9/25~9/30 以做觀察。其餘位移 2、3 則以此類推。. 49.

(51) 表 16：新聞輿情位移範例 9/24. 1. 9/24. 0. 9/25. 2. 9/25. 1. 9/26. 3. 9/26. 2. 9/27. 4. 9/27. 3. 9/28. 5. 9/28. 4. 9/29. 6. 9/29. 5. 9/30. 7. 9/30. 6. 透過上述方法位移後，再將位移後的新聞輿情放入 SVM，以修改 SVM 的模型，並且得到以下結果：表 17：加入位移的新聞輿情之 SVM 模型比較訓練%數. 70. 台積電. 台積電_. 台積電_. 台積電_. 台積電_. _SVM. 輿情_SVM. 輿情 1_. 輿情 2_. 輿情 3_. SVM. SVM. SVM. 0.635. 0.645. 0.656. 0.611. 0.635. 新聞輿情位移後結果：觀察上述圖表後，本研究對加入新聞輿情的 SVM 做位移後，發現其預測力隨者輿情的位移天數也跟者上升。藉此結果本研究推斷新聞輿情確實有領先影響性並且加入新聞輿情之 SVM 應將變數設為：訓練 70%數、輿情位移 3 天。. 50.

(52) 2.加入蘋果股價的台積電 SVM 模型：表 18：台積電原型 SVM 與加入蘋果股價的 SVM 比較訓練%數. 台積電_SVM. 台積電_蘋果_SVM. 70. 0.611. 0.624. (a)修改後模型的準確率是否有提升之作用：本研究將蘋果歷史股價加入 SVM 模型作修改後，從上述圖表中觀察可知加入新聞輿情之 SVM 模型的預測能力高於原本 SVM 模型 1.3%。由此推本研究斷蘋果歷史股價對於股市的預測也有正面的影響性，能幫助 SVM 提升預測能力。. (b)將蘋果股價遞移 1~3 天準確率是否有提升：由上述表格中，本研究將(a)修改後的 SVM 模型做進一步的調整後，再對蘋果股價做位移 1~3 天，以修改 SVM 的模型，並且得到以下結果：表 19：加入位移的蘋果股價之 SVM 模型比較訓練%數. 70. 原始_SVM. 0.611. 蘋果_SVM. 0.624. 蘋果. 蘋果. 蘋果. 1_SVM. 2_SVM. 3_SVM. 0.624. 0.613. 0.613. 蘋果股價位移後結果：觀察上述圖表後，本研究對加入蘋果歷史股價的 SVM 做位移後，發現位移一天的 SVM 模型預測準確率後與原本加入蘋果的 SVM 相同；而位移後 2 天或 3 天則稍微下降，但與原始 SVM 還是略微提升。藉此結果本研究推斷蘋果歷史股價確實有領先影響性並且其 SVM 應將變數設為：訓練 70%數、輿情位移 1 天。. 51.

(53) 3.加入新聞輿情與蘋果股價的台積電 SVM 模型：表 20：台積電原型 SVM 與加入新聞輿情與蘋果股價的 SVM 比較訓練%數. 原始_SVM. 全部_SVM. 70. 0.611. 0.613. (a)修改後模型的準確率是否有提升之作用：本研究將蘋果歷史股價與新聞輿情加入 SVM 模型作修改後，從上述圖表中觀察可知加入兩者之 SVM 模型的預測能力只高於原本 SVM 模型 0.02%。藉由此結果本研究推斷兩者對於股市的預測也有正面的影響性，但相較於個別加入 SVM，兩者同時加入 SVM 可能有相互影響性，而影響模型之預測率。. (b)將新聞輿情與蘋果股價皆遞移 1~3 天準確率是否有提升：由上述表格中，本研究將(a)修改後的 SVM 模型做進一步的調整，並對新聞輿情位與蘋果股價皆做位移 1~3 天，以修改 SVM 的模型，並且得到以下結果：表 21：加入位移的新聞輿情與蘋果股價之 SVM 模型比較訓練%數. 70. 原始_SVM. 全部_SVM. 0.611. 0.613. 全部. 全部. 全部. 1_SVM. 2_SVM. 3_SVM. 0.613. 0.656. 0.602. 新聞輿情與蘋果股價位移結果：觀察上述圖表後，本研究對加入蘋果歷史股價與新聞輿情的 SVM 做位移後，發現位移兩天的 SVM 模型預測準確率為最高，但位移第三天預測準確率卻低於原始 SVM。藉此結果本研究推斷輿情與股價同時加入 SVM 時有領先影響性，但會干擾預測力使得預測準確度波動較大，SVM 應將變數設為：訓練 70%數、輿情位移 2 天。 52.

(54) 二.玉晶光_SVM 1.加入新聞輿情的玉晶光 SVM 模型：表 22：玉晶光原型 SVM 與加入新聞輿情的 SVM 比較訓練%數. 玉晶光_SVM. 玉晶光_新聞輿情_SVM. 70. 0.57. 0.5807. (a)修改後模型的準確率是否有提升之作用：由上述表格中，本研究發現黃色區塊為 SVM 加入新聞輿情後，其準確率從原本的平均 5 成 7 提升至平均 5 成 8。本研究由此推斷新聞輿情對玉晶光有些許的影響力，以提升 SVM 準確率。. (b) 將新聞輿情遞移 1~3 天準確率是否有提升：表 23：加入位移的新聞輿情 SVM 模型比較訓練%數. 70. 原始_SVM. 情緒_SVM. 0.57. 0.5807. 情緒. 情緒. 情緒. 1_SVM. 2_SVM. 3_SVM. 0.591. 0.591. 0.57. 觀察上述圖表後，本研究對加入蘋果歷史股價的 SVM 做位移後，發現位移 1~2 天的 SVM 模型預測準確率，略為上升 2%；而位移後第 3 天則稍微下降，但與原始 SVM 預測準確率相同。藉此結果本研究推斷蘋果歷史股價確實有領先影響性並且其 SVM 應將變數設為：訓練 70%數、輿情位移 2 天。. 53.

(55) 2.加入蘋果股價的玉晶光 SVM 模型：表 24：玉晶光原型 SVM 與加入蘋果股價的 SVM 比較訓練%數. 玉晶光_SVM. 玉晶光_蘋果股價_SVM. 70. 0.57. 0.538. (a) 修改後模型的準確率是否有提升之作用：由上述表格中，本研究發現加入新聞輿情後，其準確率反而降低，因此點推斷蘋果股價可能會干擾股價之預測。. (b) 將蘋果股價遞移 1~3 天準確率是否有提升：表 25：加入位移的蘋果股價 SVM 模型比較訓練%數. 70. 原始_SVM. 0.57. 蘋果_SVM. 0.538. 蘋果. 蘋果. 蘋果. 1_SVM. 2_SVM. 3_SVM. 0.538. 0.548. 0.527. 觀察上述圖表後，本研究對加入新聞輿情與蘋果歷史股價的 SVM 做位移後，發現位移後其預測準確率明顯上升一些，但與原情 SVM 相比依舊過低，因此本研究推斷蘋果股價確實會干擾股價之預測。. 54.

(56) 3.加入新聞輿情與蘋果股價的玉晶光 SVM 模型：表 26：玉晶光原型 SVM 與加入位移的新聞輿情與蘋果股價 SVM 比較訓練%數. 玉晶光_SVM. 玉晶光_全部_SVM. 70. 0.57. 0.538. (a)修改後模型的準確率是否有提升之作用：由上述表格中，本研究發現黃色區塊為 SVM 加入新聞輿情後，其準確率從原本的平均 5 成 7 略降至平均 5 成 38。本研究由此推斷新聞輿情對玉晶光有些許的干擾，以將低 SVM 準確率。. (b)兩者變數遞移 1~3 天準確率是否有提升：表 27：加入位移的新聞輿情與蘋果股價之 SVM 模型比較訓練%數. 70. 原始_SVM. 0.57. 全部_SVM. 0.57. 全部. 全部. 全部. 1_SVM. 2_SVM. 3_SVM. 0.57. 0.57. 0.57. 觀察上述圖表後，本研究對加入新聞輿情與蘋果歷史股價的 SVM 做位移後，發現位移後其預測準確率並無明顯增減。. 觀察上述結果後，發現透過本研輿情及 SVM 預測模型建立後，台積電與玉晶光相比，台積電有較好的預測準確率，因此本研究推薦若以蘋果概念股作為投資題材，希望投資者以台積電為參考目前來做風險規避及投資組合之規劃。. 55.

(57) 第五章結論建議與後續研究 5-1 結論與建議一.Apriori 挖掘概念股與 T 檢定驗證本研究使用文字探勘技術將新聞做處理後，再以關聯法則做階層式 Apriori 分析(第一階段 minsupport：0.5＆第二階段 minsupport：0.3)，挖掘出新聞中隱藏的蘋果相關概念股：鴻海、大立光、台積電、玉晶光&台郡並以 T 檢定驗證概念股與大盤共同移動程度之差異，發現此五檔股票相較於大盤有較高的共同移動性，發現此五檔股票相較於大盤有較高的共同移動性，因此本研究將此五檔股票歸納為蘋果概念股。依據本研究方法找尋概念股，相對一般報章雜誌有較嚴謹的方法證實所找出的概念股具有關連性。. 二.輿情分析找尋目標個股選擇與尋找領先(影響)天數找出蘋果相關概念股後，本研究再以輿情分析計算概念股的每日情緒，並以技術指標-周移動平均對歷史股價做處理，將情緒與移動平均做相關係數比對，做進一步的挑選(最低相關係數 0.7)得到：鴻海、玉晶光，作為預測目標。將鴻海及玉晶光設為預測目標後，本研究將每日情緒做位移處理，發現處理後的情緒與此兩檔股票的移動平均歷史股價，於 0~3 天內有相當大的相關性，因此推斷情緒領先(影響) 0~3 天。依本研究方法選擇目標概念股及找尋影響天數，相對於股市名嘴有較多的依據證明相關性。. 56.

應用文字探勘技術於概念股 輿情與股價共同移動之研究 -以蘋果供應鏈為例 - 政大學術集成

應用文字探勘技術於概念股輿情與股價共同移動之研究 -以蘋果供應鏈為例 - 政大學術集成