類神經網路在行銷主軸與產品文案應用

全文

(1)國立臺灣師範大學管理學院高階經理人企業管理碩士在職專班碩士論文 Program of Executive Master of Business Administration College of Management National Taiwan Normal University Master Thesis. 類神經網路在行銷主軸與產品文案應用 Application of artificial neural network to determine product marketing structure and content. 研究生鄭彤怡撰 Cheng, Tung-I 指導教授: 施人英博士 Advisor:Shih, Jen Ying Ph.D. 中華民國一百零七年六月 June 2018.

(2) 摘要一個好的行銷文案計劃需要許多專業的角色共同完成，創意的策略及設計通常需要長時間生活的內化，所以文案沒有對與錯而是能不能勾動閱讀者的感受。對於管理者的難題，常常也在於無法量化或有快速有效的方式獲得提案，產品的週期往往也會在反覆的討論與無法判斷選擇提案的可行性中讓產品時程有所滯延。 2018 科技話題圍繞著人工智慧 AI (Artificial Intelligence) ，AI 提供世界許多解決方案，用 AI 來生成行銷語言，使用自然語言處理和生成比人力撰稿花費的時間短，也有可快速量化、生成和優化的優勢。本研究著重探討商業行為裡行銷活動中的文案是否可利用深度學習與自然語言處理來生成文案之可行性的評估與相關實驗，以期利用該類系統應用於文案生成的結果來有效減少傳統人力作業模式的資源耗損，藉由增加效率來解決管理上的問題。. 關鍵字：. 深度學習，自然語言，文本生成，產品行銷，文案 I.

(3) Abstract Marketing related activities have got more and more importance in the business world nowadays, and to write a decent copywriting gets even more considerable among all kinds of work related to digital marketing. There is no good or bad copywriting, the only thing matters is: Can it resonate the most with target audience? Inspired by sophisticated AI provides all kind of solutions and both of a very trendy AI application, NLP and highly appreciation of creating touching copywriting when running a business, the theme of this thesis is to study whether AI can automatically generate useful copywriting by training a designated RNN model with a large amount of existing copywriting data and then having a business category chosen as a keyword to input. This kind of technology could significantly reduce human effort of manually constructing slogans or promoting sentences. In addtion, efficiency brought by such application would help business managers to avoid back and forth discussion which could delay projects and not able to compete in current rapid business environment.. Keywords ：. Deep learning,Natural language processing,Copywriting. generator,Product Marketing,Recurrent neural network,Long short-term memory. II.

(4) 誌謝感謝施人英教授伴隨我們每一次的論文討論，每次的建言也幫助我逐漸修正方向與收斂研究的結果，施老師沈穩的學者氣息也平靜了我在工作與學業間掙紮著平衡的那顆浮躁的心情。也感謝老師介紹資管的阮日勝同學協助我一同討論 python 程式相關的問題。也感謝家人的包容讓我這幾個月棲棲遑遑的努力在工作與論文寫作上面取得了一個平衡，家人默默的關心溢於言表。更要謝謝我的好夥伴陳威廷在無數個週末犧牲休息的時間陪我把咖啡當水喝的一起找資料或一起討論幫助我理清思緒。還有同個論文小組的學長姐: 邱郁清、孫倩君，尤其是倩君學姊自願當起小組長的角色，不厭其煩的打點小組的聯絡事宜，而進度總是第一的她也是激勵我讓我持續努力然後期許能大家一起口試的好同學。也希望更多人加入 AI 的研究與討論讓各類的應用能發揮在不同的領域對每個有困擾的人有所助益。. III.

(5) 目錄摘要 ..................................................................................................................... I ABSTRACT ...................................................................................................... II 誌謝 .................................................................................................................. III 表目錄 .............................................................................................................. VI 圖目錄 ............................................................................................................ VII 第一章、緒論 .................................................................................................... 1 第一節、研究背景 ........................................................................................ 1 第二節、研究內容與目的 ............................................................................ 3 第三節、論文組織與架構 ............................................................................ 4 第二章、文獻探討 ............................................................................................ 5 第一節、產品行銷理論 ................................................................................ 5 第二節、LANGUAGE MODEL 語言模型 ......................................................... 6 第三節、DEEP LEARNING 深度學習 .............................................................. 8 第四節、文本生成 ...................................................................................... 10 第五節、定量分析方法 .............................................................................. 10 第三章、研究方法 .......................................................................................... 14 第一節、文字建模 ...................................................................................... 14 第二節、模型建構-類神經網路 ................................................................. 15 1 RNN ....................................................................................................... 15 2 LSTM 網路 ............................................................................................ 17 3 優化器 ................................................................................................... 17 4 詞向量 ................................................................................................... 18 第三節、研究限制 ...................................................................................... 19 1 資料量 ................................................................................................... 19 2 Overfitting (過度擬合) .......................................................................... 19 第四章、資料分析與解釋 .............................................................................. 24 第一節、文字資料預處理 .......................................................................... 24 第二節、訓練用 RNN 模型 ........................................................................ 24 1 Tensorboard 訓練可視化圖表............................................................... 26 第三節、輸出文案資料 .............................................................................. 27 第四節、文案可行性調查 .......................................................................... 29 IV.

(6) 第五章、結論 .................................................................................................. 33 第一節、研究發現 ...................................................................................... 33 第二節、建議 .............................................................................................. 33 1 神經網路可解釋性 .............................................................................. 33 2 Generative Adversarial Network 生成對抗網絡 ................................. 34 參考文獻 .......................................................................................................... 36 一、英文文獻 .............................................................................................. 36 二、中文文獻 .............................................................................................. 40. V.

(7) 表目錄表 3-3-2-1 LOSS DATA 變化表 ..................................................................................... 21 表 4-3-1 預訓練資料範例 ........................................................................................ 27 表 4-3-2 輸出文案範例 ............................................................................................ 28 表 4-4-1 輸出可用性比例 ........................................................................................ 29 表 4-4-2 輸出可用性與詞性比較 ............................................................................ 30. VI.

(8) 圖目錄圖 1.3.1 論文組織與架構........................................................................................... 4 圖 2.3.1 TENSORFLOW 在 GITHUB 開源庫的排名..................................................... 9 圖 2.3.1 易讀性測試測試的基礎數學公式............................................................. 12 圖 3.2.1.1 AN UNROLLED RECURRENT NEURAL NETWORK 遞歸神經網絡展開圖 .... 16 圖 3.2.3.1 應用 SIGMOID 函數的效果 ........................................................................ 18 圖 3.3.2.1 過度擬合模型 ......................................................................................... 20 圖 3.3.2.2 模型一使用資料大小 407KB 的損失視覺化.......................................... 21 圖 4.2.1 使用模型的可視圖..................................................................................... 25 圖 4.2.2.1 使用模型的 LAYER 2 之 DISTRIBUTIONS (數據分佈圖) ....................... 26 圖 5.2.1 GAN 架構 .................................................................................................. 35. VII.

(9) 第一章、緒論. 第一節、研究背景. 一個品牌的故事文案是一段有凝聚力的敘述，涵蓋了事實與創造，目的是讓大眾能夠感覺品牌。一個好的網站或行銷計劃需要許多專業的角色共同完成，創意的策略及設計通常需要長時間生活的內化，對產品的感受能力與轉化成實際行銷計劃的能力許多廣告人的自白跟故事裡，都包含了其人生中經典的思維。所以文案沒有對與錯而是能不能勾動閱讀著的感受，要能與世界溝通，又要具備藝術的思維，與世界溝通的同時，能帶給世界啟發。對於管理者的難題，常常也在於無法量化或有快速有效的方式獲得提案，產品的週期往往也會在反覆的討論跟無法判斷選擇提案的可行性中讓產品時程有所滯延。 2018 科技話題諸多圍繞著人工智慧 AI，AI 提供世界許多解決方案，用 AI 來生成行銷語言，使用自然語言處理和生成比人力撰稿花費的時間短，也有可快速量化、生成和優化的優勢。 Google UAC (Universal App Campaigns) 廣告「通用應用程式廣告活動」的簡介中提到: 您只需提供廣告文字、起始出價和預算，再指定廣告的語言和地區即可。我們的系統會測試各種組合，更頻繁地顯示成效最佳的廣告，不需要您額外設定。表示其應用已能廣泛通用於產品的短文宣使用，其延伸的使用的極致應也是能針對各種不同風格產品指定套用不同的文風。 1.

(10) 京東在 2018 年四月也推出類似人工智慧寫作應用，基於 NLG (Natural language generation)和語言模型，命名為「莎士比亞」，號稱一秒可產出上千條文案。比如，使用者登錄後在使用介面輸入一些關鍵字“冬季” 、“大衣” 、“黑色”，然後點擊“生成”就能夠自動生成文案藉此能夠很大的賦與商家提高效率、將對降低人力成本的助益。但也有編輯提出疑問，認為這樣的文案還能有人情味嗎(張睿，2014)? 而另一智慧設計系統於 2018 年 4 月 21 日在第七屆用戶體驗設計論壇發表的「鹿班」，其前身為「魯班」，在天貓 2016 年雙 11 製作了 1.7 億張 Banner（橫幅廣告），約為 100 個設計師連續 300 年的產出。2017 年更升級製作了 4.1 億張。阿裡巴巴智能設計實驗室負責人吳春松認為：AI 不能取代設計師，而是將設計師腦力作衍生、節省體力的耗損，以高效率重新建構設計的效果。而「鹿班」也提供了兩種模式: 智慧模式與設計師協同模式。以 Google、京東、阿裡巴巴的生成引擎來說，都是傾盡全集團的資源而能有比較符合使用者需求的生成智慧設計系統，但使用者只能輸入系統限制的資料格式。如果以一般行銷人員在產品前期的一些發想其實較需要能任意輸入資料且運算相對簡單的模型。而一般非以深度學習的生成器以 Shopify1的 Free slogan maker(標語生成器) 為例，它是一種 Javascript 的文本生成器。實際使用並輸入了 htc、三星來生成了 1076 個輸出做比較，其結果只是把輸入當作關鍵字帶入，其 1076 個結果其實都是一樣的內容。這在於實用上並不可行。以自然語言模型生成的方式則沒. 1. Shopify 一間電子商務平台，提供線上，社交媒體或個人銷售所需的服務。 2.

(11) 有此問題。. 第二節、研究內容與目的. 本研究著重行銷文案探討並調用 Jonbruner(2017)Github 上 CharRNN(Character-level multi-layer Recurrent Neural Network language models)以字元為單位元的遞歸神經網路語言模型，以非監督式學習方式輸入選用經典文案短文，期望經過學習神經網路能輸出走心的文案。並以實驗測試的方式檢視其效果，輸出文案使用質性研究訪談使用者主觀意識對於文本生成方式的使用意願以及客觀的文本易讀性分數來監督輸出結果的有效性。探討這項技術應用於文案生成的可行性，以期有效解決管理上的問題。. 3.

(12) 第三節、論文組織與架構. 分析行銷文案在專案中的類型與重要性. 使用自然語言模型. 模型訓練. 文本輸入類型. 輸出資料分析. 資料評估探討. 行銷應用者訪談. 結論. 圖 1.3.1 論文組織與架構資料來源：本研究整理本研究著重行銷文案探討並使用 RNN 進行訓練，使用本研究想探討的文案範例使用爬蟲軟體進行數據收集，並進行資料的數據預處理。將進行訓練後產出的資料，作為調整模型的參數的依據後，再將最後輸出資料進行評估與探討。評比方式主要以行銷應用者比如廣告從業者進行訪談與評分，並針對訪談者的意見與分數進行研究結果的總結與分析。. 4.

(13) 第二章、文獻探討. 第一節、產品行銷理論. 產品文案需要符合使用者對產品廣泛的印象，同時向消費者講述其獨特的故事。業務員每遇到一位顧客就成交一筆訂單，那一篇好的文案，就等同將這個成功的業務員移植到所有顧客能見的廣告頁面。文案就是透過寫作體現說服力與銷售力。Sugarman (2007)認為把文案寫好，那你便得到一個強而有力的工具，讓你在餘生都享有展現這種溝通能力所獲得的報酬，而且不管在平面、電視或任何新興電子媒體都能奏效。Strachan (2013)Big Star Copywriting 的 MD 在 10 top tips for being a successful copywriter 提到要成為一名文案人，你需要能夠快速工作，並具備散文的天賦。 Kotler(2005)認為一個有效的營銷策略結合了市場營銷組合的 4P (Product, Price, Place & Promotion): Product 產品：品種，質量，設計，功能，品牌名稱，包裝，服務 Price 價格：標價，折扣，津貼，付款期限，信用條件 Place 地點：管道，覆蓋面，分類，地點，庫存，運輸，物流 Promotion 推廣：廣告，人員推銷，促銷，公關文案內容即佔了 4P 中的 2P ，即產品與推廣。 Wiebe(2018)認為好的 Copywirter(文案撰稿人)應該光 90％的寫作時間來製作強烈的標題，不要用關鍵字填充它們，也不要讓 SEO 影響你如何編寫它們。 5.

(14) 要讓頭條引人注目! ( ElizabethDeMeré, 2015). 第二節、Language Model 語言模型. Jin (2017) 認為 Language Model (語言模型)就是用來計算語言單位（如單詞，句子）概率的模型。一般的語言模型有兩個種類: Grammar-based models 基於文法的模型 Statistical models 統計模型 Cassidy(2002) 解釋到儘管基於文法的語言模型很容易理解，但它們通常不適用於大型詞彙應用程式，因為編寫具有足夠的語言覆蓋範圍的文法非常困難。且概率也是由文法編寫者來決定。計算上較費時而且適應力也比較差。因此現在最常使用的語言模型為統計型模型，其基於來自大量文本或轉錄語音的字串概率的估計。透過統計概率參數，可以推斷出自然語言下一個語句出現的機率，而不是透過文法來判斷。統計語言模型描述了一串文字序列成為句子的概率。假設文字序列 S 由單詞 w1,w2,...wn 組成，而 P(S)為該文字序列構成句子的概率，P(w1)為第一個單詞 w1 會出現的概率，P(w2|w1）則是在第一個單詞 w1 已經出現的狀況下第二個單詞 w2 會出現的概率；這裡並不要求語句 S 在語法上是完整或通順的，模型只需對任意的語句 S 定義出相對應的概率值。所以 P(wi|w1,...,wi-1)是序列 w1 到 wi-1 後出現第 i 個單詞的概率。i-1 種單詞的組合一共會有 N 的 i-1 次方種排列方式。所以當 i 增加，計算的可能性是指數倍率的增長。Rakkiyappan, Chandrasekar, Lakshmanan, Park (2015) 提到此 6.

(15) 簡化的假設稱作 n - gram Markov chain2(N 項目的馬爾可夫鏈) 即語言中的任意一個單詞出現的概率與其前面 N-1 單詞有關。而 Recurrent neural network (RNN) 遞歸神經網絡語言模型藉由將歷史資訊存在在隱藏層所以能夠處理任意長度的序列。而這樣的記憶能力在現在的自然語言處理中廣泛運用；手寫辨識、拼寫校正、語音辨識，圖生成文本、機器翻譯、人機對話以及本研究中的文本生成等。傳統統計型模型模型的條件項只包含有限的首碼詞彙訊息，RNN 則將語料集的全部前序詞彙當作模型的共用參數當作計算範圍。 Chromiak (2017) 認為 Language Modeling (LM) 語言建模是 Natural Language Processing (NLP)自然語言中最重要的一環，需要語言模型來將文本轉換成機器能理解的形式。目前公開的語料庫有著名的電子書發布商古騰堡3以及 Google 的萬億字語料庫，Google 還提供 N-Gram4可自行輸入語言單位來看到歷年度出現的概率。當然使用者也能根據自己的需要在神經網路中自己輸入文本以及自定義概率。. 馬爾可夫特性指出未來狀態的可能性僅取決於當前的狀態，而不取決於其之前的事件. 2. 序列。 3. N-Gram Google Books Ngram Viewer 是一個在線搜索引擎，用於繪製任何一組逗號分隔. 的搜索字符串的頻率。 4古登堡計劃為一非營利計畫，致力於數位化和歸檔文化作品，目前約有 57000 免費電子書提供各種研究與使用。 7.

(16) 第三節、Deep Learning 深度學習. Brownlee(2016)提到深度學習是 Machine learning (機器學習)的子領域，涉及受大腦結構和功能啟發的演算法。即 Artificial neural networks (人工神經網絡) ，而 Poole, Mackworth, Goebel(1998) 認為 Artificial Intelligence (AI) 人工智慧則是指機器被編程為像人一樣思考並模仿人的行為方式。人工智慧的理想是能夠合理化並採取能夠實現特定目標的最佳方法，機器可使用基於數學，計算機科學，語言學，心理學等等的跨學科方法。AI 可以泛指於任何展現人類思維特徵的機器，比如學習和解決問題。目前最具知名度的應用則為國際象棋計算機和自動駕駛汽車。Ng(2013) 提到使用大腦模擬是希望使學習演算法更好，更容易使用。能在機器學習和 AI 方面取得革命性進展，而這是我們向真實人工智慧發展的最佳拍檔 LeCun 認為，深度學習運行的模式，是將每個物體不同的特徵元件所組成分級，例如圖元、邊緣、輪廓等，下一階特徵萃取把上一層的結果進行組合，由形體再組成物體。分層式架構適用於各種訊號文字、語音、動作，這種方式類同於人腦運作模式(新智元，2017) 。 Ng(2015)認為深度學習的核心是，我們現在有足夠快的計算機和足夠的數據來實際訓練大型神經網絡。我們現在已經能有非常大的神經網絡以及我們可以取得的大量數據來進行訓練深度學習的問題在於如何訓練，Back Propagation Algorithm (誤差反向傳播演算法)事先經過簡單的線性分類，再把結果帶到非線性的線性整流函數（Rectified Linear Unit，ReLU），目的是找到調整參數的方法減少誤判，但是現在都有套件或是框架，本研究使用的 TensorFlow 或是其他的開源機器學習框架 Torch、 Caffe2 等。 8.

(17) 圖 2.3.1 TensorFlow 在 Github 開源庫的排名(Jeff Dean,2017) 資料來源：Fabrizio Milo(2017) 「What happened at the Tensorflow Dev Summit 2017 - Part 1/3: Community & Applications」。 Dean(2017) 提到 TensorFlow 在 Github 開源庫中是“機器學習”類的第一名，擁有超過 44,000 顆星，500 名程式員開發並提交了其軟件，每月提交數千次提交，以及 5,500 個獨立存儲庫。TensorFlow 還修改 Python API，讓 TensorFlow 與機器學習研發者常用的 NumPy 用法更相近。而微軟則主推 CNTK 2.0 並鎖定企業級需求，社群網站臉書則推崇 Caffe2。 LYNN (2017) 提到 2015 年，約每 22 天就有一個深度學習的工具集 (toolkit) 被發布出來。深度學習正從高冷的數學模型、逐漸邁向黑盒子的過程。這是什麼意思呢？機器學習和深度學習模型在目前已經是一個封裝地很好的黑盒子；使用者只要下載 Package、透過 Tensorflow、Caffe 等開源平臺 Toolkit、調一下 API，把資料丟進去，就能神奇地完成某個任務。即使不瞭解背後的數學模型，仍然可以很輕鬆地使用深度學習做數據分析。. 9.

(18) 第四節、文本生成. Mittal (2017)認為自動文本生成是一個有趣的任務，學習文本的語料庫，並從逐字這個模型中產生新的文本。模型能夠學習如何拼寫、標點，以及形成句子，甚至可以捕捉文本中文本的風格。遞歸神經網絡用於學習輸入字串序列中項目之間的關係，然後生成文本。英國風險投資基金 MMC venture (2016)發布了一項研究，顯示五分之一的英國人工智慧初創企業將目光投向了營銷 - 特別是文案。以 Persado (n.d.)為例人工智慧 AI 解決方案 Persado One，該解決方案使品牌能夠以個性化的情感語言吸引所有管道的每位消費者，從而推動短期銷售和強大的長期關係。品牌首次可以獲取和調整語言，重新創建面對面的人類體驗在所有管道、規模和整個客戶生命週期內保證性能。. 第五節、定量分析方法. Babbie (2010)指出定量方法強調客觀測量以及通過民意測驗，問卷調查和調查收集的數據的統計，數學或數值分析，或者通過使用計算技術操縱預先存在的統計數據。定量研究的重點在於收集數據並將其推廣到不同的人群或解釋特定的現象。定量研究用於通過生成數據或可以轉化為可用統計數據的方式來量化問題，它用於量化態度、觀點、行為和其他已定義的變量，並概括更大樣本群體的結果。定量研究使用可衡量的數據來製定事實，並揭示研究中的模式。定量數據收集方法比定性數據收集方法更加結構化。定量數據收集方法包括各種形式的調查 - 線上問卷調查、紙本問卷調查、面對面訪談、電話訪談、縱貫性研究、 10.

(19) 民意調查和系統觀察。本研究主要以神經網路輸出之資料用訪談的方式進行 Peer Review 跟 AIDA 的調查，用自動化文本分析來評比文案的易讀性。 1 Peer Review System Gannon (2001) 認為科學過程的一個重要方面是其他同儕對手稿的徹底檢查。他們批判性地閱讀這篇文章，然後表明它是否能被接受，同行評審是科學活動的基石，並帶有責任和好處。邱炯友(2003)指出同儕評閱一般亦作「同儕審查」。然而，具有同類學科背景的同儕應以自律與公正平等為精神，也因此「review」一詞並非建立全然的權力「審核」意義上，更非具「檢查」之實，而以「平等權力而致公正可靠之品質建立」為核心思考。 Masterson (2007) 發表 AWAI Peer Review System。將嚴謹的科學研方法導入到文案評比的應用。評比小組成員約為五、六個人。不需要是頂尖的撰稿人，以求得到誠實的直覺反應。評分從 1（低）至的 4（高）。最後分數被加總後平均。3.2 或以上的平均分數表示文案不需要改變，但可以選擇採納評審過程中得到的建議。分析 3.2 以下的文案則需要改進。 2 AIDA 比較 Priyanka (2013)指出基本 AIDA 模型：意識→興趣→慾望→行動。由此可知其三大作用為傳遞資訊，改變態度，促使行動。但改變態度和促使行動建立在消費者收到的資訊。該模型不只限於廣告。AIDA 模式的基本原則被銷售代表廣泛採用，自 Sheldon(1911)的著作“ 成功銷售” 一書後，廣泛使用這些步驟來準備有效的銷售文案。因此不管是使用理性資訊:傳遞產品功能，以及產品優勢或感性資訊: 傳遞 11.

(20) 品牌調性、故事、價值觀。傳遞資訊都是文案的最基本功能。 3 易讀性測試易讀性測試旨在辨別句子或文本是否容易理解。有兩種測試，Flesch Reading Ease (圖 3.3.1) 和 Flesch-Kincaid Grade Level。雖然他們使用相同的核心計算方式（字長和句子長度），兩者有不同的權重。 Citation. Flesch, R. (1948)指出該公式通過音節的數量來評估平均句子長度和平均詞長。這些值越高，分數越低。任何 30 分以下的分數通常只能由具有大學畢業水準教育的人理解。也就是說，五年級的學生可以理解 90 分以上的分數。所以一般約目標在 60-70 分左右的分數。大約是相當於 8-9 的等級水準， 13-15 歲的人應能理解該分數的文本。. 圖 2.3.1 易讀性測試測試的基礎數學公式。資料來源：Ruth Colmer (2017)「The Flesch Reading Ease and Flesch-Kincaid Grade Level」。以中文來說國內也有自動化文本分析的各項研究，比如說宋曜廷、陳茹玲、李宜憲、查日龢、曾厚強、林維駿、張道行、張國恩（2013）的中文文本可讀性自動化分析系統以及陳建宏、蔡筱倩、郭伯臣、廖晨惠、楊裕貿(2013)在中文 12.

(21) 文本詞頻、詞彙數電腦自動化分析系統研究中根據國小使用文本分析進行詞類分析的研究結果指出：詞類出現的比重順序依序是 1: 名詞、2:動詞、3:副詞、 4:形容詞。本研究輸出也會依據文本分析的分數做為比較。計算文章的實詞方式為在整個資料集出現的頻率取對數後平均。. 13.

(22) 第三章、研究方法. 主要有以下四個步驟 1.. 數據預處理：針對本研究想探討的文案範例使用爬蟲軟體進行數據收集進行資料的轉換、分割資料成為 mini-batch 進行訓練。. 2.. 模型構建：針對研究目的選擇 LSTM(Long short-term memory) 是一種 Char-RNN 模型進行文本生成，觀察 loss (損失)，optimizer(優化器)的效能。. 3.. 模型訓練：使用預處理的文本為輸入並設置模型參數對模型進行訓練。使用 Tensorborad 觀察模型訓練過程損失、偏差與權重的變化。. 4.. 文本生成與評估：訓練後輸出新的文本並使用量化方式評估輸出文本。. 第一節、文字建模. 本研究使用的模型為 Char-RNN 是以字元為單位元的遞歸神經網路模型（字母和標點符號都視為一個字元）進行模型構建，訓練的模型是語言模型，也根據輸入的一個字元，預測可能性最高的下一個字元，因此的輸入和輸出都是字元。輸入的文本需先進行數據預處理，在模型裡加載數據後先按字數排列建構輸入文章中所有字元的集合，lambda word 統計每個字出現次數再將每一個字 14.

(23) 元分配一個數位元元 ID 為索引。接下來將字元轉換成向量的形式，而每次訓練的文案大小則是由模型的 batch_size 定義。如果輸入的文案的長度(字元數) 不是固定數量，則用 dynamic_rnn 自動進行時間維度推進。. 第二節、模型建構-類神經網路. 讓神經網路產生作用的演算法包括前向(forward)結果運算，誤差反向傳播運算 BP(Backward Propagation)以及梯度的參數訓練。在沒有程式語言背景的限制之下本研究選用 TensorFlow 深度學習框架，已經將各種功能封裝，研究使用的模組只需要調用對應的 API 來實現。 TensorFlow。Tensor 代表張量，Flow 代表流動、計算和映射，這也體現出資料是有向的流動、計算和映射。張量為向量、純量和其他張量之間的線性關係的多線性函數。張量可以表示廣泛資料類型。最小的張量是一個數字，也就是 0 階張量。數字有序排列即是 1 階張量，形成一組向量，把一組向量有序排列，就是 2 階張量，即矩陣，把矩陣推疊起來，就是 3 維張量。. 1 RNN. 傳統神經網路模型中，是從輸入層到隱含層再到輸出層，所有的輸入和輸出假設是相互獨立的。可是這種一般的傳統神經網路無法解決很多問題，而遞歸神經網路（recurrent neural networks，RNN）的目的為處理序列資料，RNN 是一種時序模型，藉由隱含層向輸入層的回饋，對語言建模的時候能夠利用更長的歷史記憶訊息比如本研究探討的文案，需要預測句子的下一個單詞來達成文本生成，一. 15.

(24) 般需要參照前面的單詞，因為句子中前後的單詞有先後關係。RNN 之所以稱為遞歸神經網路即指一個序列當前的輸出與前面的輸出有關。. 圖 3.2.1.1 An unrolled recurrent neural network. 遞歸神經網絡展開圖。資料來源: Christopher (2015). Understanding LSTM Networks RNN 的輸入為一個序列: X=[x0,x1,..xt-1,xt,xt+1,...xT]，以語言模型來說， Xt 等於一個詞向量，一個序列等於一個句子。以上圖來說輸入 xt=t 時刻的向量，通過 A 輸出一個結果 ht=t 時刻的狀態或者輸出。迴圈結構使得某個時刻的狀態能夠傳到下一個時刻。 A 的運算就是把迴歸模型變成有加入權重運算，變成具有預測功能，而且參數都是可共用的 Parameter Sharing 這是為了簡化計算。具體的表現形式為對序列的每個單詞執行相同的任務，輸出取決於上一層的計算。對之前的單詞進行記憶並應用於當前輸出的計算中。隱藏層之間的節點互相有連接，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN 能夠對任何長度的序列資料進行處理。以文本的預測關係來說，輸出會受到上一層或上上層的影響: 比如說:. 16.

(25) 我是台灣人，我講「中文」。我是住在美國的台灣人，我講「英文」。 RNN 有能力由關係近的輸入來預測輸出。而語言模型的本意就是為了判斷一個句子的概率，正是由於此特性所以可以應用在文本生成上面。. 2 LSTM 網路. 2.1 小節提到的 RNN，有能力參考前字句，預測下一個字句，聽起來已符合了一般認知語言的基本特性。但是距離越遠的字句影響力會遞減，這就不符合人類思考是會對特有事物記憶的能力。長短期記憶模型（long short-term memory，LSTM）層是整個神經網路的關鍵部分。LSTM 可視為 RNN 的一個變形。假設把 LSTM 的 forget gate 全部=0 （永遠不記憶之前的資訊），input gate 全部 =1，output gate 全部=1（輸出所有 cell state 儲存單元中的資訊），這樣的 LSTM 等同為一個標準的 RNN。LSTM 可以通過 gate 決定網絡需要記住和遺忘多長時間之前的記憶。. 3 優化器. RNN 會遇到梯度爆炸 Gradients Explode 和梯度消失 Vanishing gradient 的問題是因為隱藏層參數 w 的傳播。LSTM 解決了長期依賴而導致梯度消失的問題，但是還有梯度爆炸的問題，深層神經網絡的每一層和時間經由乘法而有相互關聯，因此輸出容易消失或爆炸。. 17.

(26) 圖 3.2.3.1 應用 sigmoid 函數的效果資料來源：Deeplearning4j (2017) 「A Beginner’s Guide to Recurrent Networks and LSTMs」。由上圖可知應用了 sigmoid 函數後數據會趨於平坦直到沒有可檢測的斜率。針對梯度爆炸本研究調用模型採用 gradient clipping 的方式來防止梯度爆炸。即通過設置一個閥值，當梯度超過閾值，就將其重置為閥值設定的大小，控制梯度不會變無限大。. 4 詞向量. 文字特性不像影像輸出點陣圖(Bitmap)較為直覺，語言還具有高度的曖昧性，同樣一句話也可能具有多重意喻，而且隨著時代推進還會有新詞出現，語言學家越來越難建立文法規則來學習。所以針對處理語言的模型通常都會對輸入文字做前置處理(Preprocess) 。在本研究中使用的輸入為中文的文案，文案中部分資料: 標點符號 (Punctuation) 、分詞(Tokenize)、Stop Words：介係詞或助詞對語意並無顯著的幫助，模型會自動處理移除所以不需要前處理。「詞向量」(Word Embedding)：將單字轉為實數的數值會比較容易處理，以 18.

(27) 形成連續的向量空間。. 第三節、研究限制. 1 資料量. 在理想情況下，比如說調用模型的原始資料約為數萬行問句。本研究輸入約為數千個，當神經網絡在面對數據太少時還是會繼續訓練，可以比喻說放棄嘗試理解正在發生的事情，而是嘗試閱讀資料而將資料通過記憶而不是學習如何運用規則來解決問題來進行輸出。目前自然語言可使用的公開的語料庫有著名的電子書發布商古騰堡以及 Google 的萬億字語料庫，可用於各項應用，比如手寫辨識、拼寫校正、語音辨識、機器翻譯等，而一般的文本生成比如詩歌、文章等因為有作者歷年作品累績才能有足夠的原始資料。本研究使用的廣告文案原始資料並無大型資料庫可支援研究而是靠爬蟲自行至網路蒐集資料而成。而在資料量不夠的前提下，模型訓練也需特別注意觀察 loss 的變化。我們可觀察 loss 的變化來確認資料學習的完整性。當發現模型的 loss 持續呈下降的趨勢，可以觀察到神經網路訓練有產生效果。但若太早停止學習 (曲線呈現長時間的平緩) 則有可能是發生過度擬合的現象。. 2 Overfitting (過度擬合). 基於上述的研究限制會直接造成過度擬合的訓練結果。過度擬合是指模型的預測值與觀察到的（真實）值相匹配的程度。而學習 Noise(雜訊)而不是資料的模型被認為是“過度訓練”，因為它適合於訓練數據集，但與新數據集的擬 19.

(28) 合度差。. 圖 3.3.2.1 過度擬合模型-黑線代表較好的配合數據，綠線則是過度配合資料來源：Ben Hamner. (2014, April 4). Top searches on YouTube: August - November 2014 [Video file]. Retrieved from https://www.youtube.com/watch?v=tleeC-KlsKA 評估學習情況可觀察 loss 訓練圖，損失應該要是一條慢慢減小的曲線，最後的值要趨近於 0，在現實情況，太趨近於 0 我們會認為是過度擬合，但如果損失曲線到最後沒有平滑趨近一個數值，表示訓練不夠可以加大次數，如果 loss 還是持續很大，表明學習使用的演算法不太理想。一般來說判斷過度擬合會用到訓練集與測試集的 Loss 及 Accuracy 的表現來判斷，這通常是由於測試級有標準答案的狀況下來比較，比如說文本分類、圖像分類、情感辨別….等。以文本生成來說我們使用定量分析方法與實際訪談文本可用性的角度來看，輸出結果是沒有絕對的正確性，即 Accuracy 來進行判斷，但我們可用訓練集的樣本數與 loss 的曲線來觀察歸納模型的表現。. 20.

(29) 圖 3.3.2.2 模型一使用資料大小 407KB 的損失視覺化資料來源：本研究整理，使用工具 Thensorborad 由上圖可以看到在第 450 步跟 550 步的時候 loss 已經減緩，表示模型已經沒有再學習到東西了。模型設置每 50 部記錄一次 loss 資料如下表，可以觀察 loss 在不同 Learning Rate(學習速率)和每 50 步的變化，學習速率通常為第一個去調整的參數因為同樣的模型套用不同的學習速率可能表現完全不一樣。. 表 3-3-2-1 Loss data 變化表 Loss data Step. Learning Rate=0.01. Learning Rate=0.005. 0. 0.303696. 0.21959. 50. 0.023129. 0.02036. 100. 0.012273. 0.010458. 150. 0.008109. 0.006516. 200. 0.006338. 0.005177. 21.

(30) 250. 0.005296. 0.004711. 300. 0.004612. 0.004504. 350. 0.004188. 0.004371. 400. 0.003907. 0.004296. 450. 0.003716. 0.004217. 500. 0.00358. 0.004134. 550. 0.00347. 0.004067. 600. 0.00338. 0.004013. 650. 0.003292. 0.003962. 700. 0.003213. 0.003921. 750. 0.003147. 0.00389. 800. 0.003093. 0.003864. 850. 0.003045. 0.003838. 900. 0.003008. 0.003807. 950. 0.002975. 0.003757. 當 loss 已經減緩且長時間沒有變化，表示模型已經沒有再學習到東西了。在神經網路學習裡需要考慮到追求泛化來防止模型過度的擬合。防止模型過度的擬合通常有下列幾個方法。 1.. 提前終止訓練. 2.. 加入 Dropout，訓練時 dropout 層中保留結點比例設為 1, 這裡的 keep_prob 是保留的比例，tensorflow 建議的語法是將其作為一個 placeholder(暫存器)，在當需要時再傳入，當 keep_prob=1，即 100% 保留 Dropout 沒有起作用。keep_prob=0.5 時，只保留一半。 22.

(31) Dropout 是指在模型訓練時隨機丟棄部分節點資料以減輕過擬合，不工作的節點只是暫時不工作但權重還是有保留，下一次輸入可能會工作。 3.. Data Augmentation(數據增加)意味著增加數據點的數量。就圖像而言，這可能意味著增加數據集中圖像的數量。就傳統的行/列格式數據而言，這意味著增加行或對象的數量。. 4.. 調整參數: 把 Learning Rate(學習速率)設定為較小的數值; 把每一次的 batch_size(反向傳播訓練樣本數) 設定為較小的數值。. 5.. 選擇其他 optimizer(優化器). 本研究調用模型使用的啟動函數 Relu (Rectified Linear Unit) 正線性單元會把部分神經元的輸出設為 0，減少了參數的相互依存關係，由此使網路變得稀疏，也直接減少參數之間的相互關係，間接緩解過度擬合的問題而 Yann 、 Yoshua 和 Hinton (2015)也認為 ReLU 是深度學習中最受歡迎的一種啟動函數。更容易瞭解網路稀疏性的直觀解釋是 Lennie (2003)發現人類的大腦在同一時間被啟動的神經元約只有 5%以下，這表示神經元在同一個時間的時候會刻意地忽略大量信號，選擇少部分輸入信號來作回應，證實神經元網路工作的稀疏特性。以生物學來說這是大腦作為人體最為耗能的器官要可能節省能量，而生物運算正是消耗了大量成本的主要原因。. 23.

(32) 第四章、資料分析與解釋. 第一節、文字資料預處理. 一般來說如果輸入資料數據大於 2MB，則需要增加 rnn_size 和培訓一個更大的模型。本研究輸入資料約在 500KB 左右因此調用兩層相對簡單的 RNN 來作訓練。本研究先使用兩種輸入格式: 文章、詩歌來做預訓練，發現訓練結果輸入輸出格式會有相對應關係。如果將文案標題(slogans)與長文案(copywrite) 混在一起訓練的效果並不好。在理想情況下，比如說調用模型的原始資料約為數千個。本研究輸入約為數百個，當神經網絡在面對數據太少時還是會繼續訓練，可以比喻說放棄嘗試理解正在發生的事情，而是嘗試閱讀資料而將資料通過記憶而不是學習如何運用規則來解決問題來進行輸出。輸入資料先以文案標題作為輸入，取出標題跟內容，並移除空格與特殊字元、過濾過短小於 5 字元與過長的輸入大於 79 字元並按字數排序。移除非中文資料，將輸入資料存為 UTF-8 格式. 第二節、訓練用 RNN 模型. 本研究使用模型為多層遞歸神經網絡（RNN，LSTM），用於文本語言模型，並以 Tensorflow 支援的可視化工具 TensorBoard 來進行研究結果資料的分析與解釋。 24.

(33) 模型將一個文字檔 text file 作為輸入來訓練一個遞歸神經網絡，學習如何預測序列中的下一個字元，使用 RNN 按字元生成文本字元，輸出文檔近似於輸入的訓練數據。. 圖 4.2.1 使用模型的可視圖資料來源：本研究整理，使用工具 Tensorboard 由圖形可看到此模型為兩層的 RNN，包含輸入層、兩層遞歸神經網絡、計算損失名稱域以及訓練名稱域。Loss 計算方法採用 Cross Entropy(交叉熵)5他是. 5. 交叉熵常用於優化和稀有事件概率估計，可用來定義機器學習和優化中的損失函數。 25.

(34) Loss 函數的一種，也稱為 cost function（代價函數）或 loss function（損失函數），描述模型的預測值與真實值之間的差距。預測結果越準確值越小而讓損失函數的值變小便視為優化。在模型訓練之前，我們首先初始化一些參數，我們的參數主要有： batch_size: 單個 batch 中序列的個數設為 64，在每一個 train step，傳入 model 的是一個 batch 的資料。在本研究中即是輸入 64 的短句進行輸入。 rnn_size: Size of RNN hidden state 隱層結點個數 128、num_layers: LSTM 層個數設為 2、learning_rate: 學習率設為 0.01 1 Tensorboard 訓練可視化圖表 TensorBoard 的 Scalar (標量儀表板)可以隨時間變化的標量提供統計數據; 比如追蹤模型的損失或學習率。. 圖 4.2.2.1 使用模型的 layer 2 之 Distributions (數據分佈圖) 26.

(35) 資料來源：本研究整理，使用工具 Thensorborad Distributions (數據分佈圖)跟 Histograms (數據柱狀圖)可以用來顯示啟動前和啟動後數據的分佈情況，輔助設計分析。比如可以看到 Biases 顏色越深表示資料越集中。數據柱狀圖圖表上的每條線表示數據分佈的百分位數。X 軸表示訓練的步數，Y 軸表示權重值:權重分佈的不同各是：[maximum, 93%, 84%, 69%, 50%, 31%, 16%, 7%, minimum]. 第三節、輸出文案資料. 以運行輸出時調用之前訓練好的模型參數依次得到 poems_vector (數字 ID 表示的詞句) 、 word_int_map (字元對應映射的 ID) 、 vocabularies (所有字的列表) 。可以選擇輸入第一個字元或不輸入字元則用初始預測值的詞向量。下表由兩個不同輸入預訓練資料的模型挑選出輸出 20 個選項以輸入:家跟車為第一個字元的值賦值。表 4-3-1. 預訓練資料範例預訓練資料. Model 1. Model 2. 文本:你生活在一個可以沒有我的世界，我居住在一個只有你的天空。. 文本:向那些瘋狂、特立獨行、想法. 與眾不同的傢夥們致敬。或許他們在— 文本:那時候，未來遙遠而沒有形狀，些人看來是瘋子，但卻是我們眼中的天夢想還不知道該叫什麼名字。才。我常常一個人，走很長的路，在起風的時文本:你的時間有限，不要浪費於重候覺得自己像一片落葉。複別人的生活。不要讓別人的觀點淹沒 27.

(36) 文本:我總是在最深的絕望裡，看見了你內心的聲音。最美的風景。文本:你如果出色地完成了某件事，那你應該再做一些其他的精彩事兒。不要在前一件事上徘徊太久，想想接下來該做什麼。. 註：模型一使用 2113 行，字數=130913 的預訓練資料，模型二使用=572 行，字數=45453。上表為隨機提取的預訓練資料。取自句子迷(n.d.) https://www.youtube.com/watch?v=tleeC-KlsKA 表 4-3-2. 輸出文案範例輸出數據. 模型. Model 1. Model 2. 輸入=2113 行，字數=130913. 輸入=572 行，字數=45453. 資料大小=407KB. 資料大小=143KB. (家) 傾訴最終會以沉默、祈禱、懺 (車) 此刻沉思、嚮往、獨坐。. 輸出悔、救贖的方式，渡船。 (家) 我們在各自的疆域生活。像花. (車) 一隻無聲、堅忍的蜘蛛。水中一十鏡百里。 (家)家夢。. (車) 我們只不是多在夢路。. (家) 仰望光，一切都是自由的路。. (家) 一片片荊棘和黑草莓。. 28.

(37) 第四節、文案可行性調查. 本研究先用主觀判斷文案的語句通暢性來進行第一關的篩選判定有效輸出，再以定量分析方法進行 Peer Review 的方式做文案的喜好評比、客觀以中文易讀性實詞比例綜合評分作為依據並進行廣告或行銷專業人士的訪談。表 4-4-1. 輸出可用性比例輸出分數比較. 模型. Model 1. Model 2. 輸入=2113 行，字數=130913. 輸入=572 行，字數=45453. 資料大小=407KB. 資料大小=143KB. 有效輸出關鍵字: 家. 4/20. 8/20. 關鍵字: 車. 4/20. 4/20. 關鍵字: 本. 6/20. 3/20. 關鍵字: 靈. 2/20. 2/20. 有效輸出比例. 15%. 21%. 由上表有效輸出比例並未顯示明顯相關與輸入資料大小的關係，可能原因為此研究著重分析文案的可用性並未對模型輸出的關鍵字的選用與資料內容的 29.

(38) 類型作變數的控制。. 表 4-4-2. 輸出可用性與詞性比較輸出分數比較. 在一個愛慕著我們在各自的疆域文案. 此刻沉思、嚮. 的人面前，會求，知若愚狂的. 往、獨坐。. 讓你我覺得自天終會感覺。. 生活，像花水中一十鏡百里。己需要經過. 所有詞詞頻. 7.229. 2.11. 8.493. 6.492. 實詞詞頻. 6.334. 2.11. 7.84. 6.582. 1.5. 0.51. 2.29. 1.45. 25. 35. 25. 25. 領域實詞頻對數平均 Peer Review. 上表由本研究生成之文案進行實詞詞頻的計算，實詞詞頻為實詞在兒童語料庫出現的頻率。分數越高易讀性越高。領域實詞頻對數平均為計算文章的實詞在整個資料集出現的頻率取對數後平均，平均值越低分數越高易讀性越高 G1 為小學 1 年級的程度為: 領域實詞頻對數為 2.04、G8 為高中的程度為: 領域實詞頻對數為 1.54。 Peer Review 評比小組成員約為五、六個人。本研究分為兩組，共十二名成員，評分從 1（低）至的 4（高）。. 30.

(39) 以上表看起來文案:「此刻沉思、嚮往、獨坐。」雖然是易讀性最差的卻是廣告人評比中獲得最高分數的。本研究並針對行銷廣告相關從業人員進行問卷及訪談，其中十二名受訪者全員都曾看過或聽過 AI 自動生成，且七成人員已經在實務上有用過相關應用，沒有使用過的受訪者提到，目前工作上並無導入這樣的方式，或可視情況 (預算等等..) 考慮使用。另外也隨機選了 AI 生成的四個文案與其他廣告文案進行 Peer Review。以房屋為主題的四個文案中蘇建名都城文案:「好房子，一家三口，三代同堂。」得到三位受訪者評為最喜歡的文案。 AI 生成文案:「我們在各自的疆域生活，像花水中一十鏡百里。」、萬科蘭喬聖菲:「踩慣了紅地毯，會夢見石板路。」則各得到一個受訪者評為最喜歡的文案。萬科廣告-第 19 屆廣州日報華文報紙廣告獎最佳文案和全場大獎作品: 「我的心先於我的人回來，它的心先於它的形來回。」則並無得到受訪者票數。以總分而言蘇建名都城文案:「好房子，一家三口，三代同堂。」為第一位、AI 生成文案:「我們在各自的疆域生活，像花水中一十鏡百里。」、萬科廣告-第 19 屆廣州日報華文報紙廣告獎最佳文案和全場大獎作品:「我的心先於我的人回來，它的心先於它的形來回。」並列第二。首訪者也提到「好房子，一家三口，三代同堂。」比較有人的溫度且用詞較為直覺。以車為主題的四個文案中賓士 ML 級越野車文案:「疾如風，徐如林，勢如火，穩如山。」與 AI 生成文案: 「此刻沉思、嚮往、獨坐。」並列總分的第一也各得到四位與三位受訪者評為最喜歡的文案。賓士 SLK 文案: 「傾心絕色，絕色傾心。. 」為總分第三位而賓士 S 文案: 「前所未有，因為之前所有。」. 為總分最後一位且沒有被任何一位受訪者評為最喜歡的文案。受訪者提到當 AI 文案輸出為短句型時似乎比較不容易被看出文法上的錯誤。. 31.

(40) AI 生成文案: 「在一個愛慕著的人面前，會讓你我覺得自己需要經過。」在以愛情小說為主題的四個文案中總分為第三，位列百花洲文藝出版遇見你，在我最美的年華兩個文案之後: 「每個女孩年輕時都會遇到這樣一個男孩。」、「那時，他什麼都沒有，唯一有的，就是百分百愛你的心。」直木賞本屋大賞書:蜜蜂與遠雷文案: 「寫出我們曾遺忘的「熱愛」，那直達天際的純粹幾無人能擋。」為最後一位。受訪者評為最喜歡的文案數量也同總分排名。受訪者認為 AI 文案用詞似乎較為文謅謅，較不直接，且四個 AI 生成文案並列比較較容易觀察出皆為一樣的文風。而以手遊為主題的四個文案中，手遊 The Mooseman 文案: 「穿越三層世界，追溯神話源起。」受訪者評為最喜歡的文案數量與總分皆為第一位。手遊迪士尼夢幻王國文案: 「打造你自己的魔幻樂園。」與 AI 生成文案:「求，知若愚狂的天終會感覺。」並列第二，但 AI 生成文案跟迪士尼夢幻王國文案比較起來，多出兩位受訪者將最喜歡的文案一票投給 AI 生成文案。手遊九州·縹緲錄文案: 「鐵騎長槍，破除一切」則為總分最後一位且沒有被任何一位受訪者評為最喜歡的文案。一位受訪者提到因為他熟悉手遊廣告所以馬上可以辨別那一個是 AI 生成文案。另一位受訪者提到如果 AI 生成文案不需要分類來做比較，他會給予更高的分數，因為評分時也會考量到是否切合主題的因素，但他也認為 AI 生成文案文辭精粹優美。. 32.

(41) 第五章、結論. 第一節、研究發現. 使用深度學習寫出的文章會出現訓練集裡中沒有的句子來達到創作的目的。但由研究的輸出來看約只有五分之一的輸出是能夠直接使用，輸出資料還是需要人的監督，而且往往還是原本訓練集的文案更為有意義而且通順。這是因為機器學習到只是文字的規則，無法知道訓練及的目的也就是寫作動因，只能用訓練內容來控制文本生成的走向。由訪談中也能歸納目前模型生成並沒有判斷文法是否正確，是與人寫作最容易判斷的差異點。也與評比中廣告行銷人員認為 AI 生成文案如不進行分類再做評比後，可能可以取得更高分數的看法一致。以研究結果來看易讀性最差卻不一定會在廣告行銷人員評比中獲得低分。所以應該綜合客觀與主觀分數來取得最後的評比分數。本研究中也對比了一般人(非廣告從業者)的評比分數來與廣告行銷人員評比小組的結果進行交叉比對，發現分數皆呈現一樣的趨勢。表示評比小組結果應類同於一般大眾的看法。. 第二節、建議 1 神經網路可解釋性近來機器學習的應用非常的多，而許多研究機器學習模型的研究多半著重在調適模型或針對預測效果。因此去黑箱化、神經網路可解釋性的議題也慢慢被廣泛討論。以本研究而言，調用的模型相對簡單而參數也相對少，相關度低，尚還可分析做解釋。但一些大型的模型裡特徵、組合、參數可能上億個，能夠. 33.

(42) 一一解釋的機率近乎為零。可解釋性也是一個沒有準確定義的評價標準，但不能否認此聲浪代表著此預測方法會讓一般大眾感到不安全感，也正是後續研究者需要改進的方向。本研究認為可解釋性應著重在解釋相關性，因為模型是在估計概率，往往一般定義的可解釋性是要解釋如何在單例上模型得出來的結果。而解釋概率的相關性皆不能屏除數學概率語言來解釋與描述概率。而大型模型中擁有的上億個參數組合與可能性，很難用人去判斷哪個參數才是重點影響的值，再者數字概率的計算方式也不是一般終端消費者能夠理解。人力也無法駕馭這麼大量的數據，所以才有神經網路模型，而有效率的模型大多都希望能夠做到端對端，重點在解決的問題，而過程只是其次。不再糾結於對人的可解釋性也許才更接近事實。以未來在行銷文案上的應用來說，建議應針對結果，搭配各種評比的方式來判斷生成結果的可行性。可以主觀搭配定量分析的方法、客觀以易讀性或其他綜合評分作為依據來使最後輸出資料更具有實用價值。. 2 Generative Adversarial Network 生成對抗網絡在與本研究調用模型作者 Jonbrune(2017)的訪談中他提到，建議使用 GanLSTM (Generative Adversarial Network)進行後續的研究。 Goodfellow, Abadie, Mirza, Xu, Farley, Ozair, Courville, Bengio(2014) 提出 GAN 是一種用於無監督機器學習的人工智慧演算法，由兩個神經網絡相互競爭的系統來實現。. 34.

(43) 圖 5.2.1 GAN 架構。資料來源：github: Jonbruner, 2017 GAN 基本運作模式為訓練兩個模型 : Generator network( 生成模型 ) 跟 Discriminator network(鑑別模型)；我們生成模型使用 D-Dimensional noise vector 我們給的可以是不同 Random Noise(隨機噪聲)的資料製造出一份 Fake Image(假資料)，而鑑別模型則要分辨資料真假，給出回饋。生成模型再用回饋繼續訓練，在鑑別模型無法分辨知道是 Real Image(真資料)或生成模型產生的資料的時候，訓練就算完成，並且產出 Predictived Labels6(預測的答案)；對於實際應用上來說他可以幫助我們自動調整模型的參數訓練。. 6. Label: 預測的答案可以是機器學習系統產生的答案或是訓練資料後的正確答案。 35.

(44) 參考文獻一、英文文獻：. Sheldon, A(1911). Successful Selling, USA, Kessinger Publishing, Rare Reprint Series, Part 1. Earl Robert Babbie(2010). The Practice of Social Research. 12th ed. Belmont, CA: Wadsworth Cengage. Jason Brownlee (2016). Retrieved March 2 2018, from https://machinelearningmastery.com/what-is-deep-learning/ Steve Cassidy (2002). Speech Recognition. (Department of Computing, Macquarie University COMP449) Abstract retrieved March 2 2018, from http://web.science.mq.edu.au/~cassidy/comp449/html/index.html Ruth Colmer (2017).「The Flesch Reading Ease and Flesch-Kincaid Grade Level.」.Readable.io.Retrieved 2018, April 17，from: https://readable.io/content/the-flesch-reading-ease-and-flesch-kincaidgrade-level/ Michał Chromiak (2017). Retrieved March 2 2018, from https://mchromiak.github.io/articles/2017/Nov/30/Explaining-NeuralLanguage-Modeling/#.WvavoYiFPIU Deeplearning4j (2017) A Beginner’s Guide to Recurrent Networks and LSTMs. Abstract retrieved March 2 2018, from https://deeplearning4j.org/lstm.html. 36.

(45) Poole, David; Mackworth, Alan; Goebel, Randy (1998). Computational Intelligence: A Logical Approach. New York: Oxford University Press. ISBN 0-19510270-3. Evolution: from vanilla RNN to GRU & LSTMs (n.d.) .Retrieved April 10 2018 from: https://docs.google.com/presentation/d/1UHXrKL1oTdgMLoAHHPfMM_s rDO0BCyJXPmhe4DNh_G8/pub?start=false&loop=false&delayms=3000 &slide=id.g24de73a70b_0_0 Nichole ElizabethDeMeré.(2015) .Retrieved April 25 2018 from :https://blog.hubspot.com/marketing/copywriting-lessons-joannawiebe Citation. Flesch, R (1948). A new readability yardstick. Journal of Applied Psychology. 32(3), 221-233. Frank Gannon (2001).EMBO Rep. Sep;2(9):743. 黃鑫 (2013, May 13). Andrew Ng: Deep Learning, Self-Taught Learning and Unsupervised Feature Learning [Video file]. Retrieved from https://www.youtube.com/watch?v=n1ViNeWhC24 Ben Hamner. (2014, April 4). Ben Hamner: Machine Learning Gremlins [Video file]. Retrieved from https://www.youtube.com/watch?v=tleeC-KlsKA import.io (2015, December 11). Andrew Ng :Why should you care about deep learning [Video file]. Retrieved from https://www.youtube.com/watch?v=O0VN0pGgBZM 37.

(46) Jonbruner. (2017) .May 5 2018 from : https://github.com/jonbruner/generativeadversarial-networks/blob/master/gan-notebook.ipynb Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. In NIPS 2014 Workshop on Deep Learning, December 2014 Kejin Jin (2017). Retrieved March 2 2018, from Ian J. Goodfellow， Jean Pouget-Abadie， Mehdi Mirza， Bing Xu， David Warde-Farley， Sherjil Ozair， Aaron Courville， Yoshua Bengio (2014). Generative Adversarial Networks. arXiv：1406.2661 MMC venture (2016).Retrieved April 10 2018 from: https://medium.com/mmcwrites/artificial-intelligence-in-the-uk-landscape-and-learnings-from-226startups-70b9551f3e4c Vartul Mittal(2017). Retrieved April 10 2018 from: https://medium.com/@vratulmittal/top-15-deep-learning-applications-thatwill-rule-the-world-in-2018-and-beyond-7c6130c43b01 Michael Masterson(2007) .Retrieved April 17 2018 from : https://www.awai.com/2007/11/peer-review/ Fabrizio Milo (2017).「What happened at the Tensorflow Dev Summit 2017 - Part 1/3: Community & Applications」. Towards Data Science.Retrieved 2018, April 1，https://towardsdatascience.com/what-happened-at-the-tensorflowdev-summit-2017-part-1-3-community-applications-77fb5ce03c52 Christopher Olah(2015). Retrieved April 2 2018 from: 38.

(47) https://www.theguardian.com/careers/become-a-copywriter-top-tips Persado（n.d.）.Persado Enterprise, Introducing Persado One. Retrieved April 17 2018 from：https://www.persado.com/ Lennie P. The Cost of Cortical Computation[J]. Current Biology Cb, 2003, 13(6):493-7. Priyanka, R(2013). AIDA Marketing Communication Model: Stimulating a purchase decision in the minds of the consumers through a linear progression of steps, International Journal of Multidisciplinary Research in Social Management, Vol. 1 , pp 37-44. Rakkiyappan, R.; Chandrasekar, A.; Lakshmanan, S.; Park, Ju H. (2 January 2015). Exponential stability for markovian jumping stochastic BAM neural networks with mode-dependent probabilistic time-varying delays and impulse control. Complexity. 20 (3): 39–65 新智元.(2017). Retrieved May 2 2018 from : http://www.sohu.com/a/229539176_473283 Joseph Sugarman (2007). The Adweek Copywriting Handbook .John Wiley and Sons Ltd, United Kingdom Derryck Strachan (2013) .Retrieved April 2 2018 from: https://www.theguardian.com/careers/become-a-copywriter-top-tips Philip T. Kotler and Gary Armstrong (2005). Principles of Marketing. Toronto: Pearson Education Canada. pp. 67-70.. 39.

(48) LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.. 二、中文文獻：. 邱炯友（2003）。學術電子期刊同儕評閱之探析。教育資料與圖書館學，40（3）， 309-323。宋曜廷、陳茹玲、李宜憲、查日龢、曾厚強、林維駿、張道行、張國恩（2013）。中文文本可讀性探討：指標選取、模型建立與效度驗證。中華心理學刊， 55（1），75-106。陳建宏、蔡筱倩、郭伯臣、廖晨惠、楊裕貿(2013)。電腦自動化文本分析與詞類之探究。EITS2013 數位教學暨資訊實務研討會，南台科技大學。 LYNN. (2017). 。. 民. 107. 年. 4. 月. 20. 日. 取. 自. ：. https://hellolynn.hpd.io/2017/11/10/2012%E5%B9%B4%E4%BB%A4%E6 %B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E5%92%8Cnvidi a%E8%82%A1%E5%83%B9%E7%81%AB%E7%88%86%E8%B5%B7% E4%BE%86%E7%9A%84%E7%9C%9F%E6%AD%A3%E9%97%9C%E 9%8D%B5%E2%94%80%E2%94%80gpu/ 張. 睿. (2014). 。. 民. 107. 4. 年. 月. 5. 日. 取. 自. ：. https://www.cbnweek.com/articles/normal/20800 張睿(2018) 。民 107 年 5 月 5 日取自 http://finance.sina.com.cn/roll/2018-0424/doc-ifzqvvsa1387051.shtml 句子迷(n.d.) 。民 107 年 3 月 2 日取自：https://www.youtube.com/watch?v=tleeCKlsKA. 40.

(49)