具長短期記憶之序列特徵選取方法 - 政大學術集成
46
0
0
全文
(2) 摘要 由單個物件有序組成的序列型資料在我們的日常生活中被廣泛的應用，如文本、視 頻、語音信號和網站使用日誌……等。通常資料分析需要大量的人工和時間，然而近年 來，神經網路在分類和各種自然語言處裡任務方面有很好的表現，儘管這些技術已經很 完善，但是我們很難理解這些技術是使用什麼樣的訊息來實現其目標，如果只是一個簡 單的分類器可能沒辦法達成知道是什麼樣的訊息這樣的需求，因此，我們提出了一個基 於神經網路的特徵過濾器，用於分析序列型資料，以便從原始資料中過濾出有用也人類 可讀的訊息，並在之後用於分類。. 政 治 大 本文中，我們設計了一個神經網路框架 - filteRNN，該框架有一個過濾器的結構， 立. ‧ 國. 學. 透過這個過濾器，我們可以過濾有價值、人類可讀的特徵以進行後續分類，我們使用了 惡意軟體及評論的文本資料來展示從原始資料過濾的功能，並將過濾後的資料輸入分類. ‧. 器進行分類，這個模型能夠過濾掉一半的原始數據。因為過濾器和分類器在這個框架中. sit. y. Nat. 很重要，因此我們也透過嘗試不同的過濾器和分類器來檢查框架的有效性，同時我們也. io. al. n. 料中，各類別的共有特徵，以供進一步研究。. Ch. engchi. er. 將注意力模型用來跟我們的框架進行比較。實驗結果顯示，我們可以提取不同序列型資. i n U. v. 關鍵詞：遞歸神經網路、特徵萃取、序列型資料、長短期記憶神經網路. 1. DOI:10.6814/NCCU202000305.
(3) Abstract Sequential data which consists of an ordered list of single object is in a wide range of applications in our daily life, such as texts, videos, speech signals and web usages logs. In general, the analysis of data requires a lot of human work and time. In recent years, neural networks (NNs) have achieved state-of-the-art performance in classification and a variety of NLP tasks. Although such techniques are well-developed, it is difficult for us to understand what information is used for reaching its goal. Such needs may not be satisfied by a simple classifier; hence we proposed an NN-based characteristics filter for analyzing sequential data. 政 治 大. in order to filter useful and human-readable information from the raw data for a further. 立. classifier.. ‧ 國. 學. In this paper, we design an NN framework (filteRNN) which embeds a filter structure that. ‧. can filter valuable, human-readable features for latter classification. We use the datasets of. sit. y. Nat. malwares and reviews to demonstrate the capability of filtering data from raw data, and the. io. er. filtered data are fed into a classifier for classification. The models are able to filter out half of. al. the raw data. Since filters and classifiers play key roles in this task, we implement different. n. v i n filters and classifiers to examine theCeffectiveness Besides, attention model U h e n g cofhthei framework. is used to do the comparison with our framework. Experimental results indicate that we can extract the commonly shared characteristics of categories in different sequential datasets for further study.. Keywords: Recursive Neural Network, Feature Extraction, Sequential Data, Long ShortTerm Memory Neural Network. 2. DOI:10.6814/NCCU202000305.
(4) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(5) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(6) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(7) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(8) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(9) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(10) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(11) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(12) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(13) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(14) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(15) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(16) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(17) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(18) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(19) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(20) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(21) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(22) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(23) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(24) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(25) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(26) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(27) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(28) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(29) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(30) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(31) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(32) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(33) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(34) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(35) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(36) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(37) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(38) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(39) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(40) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(41) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(42) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(43) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(44) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(45) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(46) 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. DOI:10.6814/NCCU202000305.
(47)
相關文件
Wang, A recurrent neural network for solving nonlinear convex programs subject to linear constraints, IEEE Transactions on Neural Networks, vol..
Wang, Solving pseudomonotone variational inequalities and pseudo- convex optimization problems using the projection neural network, IEEE Transactions on Neural Network,
Then, based on these systematically generated smoothing functions, a unified neural network model is pro- posed for solving absolute value equationB. The issues regarding
3.結論－（1）記憶的歷程分為短期記 憶、長期記憶（2）短期記憶經選擇 與複習成為長期記憶（3）短期記憶
下列關於 CPU 的敘述，何者正確？(A)暫存器是 CPU 內部的記憶體(B)CPU 內部快取記憶體使 用 Flash Memory(C)具有 32 條控制匯流排排線的 CPU，最大定址空間為
Categories of Network Types by Broad Learning Method.
Each unit in hidden layer receives only a portion of total errors and these errors then feedback to the input layer.. Go to step 4 until the error is
Principle Component Analysis Denoising Auto Encoder Deep Neural Network... Deep Learning Optimization
