- 相關推薦
基于關鍵詞組合向量模型的文本自動分類研究
[摘 要] 本文描述了一種新的基于關鍵詞組合模式的文本向量空間表示模型，相對于只使用文本中詞語的頻率的文本向量空間模型，這種新的模型在可以計算的前提下，使用了詞語之間的相對位置信息，從而可以解決部分詞語向量空間模型表示的不足。本文討論了使用這種模型的自動文本分類系統(tǒng)，包括分類系統(tǒng)的結構、特征提取、文本相似度計算公式，并給出了評估方法。[關鍵詞] 關鍵詞組合 向量空間 自動分類 分類算法
近年來，以文本格式存儲的海量信息出現(xiàn)在Internet、數(shù)字化圖書館及公司的Intranet上，如何從這些浩瀚的文本中發(fā)現(xiàn)有價值的信息是信息處理領域的重要目標，而文本自動分類系統(tǒng)能夠在給定的分類模型下，根據(jù)文本的內容自動對文本分門別類，從而更好地幫助人們組織及挖掘文本信息，因此得到日益廣泛的關注，成為信息處理領域最重要的研究方向之一。
一、自動分類的種類和作用
自動分類就是用計算機系統(tǒng)代替人工對文獻等對象進行分類，一般包括自動聚類和自動歸類。自動聚類和自動歸類的主要區(qū)別就是自動聚類不需要事先定義好分類體系，而自動歸類則需要確定好類別體系，并且要為每個類別提供一批預先分好的對象作為訓練文集，分類系統(tǒng)先通過訓練文集學習分類知識，在實際分類時，再根據(jù)學習到的分類知識為需要分類的文獻確定一個或者多個類別。本文中所指的自動分類是指對網(wǎng)頁的自動分類，包括網(wǎng)頁的自動歸類和自動聚類。
目前搜索引擎提供兩種信息查詢方式:分類瀏覽和關鍵詞檢索。分類瀏覽一般是基于網(wǎng)站分類目錄。關鍵詞檢索的對象不是網(wǎng)站，而是符合條件的網(wǎng)頁。關鍵詞檢索信息量大、更新及時、不需要人工干預。
二、問題描述
1.系統(tǒng)任務
簡單地說，文本分類系統(tǒng)的任務是：在給定的分類體系下，根據(jù)文本的內容自動地確定文本關聯(lián)的類別。從數(shù)學角度來看，文本分類是一個映射的過程，它將未標明類別的文本映射到已有的類別中，該映射可以是一一映射，也可以是一對多的映射，因為通常一篇文本可以同多個類別相關聯(lián)。用數(shù)學公式表示如下：
文本分類的映射規(guī)則是系統(tǒng)根據(jù)已經(jīng)掌握的每類若干樣本的數(shù)據(jù)信息,總結出分類的規(guī)律性而建立的判別公式和判別規(guī)則。然后在遇到新文本時,根據(jù)總結出的判別規(guī)則,確定文本相關的類別。
2.評估方法
我們使用評估文本分類系統(tǒng)的兩個指標：準確率和查全率。準確率是所有判斷的文本中與人工分類結果吻合的文本所占的比率。其數(shù)學公式表示如下：;查全率是人工分類結果應有的文本中分類系統(tǒng)吻合的文本所占的比率，其數(shù)學公式表示如下：;準確率和查全率反映了分類質量的兩個不同方面，兩者必須綜合考慮，不可偏廢。
3.詞語向量空間模型的文本表示
目前，在信息處理方向上,文本的表示主要采用向量空間模型 (VSM)。向量空間模型的基本思想是以向量來表示文本:（W1,W2,W3……Wn），其中Wi為第i個特征項的權重，那么選取什么作為特征項呢,一般可以選擇字、詞或詞組，根據(jù)實驗結果，普遍認為選取詞作為特征項要優(yōu)于字和詞組,因此,要將文本表示為向量空間中的一個向量,就首先要將文本分詞,由這些詞作為向量的維數(shù)來表示文本。詞頻分為絕對詞頻和相對詞頻，絕對詞頻,即使用詞在文本中出現(xiàn)的頻率表示文本,相對詞頻為歸一化的詞頻,其計算方法主要運用TF～IDF公式,目前存在多種TF～IDF公式,一種比較普遍的TF～IDF公式為:;其中，為詞t在文本中的權重，而為詞t在文本中的詞頻，N為訓練文本的總數(shù)，nt為訓練文本集中出現(xiàn)t的文本數(shù)，分母為歸一化因子。
4.詞語向量空間模型的訓練方法和分類算法
訓練方法和分類算法是分類系統(tǒng)的核心部分，目前存在多種基于向量空間模型的訓練算法和分類算法，例如，支持向量機算法、神經(jīng)網(wǎng)絡方法，最大平均熵方法，最近 K 鄰居方法和貝葉斯方法等等。一般相似度定義公式為:;其中，di，dj為不同的文本，M為特征向量的維數(shù)，Wk為向量的第K維。
畢業(yè)論文搜集整理：
【基于關鍵詞組合向量模型的文本自動分類研究】相關文章：
基于粗糙集的文本分類研究03-03
基于組合模型的防城港貨物吞吐量預測研究03-07
基于戰(zhàn)略系統(tǒng)的審計風險模型研究03-04
基于活動的日活動計劃模型研究11-22
基于顧客價值的共生營銷模型研究03-22
基于SDO的異構服務數(shù)據(jù)模型研究03-28
自動分標組合技術的研究和開發(fā)12-02
基于供應鏈管理的知識轉移模型研究12-08