- 相關(guān)推薦
網(wǎng)絡(luò)搜索引擎性能分析模型與系統(tǒng)ASP+SQL
畢業(yè)論文
目 錄
摘要 1
前言 3
1 搜索引擎概述 4
1.1 模糊搜索技術(shù) 4
1.2 多個(gè)關(guān)鍵字查詢 4
1.3 爬行網(wǎng)頁(yè) 6
1.3.1 頁(yè)面的選擇 6
1.3.2 爬行策略 6
2 開發(fā)工具的簡(jiǎn)介 8
2.1 開發(fā)環(huán)境介紹 8
2.1.1 ASP概述 8
2.1.2 ASP運(yùn)行環(huán)境 8
2.2 VISUAL INTERDEV概述 8
2.3 VISUAL INTERDEV的集成開發(fā)環(huán)境 9
3 ASP網(wǎng)絡(luò)數(shù)據(jù)庫(kù)開發(fā)簡(jiǎn)介 11
3.1 建立ODBC數(shù)據(jù)源 11
3.2 SQL簡(jiǎn)介 11
3.3 ADO概述 11
3.3.1 ADO的對(duì)象 12
3.3.2 ADO的操作流程 12
3.4 創(chuàng)建ODBC DSN文件 13
3.5 連接數(shù)據(jù)庫(kù) 15
4 系統(tǒng)總體規(guī)劃 17
4.1 系統(tǒng)需求分析 17
4.2 系統(tǒng)功能模塊圖設(shè)計(jì) 18
4.3 搜索引擎系統(tǒng)設(shè)計(jì)結(jié)構(gòu)圖 19
4.4 數(shù)據(jù)流圖 20
4.5 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì) 21
5 系統(tǒng)具體實(shí)現(xiàn) 24
5.1 主要系統(tǒng)文件組成 24
5.2 網(wǎng)站搜索模塊 24
5.2.1 模塊的具體實(shí)現(xiàn) 24
5.2.2 搜索模塊存在的問題 30
5.3 分類目錄模塊 30
5.4 網(wǎng)站登錄模塊 34
5.5 網(wǎng)站修改模塊 37
5.6 管理員登錄模塊 39
5.7 網(wǎng)站管理模塊 40
5.8 網(wǎng)站審核模塊 42
5.9 分類管理模塊 42
5.10 退出系統(tǒng)模塊 44
結(jié)束語(yǔ) 46
參考文獻(xiàn) 47
致謝 48
附錄 49
網(wǎng)絡(luò)搜索引擎性能分析系統(tǒng)模型及設(shè)計(jì)
摘要：搜索引擎是絕大多數(shù)網(wǎng)站都提供的功能，搜索引擎分為站內(nèi)文件搜索引擎和網(wǎng)站搜索引擎兩大類，站內(nèi)文件搜索引擎是指對(duì)1個(gè)固定的站內(nèi)的文件進(jìn)行搜索，搜索的結(jié)果是含有關(guān)鍵字的站內(nèi)文件；網(wǎng)站搜索引擎是指對(duì)登記過的網(wǎng)站進(jìn)行搜索，搜索的結(jié)果是含有關(guān)鍵字的所有網(wǎng)站。
我利用ASP技術(shù)，采用Visual InterDev開發(fā)工具開發(fā)1個(gè)搜索引擎模型。本論文主要介紹了本課題的開發(fā)背景，所要完成的功能和開發(fā)的過程等，重點(diǎn)說明了系統(tǒng)設(shè)計(jì)的重點(diǎn)、設(shè)計(jì)思想、難點(diǎn)技術(shù)和解決方案等，并給出了在開發(fā)過程中的1些經(jīng)驗(yàn)體會(huì)。
關(guān)鍵字：搜索引擎;關(guān)鍵字;ASP;Visual InterDev
Net Search Engine performance analysis system model and design
Abstract：Search engine is a function provided by most of networks. It includes Localhost File Search Engine and Net Search Engine. Localhost File Search Engine refers to search on files fixed in the local machine and its results are some files withkeywords. Net Search Engine searchs on registered networks whose results are all the networks with keywords.
I make use of ASP and adopt Visual InterDev to research a model for Search engine. This article mainly introduces development backgrounds, functions to be finished and processes of research about this subject and so on. It stresses on key points and thoughts of designing, difficult technology and schemes about this system. In addition, it shows some experience in the process of research and development.
Key words: Search engine;Key words;ASP;Visual InterDev
前 言
在互聯(lián)網(wǎng)發(fā)展初期，網(wǎng)站相對(duì)較少，信息查找比較容易。然而伴隨互聯(lián)網(wǎng)爆炸性的發(fā)展，普通網(wǎng)絡(luò)用戶想找到所需的資料簡(jiǎn)直如同大海撈針，這時(shí)為滿足大眾信息檢索需求的專業(yè)搜索網(wǎng)站便應(yīng)運(yùn)而生了。
現(xiàn)代意義上的搜索引擎的祖先，是1990年由蒙特利爾大學(xué)學(xué)生Alan Emtage發(fā)明的Archie。雖然當(dāng)時(shí)World Wide Web還未出現(xiàn)，但網(wǎng)絡(luò)中文件傳輸還是相當(dāng)頻繁的，而且由于大量的文件散布在各個(gè)分散的FTP主機(jī)中，查詢起來(lái)非常不便，因此Alan Emtage想到了開發(fā)1個(gè)可以以文件名查找文件的系統(tǒng)，于是便有了Archie。Archie工作原理與現(xiàn)在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動(dòng)搜索網(wǎng)上的文件，然后對(duì)有關(guān)信息進(jìn)行索引，供使用者以1定的表達(dá)式查詢。由于Archie深受用戶歡迎，受其啟發(fā)，美國(guó)內(nèi)華達(dá)System Computing Services大學(xué)于1993年開發(fā)了另1個(gè)與之非常相似的搜索工具，不過此時(shí)的搜索工具除了索引文件外，已能檢索網(wǎng)頁(yè)。
隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁(yè)變得越來(lái)越困難，因此，在Matthew Gray的Wanderer基礎(chǔ)上，1些編程者將傳統(tǒng)的“蜘蛛”程序工作原理作了些改進(jìn)。其設(shè)想是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤1個(gè)網(wǎng)站的鏈接開始，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，1些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天Overture），和Repository-Based Software Engineering (RBSE) spider最負(fù)盛名。
最早現(xiàn)代意義上的搜索引擎出現(xiàn)于1994年7月。當(dāng)時(shí)Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知的Lycos。同年4月，斯坦福（Stanford）大學(xué)的兩名博士生，David Filo和美籍華人楊致遠(yuǎn)（Gerry Yang）共同創(chuàng)辦了超級(jí)目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進(jìn)入了高速發(fā)展時(shí)期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達(dá)數(shù)百家，其檢索的信息量也與從前不可同日而語(yǔ)。比如最近風(fēng)頭正勁的Google，其數(shù)據(jù)庫(kù)中存放的網(wǎng)頁(yè)已達(dá)30億之巨！
然而我國(guó)的搜索引擎技術(shù)與國(guó)外先進(jìn)技術(shù)相比仍然相差較大，較有名的引擎寥寥可數(shù)，如百度等。中國(guó)擁有巨大的市場(chǎng)潛力，若能充分挖掘，將產(chǎn)生巨大的經(jīng)濟(jì)效益，所以應(yīng)該積極發(fā)展搜索引擎技術(shù)，故我選此作為畢業(yè)設(shè)計(jì)課題，使自己能盡早了解其原理和技術(shù)，為以后向這方面發(fā)展打下基礎(chǔ)。
1 搜索引擎概述
目前，關(guān)于搜索引擎的說法很多，國(guó)內(nèi)還沒有1個(gè)明確的定義。1般而言，我們可以從廣義和狹義上去理解。從狹義的角度來(lái)說，搜索引擎由信息收集軟件、索引數(shù)據(jù)庫(kù)和查詢接口3部分組成。信息收集軟件從1個(gè)已知的文檔集中讀取信息，并檢查這些文檔的鏈接指針，找出新的信息空間，然后取回這些新空間中的文檔，將它們加入到索引數(shù)據(jù)庫(kù)。查詢接口通過索引數(shù)據(jù)庫(kù)為用戶的查詢請(qǐng)求提供服務(wù)。即搜索引擎指的是基于某種技術(shù)在整個(gè)網(wǎng)上自動(dòng)執(zhí)行網(wǎng)頁(yè)全文搜索的網(wǎng)上指南工具。
從廣義的角度上講，搜索引擎是因特網(wǎng)上的1類網(wǎng)站，這類網(wǎng)站與1般的網(wǎng)站不同的是它是提供查詢、搜索的網(wǎng)站，或稱查詢站點(diǎn)、導(dǎo)航站點(diǎn)，即因特網(wǎng)上具有檢索功能的網(wǎng)頁(yè)。從這點(diǎn)上說，搜索引擎分為兩種，1種是分類目錄型的檢索，它將因特網(wǎng)上的信息資源，如網(wǎng)址、描述主題、字順或時(shí)間順序匯總整理，形成圖書館目錄1樣的分類樹型結(jié)構(gòu)目錄，用戶通過逐級(jí)瀏覽這些目錄來(lái)找尋自己需要的網(wǎng)址或相關(guān)內(nèi)容;另1種是基于關(guān)鍵詞的檢索，這種方式用戶可以用邏輯組合方式輸入各種關(guān)鍵詞(Keyword)，搜索引擎計(jì)算機(jī)根據(jù)這些關(guān)鍵詞尋找用戶所需資源的地址，然后根據(jù)1定的順序(如字母排列、時(shí)間、相關(guān)級(jí)別等)反饋給用戶包含此關(guān)鍵字詞信息的所有網(wǎng)址和指向這些網(wǎng)址的鏈接。現(xiàn)在的發(fā)展趨勢(shì)是以基于關(guān)鍵字的檢索為主、分類目錄型檢索為輔�；陉P(guān)鍵字檢索的功能強(qiáng)大、維護(hù)成本低廉，但實(shí)現(xiàn)技術(shù)比較復(fù)雜，本論文以這種搜索引擎為討論對(duì)象。
然而在中國(guó)，中文搜索引擎存在著許多問題。首先中文搜索引擎的分類體系尚不完善。由于我國(guó)搜索引擎發(fā)展起步晚速度又快，目前在這方面尚未出現(xiàn)統(tǒng)1的分類標(biāo)準(zhǔn)，也沒有實(shí)施和規(guī)定規(guī)范的網(wǎng)絡(luò)術(shù)語(yǔ)，以致于各搜索引擎在分類和命名時(shí)無(wú)據(jù)可依。具體表現(xiàn)在：1是中文搜索引擎很多。他們之間沒有1個(gè)統(tǒng)1的嚴(yán)格的分類標(biāo)準(zhǔn)，導(dǎo)致類目體系不1，且層次不合理，類目設(shè)置不科學(xué)，類目之間邏輯差，類目設(shè)置隨意，無(wú)分類代碼，分類體系變動(dòng)大；2是我國(guó)網(wǎng)站許多術(shù)語(yǔ)并不規(guī)范，類名也不統(tǒng)1，結(jié)果造成了混亂，讓用戶無(wú)所適從。再次，國(guó)內(nèi)的網(wǎng)站所采用的收集資料的技術(shù)比較落后。這主要是由于它們絕大多數(shù)采用目錄式搜索引擎，即通過人工發(fā)現(xiàn)信息并依靠編目員的知識(shí)進(jìn)行分類，從而使搜索引擎收集的范圍小、信息少，獲得的信息資料不齊全、不完整。這些問題的實(shí)質(zhì)是搜索引擎缺乏知識(shí)理解能力和自然語(yǔ)言的處理能力。
要實(shí)現(xiàn)1個(gè)搜索引擎系統(tǒng)，用到的技術(shù)很多，其中最主要的兩項(xiàng)關(guān)鍵技術(shù)是數(shù)據(jù)庫(kù)中模糊搜索的實(shí)現(xiàn)和多個(gè)關(guān)鍵字查詢。
1.1 模糊搜索技術(shù)
所謂“模糊搜索”就是根據(jù)1個(gè)關(guān)鍵字，搜索到相關(guān)的資料，這里的“相關(guān)”是指資料中有類似這個(gè)關(guān)鍵字的字符串。例如：“ASP”這個(gè)關(guān)鍵字，只要數(shù)據(jù)庫(kù)資料中包含“ASP”
這個(gè)關(guān)鍵字的都要把它們找出來(lái)。模糊搜索的實(shí)現(xiàn)其實(shí)很簡(jiǎn)單，只要使用1個(gè)SQL語(yǔ)句就可以了，下面看看SQL語(yǔ)句的寫法。
在SQL語(yǔ)句中，包含如下幾個(gè)關(guān)鍵字：LIKE、NOT LIKE、BETWEEN。LIKE關(guān)鍵字是搜索與搜索條件相匹配的數(shù)據(jù)。而NOT LIKE與LIKE正好相反，是查找與搜索條件不匹配的數(shù)據(jù)。BETWEEN關(guān)鍵字是查找在1定范圍內(nèi)的數(shù)據(jù)，它總是與AND關(guān)鍵字1起使用。如果事先知道查找范圍的起點(diǎn)和終點(diǎn)，可以采用BETWEEN關(guān)鍵字。在編程實(shí)現(xiàn)搜索引擎時(shí)，1般最常用的就是LIKE關(guān)鍵字。
用個(gè)例子來(lái)說明。首先建立1個(gè)數(shù)據(jù)表example，表中有兩個(gè)字段：ID字段和CONTENT字段，CONTENT字段中包含1些文本信息。編者在這里使用SQL語(yǔ)句查詢CONTENT字段中是否包含“example”關(guān)鍵字，如果包含，將顯示包含關(guān)鍵字的所有ID值；如果不包含將給出提示。
【網(wǎng)絡(luò)搜索引擎性能分析模型與系統(tǒng)ASP+SQL】相關(guān)文章：
網(wǎng)絡(luò)購(gòu)物系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)ASP+SQL10-21
基于WEB的網(wǎng)絡(luò)考試系統(tǒng)ASP+SQL10-05
搜索引擎檢索子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)ASP+SQL10-28
基于ASP的網(wǎng)絡(luò)辦公系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)ASP+SQL08-16
小型企業(yè)網(wǎng)絡(luò)辦公系統(tǒng)ASP+SQL05-15
網(wǎng)絡(luò)新聞發(fā)布系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)ASP+SQL10-13
基于on-off模型設(shè)計(jì)與OPNET仿真的P-ALOHA系統(tǒng)性能分析06-19
網(wǎng)絡(luò)視頻系統(tǒng)性能測(cè)試及優(yōu)化07-15