本文从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地住，提出了网络蜘蛛的功能和设计要求。在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。

 

 

关键字：爬虫、搜索引擎

 

  

目录

摘要 2

Abstract 3

一、项目背景 5

1.1搜索引擎现状分析 5

1.2课题开发背景 6

1.3网络爬虫的工作原理 8

二、系统开发工具和平台 9

2.1关于java语言 9

2.2 Jbuilder介绍 10

2.3 servlet的原理 12

三、系统总体设计 14

3.1系统总体结构 14

3.2系统类图 14

四、系统详细设计 17

4.1搜索引擎界面设计 17

4.2 servlet的实现 19

4.3网页的解析实现 20

4.3.1网页的分析 20

4.3.2网页的处理队列 21

4.3.3 搜索字符串的匹配 22

4.3.4网页分析类的实现 22

4.4网络爬虫的实现 25

五、系统测试 33

六、结论 35

致谢 35

参考文献 36