摘要
本文主要从两个方面来建设搜索引擎，一是网络爬虫，本文探讨了网络爬虫在搜索引擎中的作用和地住，提出了网络爬虫的功能和设计要求。在对网络爬虫系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络爬虫的程序，对其运行结果做了分析。第二是luncne搜索引擎的实现，利用此工具对网络爬虫提取的新闻进行搜索。

关键字：爬虫、搜索引擎

目录
Abstract 2
1.1搜索引擎现状分析 3
1.2课题开发背景 3
1.3网络爬虫的工作原理 5
2.1关于java语言 5
2.2 Jbuilder介绍 6
2.3 servlet的原理 7
2.4  luncen 技术 8
（1）Lucene工具包介绍 8
（2）Lucene工具包的优点 9
（3）使用Lucene建立索引和搜索 9
3.1系统总体结构 12
3.2系统类图 12
1)servlet结构 12
2）网络爬虫结构 13
3）页面解析结构 14
3.3搜索策略 14
四、系统详细设计 16
4.1搜索引擎界面设计 16
4.2 servlet的实现 18
4.3网页的解析实现 19
4.4网络爬虫的实现 20
五、系统测试 35
六、结论 37
致谢 37
参考文献 38