摘要 I

Abstract II

1 概述 1

1.1 研究背景及意义 1

1.2 网络爬虫的发展现状 1

1.3 本课题主要工作 2

2 相关技术简介 4

2.1 Python简介 4

2.2 爬虫简介 4

2.2.1 爬虫概念 4

2.2.2 爬虫分类 4

2.3 PyEcharts 7

2.4 数据挖掘简介 7

2.4.1 数据挖掘方法 8

2.4.2 数据挖掘流程 8

3 系统分析 10

3.1 可行性分析 10

3.1.1 技术可行性 10

3.1.2 经济可行性 10

3.1.3 操作可行性 11

3.2 功能需求分析 11

3.3 系统性能分析 11

3.4 系统运行环境分析 12

4 系统设计 13

4.1 设计目标及原则 13

4.2爬虫框架及流程分析 13

5 系统实现 15

5.1 信息爬取 15

5.2 系统实现界面 15

5.2.1 登录界面 15

5.2.2 用户主界面 16

5.2.3 管理员主界面 16

5.2.4 可视化界面 16

6 软件测试与分析 18

6.1 测试环境与测试条件 18

6.2 功能测试 18

6.3 性能测试 18

6.4 测试用例 19

6.5 系统运行情况 19

结  论 20

参考文献 21

致  谢 22

 

 

摘要

本文设计和实现了一个基于Python网络爬虫的电子产品信息查询可视化系统，本文以软件工程基本设计流程来介绍该系统的所有分析、设计、实现、测试。首先，对现有系统现状进行相关调研，分析总结了其给用户带来的价值。其次，对现阶段前端技术的分析总结，挑选出较为优秀的工具来对本系统进行开发实现。接着，在功能和性能需求上对本系统进行相关需求分析，使本系统的后续实现更具有现实意义。然后，对系统的总体设计架构、功能模块详细设计以及数据库的相关设计进行了详细的介绍。最后介绍了本系统的实现结果和系统测试。

该论文的设计主要采用了Python技术来开发基于Python网络爬虫的电子产品信息查询可视化系统的设计，同时可以对系统的实现进行网络爬虫爬取的网页信息，能够对所获取的信息进行有效的处理和储存，并且采用图形来做图形界面展示给用户等，具体实现了该系统功能的设计和实现过程。

具体在系统设计上，采用了B/S的结构，同时，也使用Python技术在动态页面上进行了设计，后台上采用MySQL数据库，是一个非常优秀的基于Python网络爬虫的电子产品信息查询可视化系统。

 

关键词  信息爬取；Python；电子产品信息查询；可视化分析