基于网络爬虫的新闻实时监测分析可视化系统（Java+MySQL+Web+Eclipse）

目 录
1 绪论 1
1.1 论文研究背景与意义 1
1.2 论文研究内容 2
2 系统需求分析 4
2.1 系统需求概述 4
2.2 系统需求分析 4
2.2.1 系统功能要求 4
2.2.2 系统IPO图 5
2.2 系统非功能性需求分析 5
3系统概要设计 7
3.1 设计约束 7
3.1.1需求约束 7
3.1.2设计策略 7
3.1.3 技术实现 8
3.3 模块结构 8
3.3.1 模块结构图 8
3.3.2 系统层次图 10
3.3.3 面向对象设计UML图 10
4 系统详细设计 13
4.1 系统模块设计 13
4.1.1 数据采集模块 13
4.1.2中文分词模块 18
4.1.3相似度匹配模块 22
4.1.4数据展示模块 25
4.2系统异常处理 29
4.2.1爬虫异常总体概况 29
4.2.2爬虫访问网页被拒绝 29
5 软件测试 32
5.1 白盒测试 32
5.1.1 爬虫系统测试结果 32
5.1.2 中文分词系统测试结果 33
5.1.3 中文文章相似度匹配系统测试结果 34
5.1.4 相似新闻趋势展示系统测试结果 36
5.2黑盒测试 37
5.2.1 爬虫系统测试结果 37
5.2.2 中文文章相似度匹配系统测试结果 37
5.2.3 相似新闻趋势展示系统测试结果 38
6 结 论 40
参考文献 42
致 谢 43
外文资料 44
中文翻译 48
2 系统需求分析
软件需求分析对软件系统提出了清楚、准确、全面而具体的要求，是对软件使用者意图不断进行揭示与准确判断的过程，它并不考虑系统的具体实现，而是严密地、完整地描述了软件系统应该做些什么的一种过程。
2.1 系统需求概述
要求爬虫系统能完成对凤凰网新闻、网易新闻、新浪新闻、搜狐新闻等网站新闻数据的实时抓取，并正确抽取出正文，获取新闻的点击量，实现每日定时抓取。能将抓取回来的新闻进行中文分词，利用中文分词结果来计算新闻相似度，将相似的新闻合并起来，同时也合并点击率，最后一点，能将相似因为一段事件内的用户点击趋势以合适的形式展现出来。
基于Java的网络爬虫实时新闻监测分析系统的设计与实现由以下几个模块构成：
网络爬虫模块。
中文分词模块。
中文相似度判定模块。
数据结构化存储模块。
数据可视化展示模块。
2.2 系统需求分析
2.2.1 系统功能要求
按照对系统需求调用的内容分析，系统功能划分为了一下五个模块：
数据采集模块：
数据采集模块负责数据采集，即热点网络新闻数据的定时采集，以及数据的初步拆分处理。
（1）中文分词模块：
中文分词模块能将数据采集模块采集到的热点网络新闻数据进行较为准确的中文分词。
（2）中文相似度判定模块：
中文相似度判定模块通过将数据采集模块采集到的热点网络新闻数据结合中文分词模块的分词结果，进行网络热点新闻的相似度分析，并能够将相似新闻进行数据合并。
（3）数据结构化存储模块：
数据结构化存储模块贯穿在其他模块之中，在数据采集模块中，负责存储采集拆分后的热点网络新闻数据；在中文分词模块中，负责从数据库读出需要分词处理的网络新闻数据；在中文相似度判定模块中，负责从将分析得到的相似新闻进行存储；在数据可视化展示模块中负责将相似热点新闻数据从数据库读出，其中涉及到大量关于数据库资源的处理。
（4）数据可视化展示模块：
数据可视化展示模块负责将中文相似度判定模块判定为相似新闻的数据以可视化的形式展示出来，展示形式可以自定义。
3 系统概要设计
系统概要设计的主要目的是能在此阶段将系统的主要功能逻辑设计和数据库系统的逻辑设计完全从需求分析中提取出来，在提取的过程中，不仅仅是奔着实现软件的功能而去，还得考虑上下文环境，例如系统最终的运行环境，系统以后可能增加的需求等等相关约束，在捋清楚系统约束之后在进行系统概要设计，这样软件系统之后的二次开发也不会太难。
3.1 设计约束
3.1.1 需求约束
系统能稳定运行在最低为JDK1.7的平台上。
数据库向后兼容，最低适配Mysql5.1。
要求程序有较好的跨平台性，可以同时运行在Linux、windows、Unix系统上。
要求数据库连接方面，设置的密码足够复杂，数据库连接管理良好，数据库系统能健壮运行。
禁止使用商业性软件，在本系统中使用的算法或是类库必须是免费的。
系统对系统配置的要求要尽可能低。
程序具有良好的可移植性、兼容性、安全性。
3.1.2 设计策略
为了本系统能适应未来的需求与发展，特制定如下策略：
系统具有良好的接口扩展功能，能非常容易地扩展新功能，并将可能会经常调整的部分单独提取出来作为一个模块；
系统代码具有非常良好的复用价值，新功能的添加能基于现有功能进行派生；
系统代码优化到位，很少出现或者完全不会出现内存泄露的问题，包括数据库连接池的泄露，独享资源使用未关闭句柄的问题等；
当优化问题与代码健壮性发生冲突时，则以保证代码健壮性为首要目标，可以适当调整优化。
3.1.3 技术实现
本系统设计与开发工具采用以下配置：
开发语言：java JDK版本1.7。
Java是一种具有非常棒的面向对象的设计思想的一门计算机语言语言。Java 技术具有很高的生产力，原因是大量的程序员为其贡献了大量的代码，目前Java程序广泛应用于Web、企业管理系统、云计算、大数据计算等方面，同时Java目前在全球的编程语言的稳居第一。
开发环境：Eclipse。
Eclipse 一开始是IBM旗下的一款开发工具，知道后来被IBM贡献给了开源社区，虽然开源，但是其功能一点也不逊于专业收费类型的开发IDE，Eclipse有着强大的开源活力，以及良好的扩展性，很容易在论坛上下载到各种各样为Eclipse量身定制的插件，所以开发本系统采用了Eclipse作为开发IDE。
3.3 模块结构
3.3.1 模块结构图
爬虫系统软件结构图：
向爬虫系统输入网页URL，爬虫打开网页解析处理抽出网页正文，然后输出网页正文，如图3-1所示。

图3-1 爬虫子系统结构图

<%@ page language="java" contentType="text/html; charset=UTF-8"
    pageEncoding="UTF-8" import="com.netnews.reader.*" import="java.util.*"
    import="java.net.URLEncoder"%>









	

	
	<%
		List nodeList = (new NetnewsReader()).getNodeList();
		for(NodeList nl: nodeList) {
			out.print("");
			out.print("");
			out.print("");
		}
	%>
	
"
					+ nl.title + "
热度: " + nl.max_clickrate + "
	


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27