Python实现的热点话题发现系统

摘要 … I
ABSTRACT … III
第 1 章绪论 … 1
1.1 国内外研究现状与意义 … 1
1.2 本文创新点 … 2
1.3 论文写作思路 … 2
第 2 章相关技术介绍 … 5
2.1 网络爬虫技术 … 5
2.2 中文分词技术 … 5
2.3 特征选择及权重计算 … 6
2.3.1 特征选择 … 6
2.3.2 特征权重计算 … 7
2.4 文本表示 … 8
2.4.1 布尔模型 … 8
2.4.2 概率模型 … 9
2.4.3 向量空间模型 … 9
2.5 文本聚类算法 … 9
2.5.1 距离算法 … 10
2.5.2 K-means 聚类算法 … 10
2.5.3 二分 K-means 聚类算法 … 11
第 3 章校园微博热点话题发现系统设计与实现 … 13
3.1 系统设计目标及要求 … 13
3.1.1 系统设计目标 … 13
3.1.2 系统设计要求 … 14
3.2 系统详细架构设计 … 14
3.3 系统功能模块设计与实现 … 15
3.3.1 微博数据获取模块 … 15
3.3.2 微博文本预处理模块 … 18
3.3.2 校园微博热点话题发现模块 … 21 第 4 章系统功能测试 … 25

4.1 系统运行环境和参数  ............................... 25 
4.2 实验数据及处理  ................................... 25 
4.3 系统可视化界面  ................................... 27 
   4.3.1 数据获取界面  ................................ 27 
   4.3.2 热点话题排行榜  .............................. 27 
   4.3.3 热点话题热度直方图  .......................... 28 
   4.3.4 敏感词展示  .................................. 28 
1
2
3
4
5
6
7

总结与展望 … 31
参考文献 … 33
致谢 … 35
附录 … 37

3 . 1 系统设计目标及要求

3.1.1. 1 系统设计目标

本文以高校学生微博用户为研究对象，实现对高校学生微博热点话题进行及时获取、分析和监控，并根据热点话题类别进行图表方式展示。系统可视化界面可以实现操作一套热点话题发现的流程，并且实时对校园微博热点话题进行监控，从而提供微博舆情的预警。
由于高校微博用户群体用户量大，产生的数据量也随之增大，因此需要一个实时并发的系统不断获取微博数据并分析数据。
功能性目标 :
（ 1 ）微博数据获取模块
系统获取的文本来源于新浪微博，用户可以根据自己需求，通过用户可视化界面操作配置需要监控的微博号，并获取该校园微博号的文本数据，支持设置爬取数据页数，一页有十条微博内容，后续可实现支持配置不同微博号内容存入不同表设置。
（ 2 ）微博文本预处理模块
获取数据是通过网页爬虫直接获取 H T M L 文本，因此需要对文本进行提取，提取微博发布内容、发布时间、评论数、点赞数等。进一步对提取结果进行清洗，去除无效或无意义的微博内容及没有评论的微博，对文本进行分词处理及特征选择及提取等操作后构建向量空间模型。
（ 3 ）微博热点话题发现
短文本聚类是微博热点话题发现系统最重要的模块，聚类结果对于热点话题发现的准确性有很大影响。该模块只需在可视化界面上操作获取热点话题步骤就可以获取热点话题。
（ 4 ）热点话题可视化界面
在上面（ 3 ）步骤执行获取热点话题步骤后，可在界面上以图表形式展示热点话题信息及相关热点关键词，并实现敏感词展示。

3.1.2. 2 系统设计要求

校园微博热点话题发现系统是集数据获取、文本处理、文本挖掘等模块，网页爬虫、中文分词等多种技术在一起的系统，所以对各功能模块的可用性要求比较高。为了实现对校园微博的热点话题发现，系统应该具备以下特性：
（ 1 ）实用性和稳定性。系统应该以实用为目的，选取合适的软硬件环境搭建系统，并保证系统长时间正常运行，而且需在发生故障发生后，能快速恢复系统。
（ 2 ）精准性。数据的来源和提取应该保证准确性，保证获取热点话题和舆情监控的准确性。
（ 3 ）可维护性和可扩展性。微博数据的不断增长，导致系统各模块不可避免出现问题。当出现问题时，就需要系统具备可维护性，快速定位问题并修复。考虑到系统用户的增加，系统流量大而导致系统无法可用，就需要系统具备可扩展性，可迁移到更高配置的软硬件环境下。
由于校园微博用户群体大，微博数据增长量也随之剧增，所以应该合理设计系统各个功能模块，保证每个功能模块的可用性，并能保证系统的抗压能力。

# -*- coding: utf-8 -*-
"""
~~~~~~~~~~~~~~~~~~~
程序入口

@author guoweikuang
"""
import arrow

from crawl.crawl import run_async_crawl
from handle_text.k_means import run_kmeans
from handle_text.k_means import run_kmeans_by_scikit
from handle_text.k_means import run_min_kmeans
from handle_text.k_means import run_mean_shift
from handle_text.build_vsm import run_build_vsm
from handle_text.build_vsm import run_build_vsm_by_file
from handle_text.utils import classify_k_cluster_to_file
from utils import run_first_cluster
from utils import run_second_cluster
from utils import run_hot_topic
from utils import run_cluster
from login.login import run_login_weibo
from common.utils import classify_k_cluster_to_redis
from crawl.crawl import run_crawl_by_multiprocess
from classify_text.classify import run_classify
from classify_text.main import run_classify_text
from classify_text.config import corpus_path, seg_path, bag_path, test_bag_path, test_seg_path, test_corpus_path
from draw_chart import run_draw_chart, run_draw_top_keyword_barh, run_draw_pie
from handle_text.sensitive import run_sensitive
from classify_text.utils import read_text_old_mysql, save_to_file
from utils import run_old_all_process, run_new_all_process
from handle_text.hot_topic import list_hot_topic
from utils import run_old_second_all_process
from handle_text.draw_chart import run_draw_pie
from handle_text.draw_chart import run_draw_chart


if __name__ == '__main__':

    # 登录模块
    #run_login_weibo(username='18902304731', password='')

    #   异步爬取模块
    #run_crawl_by_multiprocess(1, 20, 4)
    run_async_crawl(1, 10)

    #  读取数据并构建向量空间模型
    now = arrow.utcnow().date()
    start = arrow.utcnow().shift(days=-120).date()
    rows, texts = run_build_vsm(start_time=start, end_time=now)
    rows = run_build_vsm_by_file()

    #   读取旧数据库模块，用于test
    end_time = arrow.get("2016-10-30")
    rows = read_text_old_mysql(end_time, days=30, database='weibo')
    #save_to_file('old_mysql', rows)

    #   分类模块
    #run_classify_text(rows)

    #   k-means 聚类模块
    #labels = run_kmeans(k=4, vsm_name="total")
    labels = run_kmeans_by_scikit(k=3, vsm_name="total")
    #labels = run_min_kmeans(k=2, vsm_name='total')

    #  画图模块
    #run_draw_pie(db=2)
    #run_draw_chart(db=1)
    #run_draw_top_keyword_barh(db=2)
    #run_draw_cluster_chart(db=1)

    #   对聚类结果进行归类模块
    #classify_k_cluster_to_redis(labels=labels, texts=rows)
    #classify_k_cluster_to_file(labels=labels, texts=rows)

    #   敏感词发现模块
    results = []
    for row in rows:
        results.append([row[0], row[1], row[2], row[3].strip()])
    #run_sensitive(rows=results)

    #   一次及二次聚类模块
    #run_second_cluster()
    #run_first_cluster('1', '1')
    start = '2018-03-01'
    end = '2018-04-29'
    end_time = arrow.get("2016-10-30")
    #run_new_all_process(start, end, k=5)
    #run_old_all_process(end_time)
    #run_cluster(start, end, k=7)
    #run_old_all_process(end_time)
    #list_hot_topic(db=1)
    #run_old_second_all_process(start_time='1', end_time=end_time)

    #  热点话题热度值计算模块
    #run_hot_topic()

    # 分类并进行正确归类
    #run_classify_text(rows)
    #run_classify(corpus_path, seg_path, bag_path, test_bag_path, test_corpus_path, test_seg_path)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101