基于Python实现的文章整合搜索引擎网站（Scrapy+Django+MySQL）

目录
摘要… 1
1 概述… 6
2 技术选型… 6
2.1 Scrapy-Redis 分布式爬虫 … 6
2.1.1 Redis… 6
2.1.2 Scrapy… 7
2.2 MySQL 数据存储 … 8
2.3 Django 搭建搜索网站 … 8
2.4 ElasticSearch 搜索引擎 … 9
2.4.1 Elasticsearch-RTF… 9
2.4.2 Elasticsearch-head… 10
2.4.3 Kibana… 10
3 实现细节… 10
3.1 处理反爬… 10
3.1.1 更换随机 User-Agent … 10
3.1.2 使用 IP 代理池… 11
3.1.3 访问频率限制… 12
3.1.4 Cookie 的禁用 … 13
3.1.5 验证码识别… 13
3.2 爬取数据… 14
3.2.1 先知社区… 14
3.2.2 安全客… 17
3.2.3 嘶吼… 19
3.3 重构分布式爬虫… 21
3.3.1 需要解决的问题… 21
3.3.2 分布式的原理… 22
3.3.3 分布式的实现… 23
3.4 搜索引擎… 24
3.4.1 倒排索引… 24
3.4.2 排序评分… 25
3.4.3 搜索提示… 26
3.4.4 模糊搜索… 27
3.5 网页搭建… 28
3.5.1 爬虫统计数据… 28
3.5.2 热门搜索… 28
3.6 其他技术… 29
3.6.1 URL 去重策略 … 29
3.6.2 Bloom Filter 使用 … 31
4 系统展示 … 34
4.1 分布式爬取… 34
4.2 搜索网站首页… 36
4.3 搜索提示展示… 36
4.4 搜索结果展示… 37
1概述
爬虫的应用领域非常广泛，目前利用爬虫技术市面上已经存在了比较成熟的搜索引擎产品，如百度、谷歌，以及其他垂直领域搜索引擎，这些都是非直接目的；还有一些推荐引擎，如今日头条，可以定向给用户推荐相关新闻；爬虫还可以用来作为机器学习的数据样本。
本项目的主要目的是为了更好的整合利用安全领域特有的社区资源优势。首先使用 Scrapy 爬虫框架结合 NoSQL 数据库 Redis 编写分布式爬虫，并对先知、安全客、嘶吼三个知名安全社区进行技术文章的爬取；然后选取 ElasticSearch 搭建搜索服务，同时提供了 RESTfulweb 接口；最后通过 Django 搭建可视化站点，供用户透明的对文章进行搜索。
最终通过本项目可以更加透彻的理解爬虫的相关知识；在熟练运用 Python 语言的基础上，更加深入的掌握开源的爬虫框架 Scrapy，为后续其他与爬虫相关的业务奠定理论基础和数据基础；进一步理解分布式的概念，为大数据的相关研究和硬件条件奠定基础；熟练掌握 Python 搭建网站的框架 Django，深入理解基于 Lucene 的搜索服务器 ElasticSearch。
2技术选型
2.1Scrapy-Redis 分布式爬虫
2.1.1Redis
Redis 是完全开源免费的，遵守 BSD 协议的，高性能的 key-value 数据库。
Redis 与其他 key-value 缓存产品有以下三个特点：
（1）Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。这样可以防止数据的丢失，在实际生产应用中数据的完整性是必须保证的。
（2）Redis 不仅仅支持简单的 key-value 类型的数据，同时还提供 list，set，
zset，hash 等数据结构的存储。这些功能更强大的数据存储方式极大地节约了存储空间，优化了查询的性能，大大提高了查询效率。存储的目的是为了后期更好的取出，Redis 很好地做到了这一点。
（3）Redis 支持数据的备份，即 master-slave 模式的数据备份。主从结构目前是大数据里面的主流结构，主从模式能保证数据的健壮性和高可用。当出现电脑宕机，硬盘损坏等重大自然原因时，本文转载自http://www.biyezuopin.vip/onews.asp?id=16995主从模式能很好的保证存储的数据不丢失，随时恢复到可用状态。
2.1.2Scrapy
Scrapy 的原理如下所示：
在这里插入图片描述

<!DOCTYPE html >
<html xmlns="http://www.w3.org/1999/xhtml">
{% load staticfiles %}
<head>
    <meta http-equiv="X-UA-Compatible" content="IE=emulateIE7"/>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
    <title>ISA Search 搜索引擎</title>
    <link href="{% static 'css/style.css' %}" rel="stylesheet" type="text/css"/>
    <link href="{% static 'css/index.css' %}" rel="stylesheet" type="text/css"/>
</head>
<body>
<div id="container">
    <div id="bd">
        <div id="main">
            <h1 class="title">
                <div class="logo large"></div>
            </h1>
            <div class="inputArea">
                <input type="text" class="searchInput"/>
                <input type="button" class="searchButton" onclick="add_search()"/>
                <ul class="dataList"></ul>
            </div>
            <div class="historyArea">
                <p class="history">
                    <label>热门搜索：</label>
                    {% for search_word in topn_search %}
                        <a href="/search?q={{ search_word }}">{{ search_word }}</a>
                    {% endfor %}
                </p>
                <p class="history mysearch">
                    <label>我的搜索：</label>
                    <span class="all-search">
                        <a href="javascript:;"></a>
                    </span>

                </p>
            </div>
        </div><!-- End of main -->
    </div><!--End of bd-->

</div>
</body>
<script type="text/javascript" src="{% static 'js/jquery.js' %}"></script>
<script type="text/javascript" src="{% static 'js/global.js' %}"></script>
<script type="text/javascript">
    var suggest_url = "{% url 'suggest' %}"
    var search_url = "{% url 'search' %}"


    $('.searchList').on('click', '.searchItem', function () {
        $('.searchList .searchItem').removeClass('current');
        $(this).addClass('current');
    });

    function removeByValue(arr, val) {
        for (var i = 0; i < arr.length; i++) {
            if (arr[i] == val) {
                arr.splice(i, 1);
                break;
            }
        }
    }


    // 搜索建议
    $(function () {
        $('.searchInput').bind(' input propertychange ', function () {
            var searchText = $(this).val();
            var tmpHtml = ""
            $.ajax({
                cache: false,
                type: 'get',
                dataType: 'json',
                url: suggest_url + "?s=" + searchText,
                async: true,
                success: function (data) {
                    for (var i = 0; i < data.length; i++) {
                        tmpHtml += '+ search_url + '?q=' + data[i] + '">' + data[i] + '
'
                    }
                    $(".dataList").html("")
                    $(".dataList").append(tmpHtml);
                    if (data.length == 0) {
                        $('.dataList').hide()
                    } else {
                        $('.dataList').show()
                    }
                }
            });
        });
    })

    hideElement($('.dataList'), $('.searchInput'));

</script>
<script>
    function htmlSpecialChars(str) {
        var s = "";
        if (str.length == 0) return "";
        for (var i = 0; i < str.length; i++) {
            switch (str.substr(i, 1)) {
                case "<":
                    s += "<";
                    break;
                case ">":
                    s += ">";
                    break;
                case "&":
                    s += "&";
                    break;
                case " ":
                    if (str.substr(i + 1, 1) == " ") {
                        s += "  ";
                        i++;
                    } else s += " ";
                    break;
                case "\"":
                    s += """;
                    break;
                case "\n":
                    s += "
";
                    break;
                default:
                    s += str.substr(i, 1);
                    break;
            }
        }
        return s;
    }

    var searchArr;
    //定义一个search的，判断浏览器有无数据存储（搜索历史）
    if (localStorage.search) {
        //如果有，转换成 数组的形式存放到searchArr的数组里（localStorage以字符串的形式存储，所以要把它转换成数组的形式）
        searchArr = localStorage.search.split(",")
    } else {
        //如果没有，则定义searchArr为一个空的数组
        searchArr = [];
    }
    //把存储的数据显示出来作为搜索历史
    MapSearchArr();

    function add_search() {
        var val = $(".searchInput").val();
        if (val.length >= 2) {
            //点击搜索按钮时，去重
            KillRepeat(val);
            //去重后把数组存储到浏览器localStorage
            localStorage.search = searchArr;
            //然后再把搜索内容显示出来
            MapSearchArr();
        }

        window.location.href = search_url + '?q=' + val

    }

    function MapSearchArr() {
        var tmpHtml = "";
        var arrLen = 0
        if (searchArr.length >= 5) {
            arrLen = 5
        } else {
            arrLen = searchArr.length
        }
        for (var i = 0; i < arrLen; i++) {
            tmpHtml += '+ search_url + '?q=' + searchArr[i] + '">' + htmlSpecialChars(searchArr[i]) + ''
        }
        $(".mysearch .all-search").html(tmpHtml);
    }

    //去重
    function KillRepeat(val) {
        var kill = 0;
        for (var i = 0; i < searchArr.length; i++) {
            if (val === searchArr[i]) {
                kill++;
            }
        }
        if (kill < 1) {
            searchArr.unshift(val);
        } else {
            removeByValue(searchArr, val)
            searchArr.unshift(val)
        }
    }


</script>
</html>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189

在这里插入图片描述

相关阅读:
客服开场白话术
 【网络编程】Linux网络编程基础与实战第三弹——网络名词术语
 交换机与路由技术-15-链路聚合
 Eclipse安装配置、卸载教程（Windows版）
Eureka 入门教程
 RPC框架之OpenFeign快速上手
 NVIDIA平台的兼容性表，其中包括nano、agx xavier 、tx兼容的deepstream和cuda等版本信息
 重量（计量单位）英文缩写和转换表
 【sfu】rtc 入口
 在线等！！！新版考纲在国内通过率有多少？
原文地址：https://blog.csdn.net/newlw/article/details/127683116