python数据抓取方式

数据抓取

  抓取就是让爬虫从每个网页中抽取一些数据，然后实现某些事情。使用Firebug Lite的浏览器扩展，用来检查网页内容，然后介绍三种抽取网页数据的方法，分别是正则表达式、Beautiful Soup和lxml。

分析网页

  想要了解一个网页的结构，大多数浏览器可以通过右键查看源代码获得网页的源代码。对于浏览器解析而言，确实空白字符和格式并没有影响，而我们阅读起来会很困难。安装Firebug Lite后，右键单击我们在抓取中感兴趣的网页部分检视，然后会显示选中元素周围的HTML层次结构。

抓取方法

1. 正则表达式

  在Python中需要引用re模块来使用正则表达式，可以使用正则表达式指定想要匹配的字符串的规则，正则表达式模式串会被编译为一串字节码，然后通过C语言编写的匹配引擎执行。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象，该对象拥有一系列方法用于正则表达式匹配和替换。

（1）re.match函数

  尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，就会返回None。我们可以使用group(num)或groups()匹配对象函数来获取匹配表达式。

# pattern：匹配的正则表达式 string: 要匹配的字符串 flags: 标志位用于控制正则表达式的匹配方式
# re.match(pattern, string, flags=0)
import re
print(re.match('www', 'www.baidu.com').span())  # 在起始位置匹配
print(re.match('com', 'www.baidu.com')) # 不在起始位置匹配

# .*表示任意匹配除了换行符外的任何单个或多个字符，(.*?)表示只保存第一个匹配到的子串
line = "Cats are smarter than dogs"
matchObj = re.match(r'(.*) are (.*?) .*', line, re.M|re.I)
searchObj = re.search(r'(.*) are (.*?) .*', line, re.M|re.I)
if matchObj:
    # group(num=0) 匹配整个表达式的字符串，group可以一次输入多个组号，
    # 这种情况下返回一个包含那些组所对应的元组
    print('matchObj.group():', matchObj.group())
    print('matchObj.group(1):', matchObj.group(1))
    print('matchObj.group(2):', matchObj.group(2))
    print(matchObj.groups())
else:
    print('No match!!')
if searchObj:
    print('searchObj.group():', searchObj.group())
    print('searchObj.group(1):', searchObj.group(1))
    print('searchObj.group(2):', searchObj.group(2))
    
结果：
matchObj.group(): Cats are smarter than dogs
matchObj.group(2): smarter
('Cats', 'smarter')
searchObj.group(): Cats are smarter than dogs
searchObj.group(1): Cats
searchObj.group(2): smarter
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

（2）re.search方法

  re.search扫描整个字符串并返回第一个成功的匹配。re.match职匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None，而re.search匹配整个字符串，直到找到一个匹配。

（3）re.sub方法

#pattern：正则中的模式字符串 repl：替换的字符串 string：要被查找替换的原始字符串 
#count：模式匹配后替换的最大次数，默认0表示替换所有的匹配
#flags：编译时用的匹配模式
#re.sub(pattern, repl, string, count=0, flags=0)
import re

phone = '2022-08-30 # 这是一个电话号码'
num = re.sub(r'#.*$', "", phone) # 删除注释
print('电话号码:', num)
num = re.sub(r'\D', "", phone) # 移除非数字内容
print('电话号码:', num)
1
2
3
4
5
6
7
8
9
10
11

（4）re.compile方法

#compile函数用于编译正则表达式，生成一个正则表达式对象
#re.compile(pattern[,flags])
import re

pattern = re.compile(r'\d+')
m = pattern.match('one12twothree34four') # 从头匹配，没有找到
print(m)
m = pattern.match('one12twothree34four', 3, 10) # 从1的位置开始匹配，找到了
print(m)
m.group(0)
1
2
3
4
5
6
7
8
9
10

（5）re.findall方法

#在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果有多个匹配模式，则返回元组列表
# re.findall(pattern, string, flags=0)
import re

res1 = re.findall(r'\d+', 'google 123 google 456')
pattern = re.compile(r'\d+')
res2 = pattern.findall('google 123 google 456')
res3 = pattern.findall('google888google666', 0, 10)
print(res1, res2, res3)
# 如果有多个匹配模式，返回元组列表
result = re.findall(r'(\w+)=(\d+)', 'set width=20 and height=10')
print(result)
1
2
3
4
5
6
7
8
9
10
11
12

（6）re.finditer方法

# 在字符串中找到正则表达式所匹配的所有子串，然后作为一个迭代器返回
# re.finditer(pattern, string, flags=0)
import re
it = re.finditer(r'\d+', '12a32bc43jf3')
for match in it:
    print(match.group())    
1
2
3
4
5
6

（7）re.split方法

# 按照能够匹配的子串将字符串分割后返回列表
# maxsplit分割次数，默认0不限制次数
#re.split(pattern, string[, maxsplit=0, flags=0])
1
2
3

（8）正则表达式模式

2. Beautiful Soup

  使用pip install beautifulsoup4安装模块，Beautiful Soup模块可以解析网页，并提供了定位内容的便捷接口将已下载的HTML内容解析为soup文档。

#bs4能够正确解析确实的引号并闭合标签
from bs4 import BeautifulSoup
broken_html = '
Area
Population
'
#使用lxml模式可以补全文档结构
soup = BeautifulSoup(broken_html, 'lxml')
fixed_html = soup.prettify()
print(fixed_html)
ul = soup.find('ul', attrs={'class': 'country'})
ul.find('li')
ul.find_all('li')
1
2
3
4
5
6
7
8
9
10

3. Lxml

  Lxml是基于libxml2这一个XML解析库的Python封装。该模块使用C语言编写，解析速度比Beautiful Soup更快，不过安装过程也更加复杂。使用lxml模块也可以把不合法的HTML解析为统一格式，lxml可以正确解析属性两侧缺失的括号，并闭合标签，不过该模块没有额外添加html和body标签。解析完输入内容后进入选择元素的步骤，lxml可以使用xpath选择器和类似bs4的find()方法，还有CSS选择器。CSS选择器表示选择元素所使用的模式，lxml已经实现了大部分CSS3属性，实际是把CSS选择器转换为等价的xpath选择器。

import lxml.html as lh
broken_html = '
Area
Population
'
tree = lh.fromstring(broken_html)
fixed_html = lh.tostring(tree, pretty_print=True)
print(fixed_html)
tree.cssselect('ul.country') #使用css选择器
1
2
3
4
5
6