爬虫 day 04 selenium滚动和常见反爬

day 04 selenium滚动和常见反爬

页面滚动

页面滚动：页面执行滚动操作-浏览器对象执行js代码：window.scrollBy(x方向偏移量,y方向偏移量)

浏览器对象.execute_script('window.scrollBy(x,y)')

requests的自动的登录

自动登录原理:人工在浏览器上完成登录操作,获取登录后的cookie信息,然后通过复制或者写入代码进行requests操作

网页获取cookie:在网页上检查-net-all-刷新-Herders-下滑寻找cookie

在使用requests获取网页信息的时候,加入cookie信息(在header里加入一个cookie键,)

selenium获取,使用cookie

在打开的网页中人工进行登录,登录完成后刷新网页

cookies=b.get_cookies()-b:浏览器对象

将获取到的cookies用json格式保存起来

cookies=b.get_cookies()
with open('保存文件路径','w',encoding='utf-8',newline='') as f:
    f.write(dumps(cookies))
1
2
3

当需要使用的cookie的时候,将文件中的cookie信息读取出来,转换成python格式

使用循环,将所有的cookie添加到浏览器信息中

for x in cookies:
	b.add_cookie(x)

# 添加成功后,重新打开网页
1
2
3
4

使用代理

在使用requests的时候创建代理ip的字典

proxies={
    'http':'代理ip',
    'https':'代理ip'
}
response=requests.get(目标网页,headers=headers,proxies=proxies)
1
2
3
4
5

实际情况中,可以实时获取代理ip,将代理ip写入代码