码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Python数据采集与处理之网页爬取


    第1关:request模块的基本使用

    任务描述
    本关我们将使用 Python 程序,实现通过网页的 url,获得服务器返回的超文本文件,并保存到 txt 文件的功能。

    相关知识
    下面通过文字进一步详细描述获取网页并保存至本地的实现方法。

    访问 url 的get()和post()方法
    当我们想要在浏览器中打开一个网页时,需要在浏览器的地址栏中输入该网页的 url,例如在地址栏中输入百度搜索网站的首页 url:
    https://www.baidu.com/

    点击确认后,浏览器将向服务器发出一个对该网页的请求;服务器端收到请求后,会返回该网页的超文本文件,浏览器收到服务器端发来的网页超文本文件后,对其进行解析,然后在窗口中显示该超文本文件对应的网页。如图 1 所示。

    Python 提供了 requests 模块用来处理网页的 url,主要有 get() 和 post() 两个方法,分别对应网页的 Get 请求和 Post 请求。get() 和 post() 方法有以下几个参数:

    url:指定请求 URL;

    params:字典类型,指定请求参数,GET 请求时使用;

    data: 字典类型,指定表单信息,常用于发送 POST 请求;

    headers:字典类型,指定请求头;

    proxies:字典类型,指定使用的代理;

    cookies:字典类型,指定 Cookie;

    auth:元组类型ÿ

  • 相关阅读:
    java+python+vue乡村医生学习培训医疗服务系统
    喜马拉雅项目调整
    淀粉与纤维素
    曲线艺术编程 coding curves 第十章 螺旋曲线(SPIRALS)
    Java教程:RedisTemplate如何存取数据并使用scan非阻塞删除
    用PHP组合数组,生成笛卡尔积的几个例子
    CTFshow-命令执行
    智能座舱架构与芯片- (10) 音频篇 下
    mysql 字段用了关键字, 无法插入更新数据
    微信公众号怎么把个人改成企业?
  • 原文地址:https://blog.csdn.net/Junds0/article/details/128207425
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号