码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 爬取春秋航空航班信息


    一、使用fiddler爬取小程序春秋航空航班信息

    1. 使用Fiddler爬取春秋航空微信小程序(手机上由于网络问题,无法进入,使用电脑版)
    2. 搜索航班信息

    1. 搜索记录

    1. 使用Fiddler查找url(没有得到有效url)

    1. 继续查找,发现航班信息列表(打开查看,列表为空)

    1. 重新搜索,再次查找(发现航班信息,但url无效,不能正常使用)

    微信小程序好像被加密了,无法正常爬取

    二、使用网页版春秋航空,爬取网页信息

    1. 进入网页查找url(发现一个貌似url的内容,打开发现无效)

    1. 继续查找url(找到航班信息网页信息,查找到url)

    1. 相关代码
    1. import requests
    2. from bs4 import BeautifulSoup
    3. headers = {
    4. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
    5. }
    6. url = "https://flights.ch.com/SIA-CAN.html?Departure=%E8%A5%BF%E5%AE%89&Arrival=%E5%B9%BF%E5%B7%9E&FDate=2023-11-23&DepartCityCode=&ArriveCityCode=&IsSearchDepAirport=false&IsSearchArrAirport=false&isOnlyZf=false&ANum=1&CNum=0&INum=0&IfRet=false&SType=1&MType=0&IsNew=1"
    7. response = requests.get(url=url,headers=headers)
    8. soup = BeautifulSoup(response.text, 'html.parser')
    9. flight_type = soup.find('div', class_='cell area cell-drop cell-flight-type')
    10. flight_info = soup.find('div', class_='cell ori')
    11. flight_outfo = soup.find('div', class_='cell des')
    12. flight_line = soup.find('div', class_='go-date cell date')
    13. type_list = flight_type.find('input',class_='val').get('value')
    14. departure_city = flight_info.find('input', class_='val city scity').get('value')
    15. destination_city = flight_outfo.find('input', class_='val city').get('value')
    16. trip_date = flight_line.find('input', class_='val date').get('value')
    17. print(f"行程类型:{type_list} 出发地:{departure_city} 目的地:{destination_city} 行程日期:{trip_date}")

    爬取结果

  • 相关阅读:
    【金万维】使用天联高级版登录用友U8+,进行凭证打印操作。
    快速支持客户知识库的核心优势是什么?
    “互联网+”谋定现代农业-国稻种芯-万祥军:产业体系提升农业
    Python-装饰器
    C# BackgroundWorker用法详解(源码可直接使用)
    UML基础
    <C++>map 容器快速上手|自定义数据类型排序的避坑理解
    开发工程师必备————【Day25】Django补充(二)
    Linux 基础-新手必备命令
    数据成为重要资产,企业应该如何保护数据安全
  • 原文地址:https://blog.csdn.net/m0_74972727/article/details/134551684
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号