• 数据采集的基本方法?


    数据采集方式按照线上采集,线下采集两大类进行分类,下面对于每种采集方式及相关技术进行简单的介绍。

    1. 线上采集
      1)开放数据
      开放数据指的是互联网中面向所有人公开的数据,其中包括面向特定行业公开的数据,各级政府公开的数据以及网页中相关的内容数据。
      获取开放类数据,我们可以使用爬虫技术,这里简单介绍一下爬虫技术。
      爬虫技术是一种可以使开发人员自动化,系统化收集互联网上相关数据的技术,爬虫不是内容的生产者,而是内容的搬运者。关于爬虫技术的各类学习资料在网上可以说是“汗 牛充 栋”,在这里就不展开说了,但是这里关于爬虫要讲的就是爬虫的安全问题,一定要遵守相关法律,切记不要触碰红线。
      a. 个人信息,商业 秘 密与国 家秘 密是数据爬取的红线。
      b. 遵守职业道德,控制爬虫访问频次,不要干扰被爬方的正常业务活动。
      c. 遵守robots协议,做到什么能爬,什么不能爬。
      2)第三方平台数据
      比如说开发者想获取相关各类金融数据,除了可以利用爬虫技术外,我们可以通过某第三方平台提供的API接口来调取相关数据。
      曾接到过这样一个任务,获取某市所有的禁止机动车左转,禁止机动车右转,禁止机动车掉头的路段,在没有条件获取准确的数据时,我们可以通过高德或百度的地图开放平台的API接口,分别在路口处设置起讫点,通过对比机动车与步行的路径规划距离来分析该路口是否禁左,禁右,禁掉头。对应的功能有相应的服务文档讲解如何使用,大家有兴趣可以打开网址进行尝试。
      3)物理数据
      物理数据指的是用户在物理世界产生的数据,例如用户使用手机时手机的各类传感器(指纹传感器:记录用户指纹用于解锁手机或支付等行为,陀螺仪:通过角动量守恒原理记录角速度用于手机导航等行为)
      相较于日常应用,物理数据大量存在于传统制造业中,一般有如下几类数据采集方式:
      各类传感器:
      正如上面提到的手机中各类传感器,传统制造业中的传感器品类繁多,涵盖光敏,气敏,力敏,磁敏,声敏等不同类别的工业传感器,这部分的数据尽管单条数据内容很少,但是频率非常高。
  • 相关阅读:
    9月25日学习记录
    RHCE---时间服务器
    jest在已有项目中的安装与使用
    记录一次利用CPS和蹦床技术来避免递归中的栈溢出的经历
    ubuntu服务器启动报错UNEXPECTED INCONSISTENCY解决方法
    现网常见问题及解决思路
    解决方案:用决策树算法如何生成决策树图及生成SQL规则
    【Nginx】负载均衡、动静分离理论篇
    【python深度学习】——torch.min()
    js--事件流、事件委托、事件阶段
  • 原文地址:https://blog.csdn.net/D0126_/article/details/128196910