为什么做数据质量

为什么做数据质量

结合以往的工作经历，一般是运营操作运营系统，突然发现某个数据异常或者延迟，这时候就需要数据开发部门来核对， 数据部门人员在核对的时候无法快速定位到问题，排查了很长时间，，， 届时面临两个问题：
1、被业务方投诉！
2、故障出现之后导致上下游的任务都受影响，修复成本极高！
数据质量问题的根源
1、业务系统变更：包括表结构变更，源系统环境的变更，数据格式异常等。
2、数据开发的bug，数据任务变更导致数据异常。
3、基础设施不稳定，高可能节点的失效导致数据的读写功能失效导致数据异常。
4、数据迁移中的异常。
5、等等等，，，

因此，我们要对数据数据质量要早发现，早恢复！

数据质量具体措施：

1、添加稽核质检任务，来发现问题，确保数据的完整性，一致性，准确性等等。
2、建立全链路的监控：可以基于血缘关系建立全链路的数据质量监控。
3、通过智能预警，确保任务的按时产出，延迟或者异常时候报警。
4、针对数据的重要性，可以划分数据等级，可加快恢复速度。

上文是我对数据质量较根本的问题的一些学习和思考，基于此和我们实际情况提出几点想法仅供设计者参考：

1、接通企业微信告警/钉钉告警等告警功能，发送消息到对应的群或人通知报告产出 和异常告警。

2、为简化操作流程和概念，我们可以保留规则，任务的概念，将条目和规则的配置合并一起，减少操作流程。

以下是阿里云的一个页面：