系统架构设计师【第19章】: 大数据架构设计理论与实践 (核心总结)

19.1　传统数据处理系统存在的问题

1.传统数据库的数据过载问题
传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载，从而导致数据库服务器无法及时响应用户请求，出现超时的错误。关于这个问题的常用解决方法如下:

• (1)增加异步处理队列，通过工作处理层批量处理异步处理队列中的数据修改请求。
• (2)建立数据库水平分区，通常建立 Key 分区，以主键/唯一键 Hash 值作为 Key。
• (3)建立数据库分片或重新分片，通常专门编写脚本来自动完成，且要进行充分测试。
• (4)引入读写分离技术，主数据库处理写请求，通过复制机制分发至从数据库。
• (5)引入分库分表技术，按照业务上下文边界拆分数据组织结构，拆分单数据库压力。

2.大数据的特点
大数据具有体量大、时效性强的特点，并非构造单调，而是类型多样; 处理大数据时，传统数据处理系统因数据过载，来源复杂，类型多样等诸多原因性能低下，需要采用以新式计算架构和智能算法