码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • GBase 8a MPP Cluster 硬件规划参考


    集群规划

    V953版本:gcware解绑后,数据一致性管理节点减少能在保证集群高可用下减轻信息交互的资源消耗。

    • 一个gcware服务与一个gcluster服务部署在同一服务器上
    • 部署gcware可以等于或小于gcluster服务
    • gcware服务节点上限64个,通常推荐 3-7 个足够
    • gcware解绑后,gcluster服务节点数上限理论上可以超过64个,但通常建议配置的管理节点个数不超过64个,节点数过多,管理成本、ddl成本会比较高,具体根据业务需求确定。
    • gcware推荐部署奇数个
    • gcware节点不支持扩容,gcluster节点支持扩容
    • gnode节点支持节点数1000以上,支持扩容,建议单个VC的节点规模控制在300以下,也可以超过300。

    数据量评估
    未来使用年限
    当前的数据量
    预计每日增长的数据量
    预计数据备份份数

    计算公式:
    压缩保守预计比 3:1
    总数据量:[当前数据量 + 预计每日增长数据量 * (365 * 未来使用年限)* (预计数据备份分数 + 1)] / 3

    单台服务器配置:
    硬盘:做完RAID后实际可用存储空间

    总数据量:每个节点保留40%预留空间,用以保持集群的性能和其他操作的备份空间
    当前数据量 * (1 - 40%)

    集群推荐
    数据节点数量:总数据量/单台节点数据量
    管理节点数量:推荐3-7个,如果并发量大或者sql复杂可配到5-7个。建议独立部署到单独的服务器最佳。

    服务器配置硬件规划

    数据节点内存:
    8a自动评估内存,dc_heap用途是缓存数据(DC),如dc_heap不够用时,会向操作系统申请内存dc_heap_malloc。
    dc_heap自动评估:实际内存6/16;上限为:实际内存0.8;
    冷热数据按经验预计估计*:2,查询数据量为 dc_heap/0.2最佳
    建议:数据按季度或月等时间分表,具体情况根据实际性能需求进行调整。

    数据节点CPU
    对CPU的消耗主要是数据压缩、解压、以及SQL运算中的计算需求。在不考虑计算类型的情况下,业界通常采用每CPU核心管理4GB到16GB内存,按照每CPU核心配备16GB内存计算。
    建议:每个节点配置16核以上的CPU最佳。

    管理节点配置
    配置可比数据节点较低,建议CPU和内存一致,硬盘容量可比数据节点小。

    8a MPP Cluster应用于数据IO密集型应用场景,系统整体性能与IO能力密切相关,以上为预估,部署完成后根据实测进行调整。

  • 相关阅读:
    千脑智能理论会是未来指引智能机器设计的理论基石吗?
    Revit中幕墙嵌入墙中不显示问题-【图纸生成墙】
    mysql常用语句之DQL:查询语句
    让泛型的思维扎根在脑海——深刻理解泛型
    vue3:16、Pinia的基本语法
    LongLoRA:超长上下文,大语言模型高效微调方法
    编程经验:上拔if、下压for
    【云原生】快出数量级的性能是怎样炼成的?就提升了亿点点
    图解LeetCode——754. 到达终点数字(难度:中等)
    有 3 个候选人,每个选民只能投票选一人,要求编一个统计选票的程序,先后输入被选人的名字,最后输出各人得票结果
  • 原文地址:https://blog.csdn.net/qq_37004539/article/details/126930757
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号