• TiDB Lightning 目标数据库要求


    使用 TiDB Lightning 导入数据前,先检查环境是否满足要求,这有助于减少导入过程的错误,避免导入失败的情况。

    目标数据库权限要求

    TiDB Lightning 导入数据时,根据导入方式和启用特性等,需要下游数据库用户具备不同的权限,可参考下表:

    特性作用域所需权限备注
    必需基本功能目标 tableCREATE,SELECT,INSERT,UPDATE,DELETE,DROP,ALTERDROP 仅 tidb-lightning-ctl 在执行 checkpoint-destroy-all 时需要
    目标 databaseCREATE
    必需Logical Import Modeinformation_schema.columnsSELECT
    Physical Import Modemysql.tidbSELECT
    -SUPER
    -RESTRICTED_VARIABLES_ADMIN,RESTRICTED_TABLES_ADMIN当目标 TiDB 开启 SEM
    推荐冲突检测,max-errorlightning.task-info-schema-name 配置的 schemaSELECT,INSERT,UPDATE,DELETE,CREATE,DROP如不需要,该值必须设为""
    可选并行导入lightning.meta-schema-name 配置的 schemaSELECT,INSERT,UPDATE,DELETE,CREATE,DROP如不需要,该值必须设为""
    可选checkpoint.driver = “mysql”checkpoint.schema 设置SELECT,INSERT,UPDATE,DELETE,CREATE,DROP使用数据库而非文件形式存放 checkpoint 信息时需要

    目标数据库所需空间

    目标 TiKV 集群必须有足够空间接收新导入的数据。除了标准硬件配置以外,目标 TiKV 集群的总存储空间必须大于 数据源大小 × 副本数量 × 2。例如集群默认使用 3 副本,那么总存储空间需为数据源大小的 6 倍以上。公式中的 2 倍可能难以理解,其依据是以下因素的估算空间占用:

    • 索引会占据额外的空间
    • RocksDB 的空间放大效应

    目前无法精确计算 Dumpling 从 MySQL 导出的数据大小,但你可以用下面 SQL 语句统计信息表的 data_length 字段估算数据量:

    统计所有 schema 大小,单位 MiB,注意修改 ${schema_name}

    select table_schema,sum(data_length)/1024/1024 as data_length,sum(index_length)/1024/1024 as index_length,sum(data_length+index_length)/1024/1024 as sum from information_schema.tables where table_schema = "${schema_name}" group by table_schema;

    统计最大单表,单位 MiB,注意修改 ${schema_name}

    select table_name,table_schema,sum(data_length)/1024/1024 as data_length,sum(index_length)/1024/1024 as index_length,sum(data_length+index_length)/1024/1024 as sum from information_schema.tables where table_schema = "${schema_name}" group by table_name,table_schema order by sum desc limit 5;

  • 相关阅读:
    20年的 .NET ,更需要 00 后的你
    四川古力未来科技抖音小店:科技新宠,购物新体验
    常用邮件服务器支持端口及加密方法实测
    C语言笔记:文件的操作&&各种文件函数讲解
    Kafka学习笔记(二)
    2022年9月5号 SpringBoot自动配置原理初步了解。
    C++ 反汇编 - 关于函数调用约定
    Cocos发布智能座舱解决方案“Cocos HMI”
    路线规划问题
    基于最小二乘法和SVM从天气预报中预测太阳能发电量(Matlab代码实现)
  • 原文地址:https://blog.csdn.net/weixin_42241611/article/details/126363505