-
huggingface笔记： accelerate estimate-memory 命令
- 探索可用于某一机器的潜在模型时，了解模型的大小以及它是否适合当前显卡的内存是一个非常复杂的问题。
- 为了缓解这个问题，Accelerate 提供了一个 命令行命令
accelerate estimate-memory。
accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...MODEL_NAME (str) 模型名称，位于 Hugging Face Hub 上 library_name {timm, transformers} (str) 模型与之集成的库名称，如 transformers
仅在 Hub 上未存储此信息时需要
dtypes
{float32, float16, int8, int4}
([{float32, float16, int8, int4} ...])
用于模型的数据类型，可以是 float32、float16、int8 和 int4 中的一个或多个 举例：
accelerate estimate-memory meta-llama/Meta-Llama-3-8B --library_name transformers
-
相关阅读:
组件之间的数据共享（常用）
xgboost 为什么拟合残差能获得更好的效果（思考）
【芯片前端】延迟一拍出数的握手型ram结构的一次探索
国内首家，极越展示纯视觉城市NOA，正面对决特斯拉FSD
linux常见下载安装工具
海外十大海外视频媒体推广网站-大舍传媒
docker高级篇（大厂进阶）：安装redis集群
【Python】图像和办公文档的处理
线下Meetup：在数智化转型背景下，火山引擎VeDI的大数据技术揭秘
央企招聘：中储粮集团2023公开招聘公告（校招+社招，共700人）
- 原文地址：https://blog.csdn.net/qq_40206371/article/details/139126541