常见LLM使用的分词算法总结

1、LLM分词算法总结

下表对最受欢迎的一些大模型所使用的分词算法及词表大小做了一个总结，之后将对所有的分词算法做一个梳理。

公司	模型名称	版本	分词工具	分词算法	词表大小	参考资料
Meta	LLaMa	LLama1	sentencepiece	BPE	32k
		LLama2	sentencepiece	BPE	32k
		LLama3	tiktoken	BPE	128k
OpenAI	GPT	GPT-4	tiktoken	Byte Level BPE	100k
		GPT-3.5	tiktoken	BBPE	100k
智谱AI	GLM	GLM-3	sentencepiece	wordpiece	65k
		GLM-2/1	sentencepiece	wordpiece	150k

Byte Level BPE: BPE的升级版，将word转化为BPE形式，再按照BPE形式进行训练。

2、分词算法的发展

pass

参考资料：

相关阅读:
Check for degenerate boxes检查退化框
 shell--for循环
 【2022全网最全教程】接口调试神器：Postman 从入门到进阶教程（万字长文）
计算机网络——数据链路层（流量传输与可靠传输机制）
MP使用时的几个常见报错
 一个用mediapipe计算脸部朝向的简单方法
 手写一个数字动态滚动加载组件，从0加载到指定数字
 17. Spring Boot整合Thymeleaf
`算法知识` 笛卡尔坐标系, 边长与边权, 曼哈顿距离, 欧几里得距离
 【老生谈算法】matlab实现蚁群算法源码——数值计算
原文地址：https://blog.csdn.net/sunny0121/article/details/138193564