给sample_gpt 增加 lisa 微调

论文

地址

概述

该论文提出了一种名为LISA的层重要性采样优化算法，旨在解决大规模语言模型训练中的内存瓶颈问题。其主要内容和贡献包括：

1. 通过分析LoRA训练中各层权重范数的分布，发现了权重更新在底层和顶层更为集中的现象，揭示了不同层在训练中的不同重要性。
2. 基于上述发现，提出了一种简单的策略，即根据权重范数分布随机冻结大部分中间层，只优化对模型影响较大的底层和顶层，从而减少训练时的内存消耗。
3. 引入了一种名为LISA的优化算法，利用重要性采样思想，根据各层的权重范数分布来设置冻结层的概率，实现高效训练。
4. 实验结果表明，LISA算法在多种下游微调和域特定微调任务中均优于LoRA和全参数训练，展现了其优越性。
5. LISA算法可扩展到超过70亿参数的大规模模型，同时具有与LoRA相似的内存消耗，为解决大规模语言模型训练中的内存瓶颈问题提供了一个有效解决方案。
   综上所述，该论文通过对LoRA训练的统计分析，提出了一种简单高效的层重要性采样优化算法LISA，在多种语言模型微调任务中展现了优越性能，为大规模语言模型的训练提供了一种高效解决方案。

代码

import math

import numpy as np
import paddle
import paddle.nn as nn
import paddle.nn.functional as F


class MaskMultiHeadAttention(nn.Layer):
    def __init__(self, hidden_size, num_heads):
        super(MaskMultiHeadAttention, self).__init__()
        assert hidden_size % num_heads == 0, "Hidden size must be divisible by the number of heads."

        self.hidden_size = hidden_size
        self.num_heads = num_heads
        self.head_size = hidden_size // num_heads

        # Query, Key, Value matrices
        self.query_linear = nn.Linear(hidden_size, hidden_size, bias_attr=False)

        self.value_linear = nn.Linear(hidden_size, hidden_size, bias_attr=False)

        # Output matrix
        self.output_linear = nn.Linear(hidden_size, hidden_size)
        self.sin_em, self.cos_em = sinusoidal_position_embedding(50000, self.head_size)

    def forward(self, x, state=None, seq_len=None):
        batch_size = x.shape[0]

        # Compute Query, Key, Value for all heads in parallel
        query = self.query_linear(x).reshape([batch_size, -1, self.num_heads, self.head_size]).transpose([0, 2, 1, 3])
        value = self.value_linear(x).reshape([batch_size, -1, self.num_heads, self.head_size]).transpose([0, 2, 1, 3])

        query = rope(query, self.sin_em, self.cos_em, seq_len)

        # Compute attention scores
        scores = (F.relu(query) + F.relu(-query)) / (self.head_size ** 0.5 + 0.000000000001)
        if state is None:
            state = 0

        state = paddle.cumsum(scores, -2) + 0.0000000000000001 + state
        scores = scores / state
        state = state[:, :, -1:]

        out = scores * value

        # Concatenate and transform to get the final output
        out = out.transpose([0, 2, 1, 3]).reshape([batch_size, -1, self.hidden_size])
        out = self.output_linear(out)

        return out, state


class FeedForward(nn.Layer):
    def __init__(self, hidden_size):
        super(FeedForward, self).__init__()

        self.ffn1 = nn.Linear(hidden_size, hidden_size // 2)
        self.ffn2 = nn.Linear(hidden_size // 2, hidden_size)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.ffn1(x)
        x = self.relu(x)
        x = self.ffn2(x)
        return x


class GPTDecoderLayer(nn.Layer):
    def __init__(self, hidden_size, num_heads):
        super(GPTDecoderLayer, self).__init__()
        self.self_attention = MaskMultiHeadAttention(hidden_size, num_heads)
        self.ffn = FeedForward(hidden_size)
        self.norm1 = nn.LayerNorm(hidden_size)

    def forward(self, x, state=None, seq_len=None):
        x1, state = self.self_attention(x, state, seq_len=None)  # Self-Attention with residual connection
        x = x1 + x
        x = self.norm1(x)

        x = self.ffn(x) + x  # Feed-Forward with residual connection
        x = self.norm1(x)
        return x, state


class PositionalEncoding(nn.Layer):
    def __init__(self, d_model, max_len=5000):
        super(PositionalEncoding, self).__init__()
        # Create a long enough Paddle array to hold position encodings for the maximum sequence length
        position = paddle.arange(max_len).unsqueeze(1).astype("float32")
        # Create a constant 'pe' matrix with the same size as the embedding matrix
        div_term = paddle.exp(paddle.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
        pe = paddle.zeros([max_len, d_model])
        pe[:, 0::2] = paddle.sin(position * div_term)
        pe[:, 1::2] = paddle.cos(position * div_term)
        self.pe = pe.unsqueeze(0)  # Shape: [1, max_len, d_model]
        # Register 'pe' as a buffer (non-trainable parameter)

    def forward(self, x, seq_len=None):
        # x is of shape [batch_size, seq_len, d_model]

        if seq_len is None:
            seq_len = x.shape[1]
            return x + self.pe[:, :seq_len, :]
        else:
            return x + self.pe[:, seq_len - 1:seq_len, :]


# %%

def sinusoidal_position_embedding(max_len, output_dim):
    # (max_len, 1)
    position = paddle.arange(0, max_len, dtype="float32").unsqueeze(-1)
    # (output_dim//2)
    ids = paddle.arange(0, output_dim // 2, dtype="float32")  # 即公式里的i, i的范围是 [0,d/2]
    theta = 10000 ** (-2 * ids / output_dim)
    # (max_len, output_dim//2)
    embeddings = position * theta  # 即公式里的：pos / (10000^(2i/d))
    sin_embeddings = paddle.sin(embeddings)
    cos_embeddings = paddle.cos(embeddings)
    return sin_embeddings, cos_embeddings


def rope(q, sin_em, cos_em, seq_len=None):
    if seq_len is None:

        sin_em = sin_em[:q.shape[2]]
        cos_em = cos_em[:q.shape[2]]

    else:
        sin_em = sin_em[seq_len - 1:seq_len]
        cos_em = cos_em[seq_len - 1:seq_len]

    q1 = q.reshape([q.shape[0], q.shape[1], q.shape[2], -1, 2])[..., 1]
    q2 = q.reshape([q.shape[0], q.shape[1], q.shape[2], -1, 2])[..., 0]
    # 奇数负值*sin_em+偶数正值*cos_em  奇数正值*cos_em+偶数正值*sin_em

    q3 = paddle.stack([-q1 * sin_em + q2 * cos_em, q1 * cos_em + q2 * sin_em], -1)
    q = q3.reshape(q.shape)  # reshape后就是正负交替了
    return q


class GPT(nn.Layer):
    def __init__(self, vocab_size, hidden_size, num_heads, num_layers):
        super(GPT, self).__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_size)

        self.decoder_layers = nn.LayerList([GPTDecoderLayer(hidden_size, num_heads) for _ in range(num_layers)])
        self.fc = nn.Linear(hidden_size, vocab_size, bias_attr=False)

    def forward(self, x, state=None, seq_len=None):
        x = self.embedding(x)
        # x = self.position_embedding(x, seq_len)
        if state is None:
            state = [None] * len(self.decoder_layers)

        i = 0

        for decoder_layer in self.decoder_layers:
            x, state[i] = decoder_layer(x, state[i], seq_len=None)
            i += 1

        out = self.fc(x)
        return out, state


def check_rope():
    q = paddle.randn((8, 12, 10, 32))
    sin_em, cos_em = sinusoidal_position_embedding(50000, 32)
    rope(q, sin_em, cos_em)


def check_mask_multi_head_attention():
    x = paddle.randn([4, 10, 20])
    mha = MaskMultiHeadAttention(20, 5)
    out = mha(x)


def check_positional_encoding():
    x = paddle.randn([4, 10, 20])
    pe = PositionalEncoding(20)
    out = pe(x)


def check_gpt_decoder_layer():
    x = paddle.randn([4, 10, 20])
    dl = GPTDecoderLayer(20, 5)
    out = dl(x)


def check_gpt():
    x = paddle.randint(4, 10, [4, 10])

    gpt = GPT(10, 20, 5, 2)
    out = gpt(x)


def check_lisa_adam_w():
    gpt = GPT(10, 20, 5, 2)

    # 初始化模型和超参数
    nl = len(gpt.parameters())
    T = 100
    K = 10
    gamma = 2
    eta0 = 0.001
    pnl = gamma / np.ones(len(gpt.parameters())) * gamma / nl
    pnl[0] = 1
    pnl[-1] = 1

    criterion = nn.CrossEntropyLoss()
    optimizer = paddle.optimizer.AdamW(parameters=gpt.parameters(), learning_rate=eta0)

    # 训练模型
    for i in range(T // K):
        # 冻结所有层
        for l in gpt.parameters():
            l.trainable = False
        # 激活层采样
        for l, p_l in enumerate(pnl):
            print(gpt.parameters()[l].shape)
            if paddle.rand([1]) < p_l and len(gpt.parameters()[l].shape) > 1:
                w_lora_l = paddle.norm(paddle.linalg.svd(gpt.parameters()[l])[0], p=2) + paddle.norm(
                    paddle.linalg.svd(gpt.parameters()[l])[2], p=2)  # LoRA权重范数
                w_lisa_l = paddle.norm(gpt.parameters()[l], p=2)  # LISA权重范数
                p_l_1 = w_lora_l / w_lisa_l

                optimizer.set_lr(optimizer.get_lr() * p_l_1.item())
                # 激活该层
                gpt.parameters()[l].trainable = True
        # 训练激活层
        for _ in range(K):
            x = paddle.randint(4, 10, [4, 10])
            out = gpt(x)

    # 输出模型参数
    # print(gpt.state_dict())


def check_all():
    check_lisa_adam_w()
    check_rope()
    check_mask_multi_head_attention()
    check_positional_encoding()
    check_gpt_decoder_layer()
    check_gpt()


if __name__ == '__main__':
    # 检查所有模块
    check_all()


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253

感谢：

• 李清舟
• 至味人间
• 沐曦baba
• 春雪芳菲
• DataMastermind
• Artemis
• MAI
• 皇城根奶爸
• 一个小老虎
• 遥远的瞧
• 飞黄腾踏去
• 小狐狸M
• 一见导师就变乖
• JamesHarden_
• zibuyu9
• 金城七
• verwandte
• 鄢希不是糖
• 带带小猪頭
• laforet
• 珍儿要有梦
• Alkaid.K
• 打打印机
• 优达学城（Udacity）
• KerstinTongxi
• 秦老猫
• weixin_32592297
• 勃拉图
• 杜雨茜
• 8枚
• 伊红美兰
• 鹤运
• 赖智超
• 嘉禾博研左方程
• 2401_84036823
• ShirahaneSuoh
• 三脚猫功夫猴
• 知心大哥
• czsl
• 苏远岫
• 夜十六
• 刘孝虎
• 翻山狮
• 雯雯呀
• 鄂奎阿
• 冯明溪
• 刘不言
• 孤傲雕
• CRomputer-罗军
• 俞组
• weixin_28916013
• 雾里元宝
• 斗鱼直播-大司马~~
• 钢蛋鸭
• 各自安好吧
• 徐辉947
• 序雨
• python作业毕设
• O
• lyg012
• 荣耀张大仙mk~~
• 黑雾思索者
• Jan
• Duo小妖
• 戴某DEMO
• 雨前羽街
• easycofe
• 赵利兴
• 康儿妈咪
• 文强孙
• 小菜鸡记录生活
• 恐怖电影爱好者
• atQ4N
• 张钧琦
• Lhmily0718
• 久作无端客
• NetNinja
• Sabrina
• 5点的太阳
• Quant最爱
• 32罗翔说~~~
• 聪明帅气的阿凯
• 你来说我来听
• 无心高调
• 张大胃
• 熙南君
• pink怒怒酱
• 开东
• 本书本
• 轻萌小说
• 喂今天救公主了吗
• 糯米不是饭
• OurPlay
• 弥古爱书法
• UEgood雪姐姐
• 柏林墙东侧
• 非典型普通人类
• Gdsw-D
• pp夏
• 北方南先生
• AC编程
• 宇哥讲电影
• wx24e331e6d83e1b9f
• PixelPuzzlist
• 伊斯特艾格
• weixin_34354231
• 初小轨
• 医脉通
• 卢梅庆
• 乐观观天下
• 孔皓
• 一块烤地瓜
• 荷达
• 土豆做成泥很好吃
• 唰唰说创业
• muyyyi
• 665733489631
• 玄铁匠
• 珞珈小山
• a301
• kaorouwoyaochi
• 甜甜爱笑
• 拉斯科纳夫
• 谐波治理小陈
• 腾岳掌门
• KimiOnZhihu
• 中国计算机学会
• 榣木
• invalid
• 火猫人
• 有石
• 田仲政
• 好好医生one
• 京城风四娘
• rainman
• 丹的小跟班
• 灰色的男孩
• 明德zhuang
• 夏之幻想
• 好什一
• 王连涛
• 云保链CIC
• 科技娜评
• 月华剑士张大彪
• 罗大哥
• 柒年tender
• weixin_36462532
• 伍世棋
• 甘团路
• 怂喵rise
• 6d
• 影子医生
• WIDGAF
• 氧化三氢正离子
• 清水33
• 张敬禹
• Simon
• 厂妹
• blossomzwj
• AI前线
• Elsafun
• 爱地人
• konjunktur
• tankCYT
• codgician
• 两半24409
• Lucas
• 鱼利安
• 一两赘肉无
• 叶建均
• Julojulo
• 金利来Goldlion
• 晋小睿(已退乎)
• 不爱吃mao
• 暖色Cecilia
• 渔翁丶稀饭
• 香江不知名前浪
• Kelly
• 小后羿
• DigitalElusion
• 三叔侃侃
• 苏沉船
• 岁月未染
• 携程邮轮
• 铁拳无敌双鸭山
• Troy爱滑雪
• 智者也
• 流氓拳宗师
• zhoudiNEU
• 三三俩俩
• 罗小熙
• 尼克六六
• 2401_83815144
• 科技888
• laplaceliu
• 白泽之水
• 木子淇
• medabroad
• 斯迈尔齿科
• 金渡江
• 吕驰宇
• jzjzjxjxj
• 假
• Rrrrrrr_a
• 喝墨水的猫
• 武藤
• 2401_83167347
• InfoMaster
• 张奕明
• Cyber
• jkyu
• 我为歌狂有崽了
• CVRunner
• 老凯撒的钱
• 豆蔻茶
• 我在四平路上
• gonggon
• 吃素的pig
• 戴戴好
• 太田秋明
• errommel
• 赵少林
• 稚一
• 师父曰
• 魔术狗
• 18767873417
• 璐寶
• 吉田区块链
• Shaun
• 阿呆酱
• SlyerD
• 白酸奶
• 暮汐颜
• 朱庇特不是宙斯
• 切高仔
• 果舒
• 花猫哥哥
• 徘徊孤独
• 弘世堇
• 孙继军
• 卤蛋鱼丸粗面
• 张允健
• 曹逆娘曹
• 啊呀呀
• 王羿秋
• 42号车库
• 剑使者
• 日签君AIUX
• 影歌小队长
• Marcus
• 木头骨头石头
• 明治奶茶味雪糕
• 张盛锋
• Freya鸭鸭
• Davider_Wu
• hhhjknb
• byco
• 依JO
• 孔祥謙
• 温哥华小文青
• 李大颖
• misshohxil
• 青山布衣
• 慕云飞
• 卡休微卡
• 陳懋兒Hannah
• 豆腐LZ
• 钮钴禄·缇
• Naoki
• 东方安璇
• Paradox
• 解忧小巫仙
• 溯水襄陵
• 陈昊芝
• 徵琛
• 开发者傑
• 王一点寒
• 吴光于
• 小大隐
• 刘军莉
• BossGuo果老板
• 甲烷生产者
• 司炉
• 程军超
• 綺懷
• weixin_40675290
• 苏友学
• Daydayydayyy
• Miuyana
• 吴裕彬
• 江涛校泵
• 八卦钩沉
• 冯鑫怡
• 游道人
• 圆宗
• 亮姐
• 樰篱
• 今朝有昔
• G僧东
• weixin_40819800
• 爱怹
• 顾汐漫
• 依然念鼬
• 风之木叶
• 住颜
• off彩蛋
• 王希亚
• Mefls
• Brandon
• 邱荣城
• 我不发文章啦
• 北西南风
• 林志强
• 一颗墙上的稻草
• 水精灵琼子
• 来自宇宙外的未知生物
• 周天无极
• 十万泼皮
• 连续失眠者C
• Fred
• bottomer
• HyperliquidX
• 杨良昆
• Shelly陳一楠
• 其实只是平凡人
• 就叫D吧
• PraiseSunMan
• 解说柯基\x01mkq0.~
• VizXu
• 红糖小糍粑
• 墨墨张
• 章王舜
• 皮肤医生朱岳衡
• 林忆酒
• 句子院
• 七彩极光
• 淬过火的家鸽
• 维林兄弟
• Krisinmel
• 沈鸫驿
• 燕仰
• 据克
• 新语丝
• 漩凝
• 陪刘耀文写五三
• 声振研究
• 言雨潇
• Francis
• 裕文璋
• 球球铭刻录
• 刘权德
• 氪老师
• 15886991492
• a1072024
• 灵境里的孤舟
• 别人的鞋
• JIA-璐
• 介敏狼狼
• 小丑逼
• 天下的乌鸦不一般黑
• 分秒帧
• 丶方可
• 草莓味儿柠檬
• peyton-?
• 这里是益达
• 面料知识馆
• 胖酷帅
• 张宜辅
• qq5471179162
• 将作于少监
• 真正的小蚂蚁
• Piper蛋窝
• 琥珀每人
• 宠头条
• Java天骄
• 雪麻麻yl
• Jovi.wang
• 淡于水
• 人知广
• 实战剑术路人FIM
• 架狙只打脚
• 秋凤梧
• chinhoyoo
• weixin_53947681
• 葵葵有问题
• 知之者不如好之者
• weixin_49192623
• freevil
• tanakajohn
• 张小璇
• 心碎的恶魔
• ALEX
• 刘天昭
• yutin020
• 长腿小姑娘
• lambdaJi
• sleep豆
• 时维教育顾老师
• 左歪
• 阿木吃饭用大碗
• 扒熊
• 牛先森
• 讲故事的妹妹
• emitofomemeda
• 澜方
• 井冉
• krisyoung1028
• 苏沃洛夫
• 韭菜后浪
• 任博冰Bob
• 莫尔奔
• 高辰光
• MHJCR
• 彭迅鹏xp
• CyberGoddess
• 温柔对待自己
• 尔你
• 苟全性命于治世
• Bonsen
• 摘星星的男孩
• 芒果加柠檬
• About
• 勤劳课代表
• xinwuji312
• 唐风宋影
• Demon学长
• 据说名字要够短
• 耗子不偷油
• 勋哥很忙
• 疯而不jue
• 大海贼青木
• 兔撕鸡大老爷
• dgccfhhv
• 相月十久
• 绳子上的蚂蚱
• 卫迟
• 星空下的史诗
• ScriptHero
• 熬夜编程小垃圾
• 不知彼岸
• 李德邻
• Tfifthe
• weixin_51792875
• 删号怎么尕
• 冯正华
• cohen
• Lucemon
• 瓜瓜龙
• 左脚刹车右脚油门
• 刘兮
• litterbug21
• Virtus
• 杨香蕉
• 日更阿婆
• 主播仁杰
• 请叫我段教授
• 超越学姐杭州分越
• 流风兮回雪
• Project
• 东坡不改了
• 藩依然
• 胡天宝
• 西门子中国
• ScandalRafflesia
• SY-EU德易至
• 日读课
• 味离
• chunhui
• 首席测评师
• 王Tie塔儿
• Scarlett(王萍)
• 饶龙友
• 柳飞祥
• pk2017
• Youlink
• 薛莹莹de洋果子
• 肖深刻的九叔
• ECUSTJared
• 不执不迷
• 呦鱼儿
• weixin_28730665
• 亿丁丁
• Facilidad
• 彬者·诡道
• 真格量化
• 蔡千年
• 相争何为
• 杰长老
• redchina111
• frankie
• 知之只
• weixin_36972161
• 绥哲所谓
• 大力小豆
• 一小撮人
• 老年吉米
• AY-onmyway
• 兰艳知己
• Yang
• 一颗青木
• 喜迁莺
• Mio
• Zzh3514
• 一躲躲
• 乔克蜀黍丶
• 精明败家女杨爷
• 零悠悠
• 笔杆abc
• 高中物理宋老师
• 菲比她他它
• 阿弥陀佛
• 蓦风星吟
• 钭胥冉
• 胡世博
• 养猪编码工
• dyingflames
• 酒夏
• 品牌烧友-A
• 郝艺益
• 可可子姐姐教英语
• 厉向晨
• 13512954815
• Camellia
• shine-well
• 日向夕阳
• 薛玉玺
• 吴名璞
• 怪叔叔来了
• 核电那些事
• 无锡星晴侯鹏飞
• 清峪沟的砍柴人
• 猫咪的室友
• 巴白比波布
• da北斗ret
• ffts0721
• 小小仙女儿
• Moriarty
• 无糖信息
• 忧伤的石一
• 农资从业者
• 舜祎魂
• 赵阿
• 爷兰
• borninbad
• 德格扎西次仁
• 普罗马克
• 走进良夜
• Purkialo
• 织浪
• 邹正限
• 键盘音乐家
• 米斯特JIANG
• 鱼水鲤缘
• 学术入门
• 285995986
• 森因那夫
• tkh831219
• 好奇de梓洋
• 雷米斯
• 冯委
• 就是雪
• 马宇轩
• 东海羊驼
• 灰熊问题最优解
• 浅盏半茗茶
• 磅礴科技
• 路I
• 胡侃侃
• 兰德水
• TA家住在沙漠中
• 碧海云天97
• 霜之韵逸
• 萧井陌
• 酱好不
• 墨尔本雪球兔
• BinaryBard
• 陈六六的成长笔记
• 雕牌优质眼药水
• 袁廷翠09050082
• 月半羊
• 懒小木
• 王Jason王
• 迷茫不再迷茫
• qwrrq12134
• 理性且坚决
• 飞清一色
• Dexter.Yy
• Ms
• 雄心似铁
• 风自
• 林琬清
• 刘照云卡
• 玫瑰妈妈
• Amy婧
• 张浩驰
• 松果煲粥
• 奶茶余香
• Wonder王达
• 西芹姑娘
• 添奇艺术伞-立辉
• Chau.Hui
• 想法臃肿
• 物语妖
• 腿姐姐u
• 牧心钰Cassie
• talitzy
• CyberHero
• 赵仙君
• CyberNinja
• 杨浩鸣
• 一璇
• 往事浮烟
• 遙朢鷰園
• 苏式糖粥
• 派网大话狗
• 玩木丧志
• 辟克匿克
• lkxl
• 九酱酱酱酱酱
• 颜镇钟
• 群响-刘思毅
• 黄叶欣
• iff-qyc
• 亦未
• 卜仆
• weixin_31092081
• 藏雍之
• 金吉他
• 堞堞
• mydiplomacy
• 宝贝入怀
• 诚is
• 黄衔
• 芊暖
• 徐行忠
• 大白兔奶糖呀
• 牛站长
• 插座学院
• 诚灏
• 米佗耶目
• 了了她姐
• 我画的娃娃脸
• 多问
• jimy
• 樊旖斐
• 诗人流浪汉
• 作者小怪兽
• weixin_36955541
• 住在树上的牛顿
• 2301_80904942
• 维权骑士
• 徐再旭
• zhihuyaowan
• 阿证证证证
• 娃咋养
• 伊迪亚特
• 十弦曲觞
• 躺着不干活
• fatgn
• 兮扬
• 李国凤
• 龙黄天下
• 牛奶浴花生
• 小松ekko
• 2401_83080457
• 诺壹乔
• 上官义飞
• 没有名字233
• 薛继续
• 2301_80585628
• 姜懿珊
• Mr浪子相依
• jackey-金融
• 八度飞雪
• 大叔默默路过
• Tone
• xpf769815576
• PrivateRookie
• 蛋卷毛毛
• 2301_81244691
• 银光秋叶
• 胡格
• DigitalDragon
• 衡水中屑official
• 运动与物理康复
• 123456zggb
• 牛开心
• pmbian
• 陈fay
• 游很多话
• 宋玄宾
• 林潘
• Zeng
• 我的小幸运
• 南极熊3D打印
• 咻电联盟18336067661
• prettySXY
• 官真
• 千面娇娃酒不修
• m0_73127071
• 茶未凉人已散
• 碧微公子
• 呱呱呱www
• wei0168520
• 你猜-我是谁
• 鞠猫
• 曜冰
• ONES
• 长余陆离
• weixin_58632235
• guonilp
• 冷幽香
• 晚点LatePost
• 天氣真好喔
• 2401_83010645
• 我有烧饼你有酒吗
• 酱呀
• cyhjty
• 唐臭臭
• ICT杂谈
• 甘雨火光
• 雷幺幺
• 懒床上的猫
• 江啾
• 0000
• 花开知多少
• 让我眼熟你
• 北山南湖
• 兰榕笙
• 托卡马克之冠\x01m~~
• 燕衔泥PPT
• 狠茬子嘻嘻
• 飞翔的嘉别
• ChuaChuaFeng
• 牛人说
• baby小花
• 朱耶伽罗
• 李奇正
• 邱教练学堂
• 庄蹊
• 南洋野人
• DeepWeaver
• 材料搬砖狗
• 叶苏培
• Gavin
• 一捆稻草垛
• youye
• 庄黑胖-伍拾万
• naif_cy
• 一杨千里迢迢牵牛星
• 天街踏尽公卿骨
• 兔子同学
• 夕风彦
• khaki轩然
• 已经退乎的路人
• Dumb丁
• 郭啧西
• 请给我骨头
• 北京永诚印刷
• 邹益健
• 往里卷
• AllFiredUp
• 对视三秒
• Lrsmn-x
• 潜水队长
• 锋剑一族
• 耀眼曦光
• 小灰灰同学
• HermanXYZ
• 富富设计
• 胃泰小胃君
• 叶修的伞
• 卢策吾
• 宁敏
• CN队长
• 本尼桑
• 岑做
• 一土水丰色今口
• 偏偏无理取闹
• 小巧的高跟鞋
• mhj1990
• 11先生
• 肉丸君
• 宁艳玲
• sweet
• TKSJ
• 李华晨
• 摩羯啪啦啪啦
• Lilililipretty
• wow机智兮米粒丘
• 罪歌2011
• 天才娜娜ln
• AT姜
• 你找不到我啦
• its斯弟文
• 一米八七的大帅哥
• 北木南烟
• 叶伏城
• 陈华葵
• xclca
• 非典型工科生
• 何书欣
• 肉身君
• 罗宏宝
• 会写代码的好厨师
• Nature自然科研
• 李首良
• 已婚屌丝
• [HUC]–ksh
• big
• 曹胜波
• Evelyn
• 勃恶霸
• 太球
• 惢安
• 科技缪缪
• 观后感刚刚好
• 行影旅行
• rrKnow
• 旋叶芦荟mkq
• darkdress
• 我喜欢你小朋友
• 苏安桥
• 江思捷
• 李月巴鱼
• 解说柯基\x01mkq
• 腕表天地
• 阿文说钱
• 西瓜苦力怕
• 何沐沐
• 亚大伯斯
• Kotori
• 无伤大雅的骆驼
• 默认关系
• 站在天台上看上帝
• 兔卡
• 知乎商业小管家
• 谢月生
• 晓文说财
• weixin_40423078
• 顺数人
• Tatasisy
• 大地孤狼
• 袁大岛
• 燕枝
• 我寄几
• 苏瑞文
• 精神心理何日辉
• 机械堡垒
• 葛艺潇
• hore12
• 月之地
• 林中白鹿
• 黄莉娟
• m0_75009479
• 宋世泊
• peng
• 欧阳万里
• 白衣战土
• 撸铁妹
• 思哈豆
• 夜盏
• 陈仁浩
• 在韩国的敏欧尼
• myosin
• Yan
• 东南前哨
• 番茄罐
• 游魂2
• Balinda婷婷
• greatwallisme
• Maple
• 老徐说
• Hi-iD
• PettySoul
• 伟星啊
• 密斯how
• 蒋栋蔚
• Fei
• 运营老高
• 水廿八
• 于伟豪
• gaojb2141129
• weixin_44983006
• 简
• 暂停一下下
• 北美地产学堂
• lange
• 清宵月明
• 马利碳笔
• zLiM5
• 不止尚行
• 光阳果
• 唐杰宇
• 雾里寻声
• 刘宏山083
• 筛分技术
• weixin_28726871
• 黄差败
• whygqm
• 瓦罗兰十字军
• SlowdownDdddddd
• 精灵之火
• Capex
• 刘杭州
• Tim
• 爱燃烧
• 水龙敬
• 智诚1818
• 鎏怀瑾
• 20250101
• 易职嗨
• 柯学友
• 歹小悦
• filweo
• d198902
• 会员联盟
• weixin_41699549
• 玺微の时光
• 卫酷酷
• Reaper
• 2301_80615417
• weixin_59061340
• CDKingHang
• 2301_81786037
• 2401_82590801
• 2301_79370722
• 2301_80735542
• 2301_80471080
• 2401_82563337
• ashshouldgo
• 2301_81323248
• xiaogang206
• 2201_75708777
• 2301_81875574
• nipponofficial
• 2301_81669415
• 2301_82229336
• MessyCandle丶
• qq_44388469
• 2301_81211889
• linhj20
• 阳和启蛰834
• 2401_82407173
• 2302_79604626
• 2302_80430759
• hp125626
• upup293
• 路野没有苏
• 你好刘同学
• 布拉达勇士
• 2301_82091956
• 連117
• 2303_81635589
• 爱吃薯条的l
• 杀手海王
• u013665684
• kmn04
• Famiglistimo_01
• ［Neptune］
• 2301_82105743
• 凯瑟琳大王
• 2401_82478192
• 忙着长大的丫丫
• 2401_82497365
• 萌萌1212
• |
• 2301_81343863
• 天盗盗
• 2401_82491506
• 柠檬小仙女C
• Riceman
• 2401_82397406
• 2401_82484621
• qbkivlin
• Chrix
• 君有点小暖
• 剪好头发回家
• weixin_40564623
• 薇莉
• 木楠依
• 苏小晗
• 马骏骁
• Dr.Rodney
• weixin_44710965
• 会飞的洋子
• 成都AG超玩会老帅
• Mikey
• livhui
• 2301_79218897
• 不想说话的树
• maggie67
• m0_62212436
• 333M
• 张卡特
• 周晓农
• 山簡
• 坚强努力地活下去
• 兔兔xuan
• yaoyao是我
• 住范儿石乐天
• 呼呼啦啦就瘸了
• 大司马了不起
• 周达和
• 雷雨航
• 清清本清
• 诶你说什么
• summerrabit
• YE625
• 就念
• Raymond
• 袁江旭
• 辟谣的大舌头LONG
• 悠悠黄鹤楼
• 鵬鵬鵬鵬
• 丁子栩
• 清风余欢
• 林秀秀g
• CodeWhiz
• 我鸿
• weixin_30453651
• 吴寒笛
• 蓝盐泳池1983
• 销声
• 真实故事计划
• 卖猫粮的小叔
• 元音a
• 马渊程
• 杜扬Seatory
• 南燕Jo
• InnovationGuru
• 老先队员
• 小xs
• 原点GD
• 华清阙
• lcct_shu
• 谈修竹
• TechTinkerer
• Seolac
• 野蛮人柯南
• weixin_27727467
• 你一直在玩儿
• 屁师
• 春华秋实的夏
• 我累个擦：<
• 宋朗坤
• Ruby437
• 無酒
• 郴江郑明兰
• 心理咨询师-宋杨
• Twopothead
• 护城河河长
• ianlesliejet
• 弍戈
• 林中有一只小猫猫
• 张蛋花
• 缪加
• 少刷知乎多读书
• 海边的弗兰克
• 纪发发
• 秋水顾盼
• 煌煌不安
• myy4988
• Dreamer寻
• 好孩纸kimi爱大圣
• 米凯勒
• 雪停时偶遇一叶春
• kagb
• Elka
• 投稿小助手
• 橘子咚咚
• wanchuanlong
• moxirich
• qq_55253983
• 刘锋135538569000
• 托尼郭
• Lybrust
• a291337862
• 江泓
• 有点小病
• 寻尘客
• 六号轨迹
• 丹凤张杰
• 王靖海
• Tasrue
• 雕粱画栋
• 胡启奋
• 人间最好小师叔
• gaocegege
• 张大有
• 网易《了不起的中国制造》
• 026后勤处
• re硕君
• 张玮(O-o)
• 布拉格2
• I6and7
• 李军文
• 柯尔鸭鸭
• 龙一歌
• 霉斯漫
• 我爱专利
• bathroom火冒
• blhzmmf
• 上海买房人
• 颜究员
• 堂堂堂堂堂主
• 江文锴
• 门田木
• Li
• Books.Fan
• 夏洛特Charlotte
• 希茅
• 张坤平安
• &D先生
• parisbob
• 指路明灯君
• 菜菜美食日记
• 乞力马扎罗的猴子
• 安藤崇
• Wawzyniec
• Caprcorn
• liuzhiyaoooo
• ྲ552
• 司马各
• 晒太阳的小黑猫
• 2301_80761895
• 2301_81284979
• 江千里
• lsgn
• 方头Pokerman
• monprotocol
• 2301_78823239
• weixin_57449952
• 2301_79683098
• 好き丸子
• AlpHaCracker
• hzhangsa
• Miaozerong
• 2301_81056293
• m0_72041520
• 2301_81213077
• 望月愁
• 拿秃子的酒杯
• 朱凤仙
• 啥雷慧星
• 2301_77149178
• Tagtax
• 2301_81188326
• 田哥玛丽
• 2305_79018775
• 云扰
• otx009super
• 2301_81192457
• 影视后期王荣
• 林声飘扬
• 逆光纪
• 阿廖林诺
• 一人一猫浪迹天涯
• 温糯米
• 穆迪老师
• 一滴血的记忆
• 好奇宝宝打脸怪
• 谢艺馨
• Lucy-露西娅
• 淡庸
• Manting
• 西天取经路遥迢
• 型爷
• 诗无忌
• Luca_Lu
• xsvipx4869
• Rachel瑞小秋
• Damon
• 尘箬芳桦
• 达欣欣
• 东予薏米
• 罗元裳
• 麓雍
• 黄鱼冻
• 早鸟
• 江仕蕾
• 王金龙花柒
• 咸鱼豆腐
• LearningandStudy
• 幸福暗恋我
• 冰镐供应商
• 克莱儿儿儿
• quant林
• 梦里看花a
• 华亿
• 司徒夜
• Gnocchiiii
• 心理咨询师林博宇
• 3菲菲
• andyyah
• 明日座头鲸
• 曼仔呀
• 不吐槽会死星人i
• 燕山美发
• 央企小老头
• 跑马溜溜
• Ming小然
• 一朵云从平流层坠下
• 何钦尧
• 吃肉的梅小姐
• 每天一个收货
• 王谭
• 陈村
• 埃斯蓬托的篡位者
• 俯卧撑菜鸟
• 怪怪的Mogeko
• 最上川灵感大王
• qq_48582659
• noah642
• 人and人
• m0_64601486
• Yorium
• 2301_80668056
• 好588
• RyFooX
• 2301_76448989
• 用户昵称已存在……错误……
• itwebber
• 林闽琦
• wxd86d5613e425e18b
• 2301_80071268
• 2301_76403620
• 2301_81011043
• 2301_81013940
• 2301_80383138
• weixin_46615692
• 微软技术分享
• 黔台老酒坊
• 小瓮同学
• 灵魂机器
• 耀怡
• baskice
• longyang0917
• 啃老师
• 有伱真好
• 罗俊(顺义PICC)
• 刘为龙
• 馋包包我们走
• 葛店小学张洪雨
• 发现者号
• biu~
• FUUFK
• m0_67598909
• 南小吕
• m0_61393398
• ShAn
• .
• weixin_39505051
• 借我一把金太刀
• 不会飞的鹰08
• qq_64694880
• weixin_47898112
• qq_45292756
• 希出崖涘
• 20240901
• GALAXY
• Lllixy％
• m0_70563695
• m0_74282103
• 2301_77131751
• MasterZerα
• m0_61098022
• qq_48962699
• weixin_51793392
• CSDN_alearner
• 2301_80044454
• Cyber_D
• 沈聪祥
• weixin_40376578
• weixin_48071367
• Jiang_Immortals
• weixin_45392838
• 和光-ycl
• 长沙何书桓
• m0_59123733
• 古月氵
• 阳光一直都在
• iohgy
• 2301_76764655
• oooqoyooo
• lspppppp
• 褪色的，记忆
• 探索者_SHU
• jackey0135
• th1157828416
• qq_46311760
• 真命天子xy
• ，。，。，。770
• yupo555
• chun_yin
• Leo
• idea-second
• dsqykf
• Messi20145102
• weixin_44953803
• AriSan_XD
• YWSFFJ
• weixin_38912254
• thepolest
• weixin_46378822
• ?Endless??
• 王早起Mornings
• weixin_40328981
• kerwin666666
• 穆如清风-
• weixin_45676656
• 叫牛奶的特仑苏
• 2301_78036593
• 2301_79547616
• ll489
• z726218y
• HUCONcong
• Sakura20201017
• Idie_
• m0_69349550
• RS+DLer
• Antisocial
• m405230843
• 鱼-qq
• hamzsy
• I123456T
• weixin_45526931
• 像风像雾又像雨6
• qq_36497656
• 憨化龙猫
• 白小岩
• TobetterMan
• Brain
• sa16225447_aasdf
• weixin_48030023
• m0_66285644
• 129beer
• python_dizhongdi
• 2301_79442945
• 梦想变成光
• 浩浩是我阿
• a2233883
• 飞凡850
• luojing913
• weixin_39750622
• 偏爱中国红
• DemonHunter211
• paperxxx
• zuojunming0600
• wink537
• u010544479
• 小赵啊。嗯哼
• weixin_44218547
• 可乐小超人
• 211统计
• 黎罹
• 巨量HTTP
• 一只快乐的小龟
• m0_70472418
• 高祺
• m0_74060374
• 2301_79349731
• qq_39169688
• 刘635
• wlwlwl0511
• 野心未泯
• weixin_48511181
• poptar
• Cape0915
• qq_16068833
• lycdc_z
• byhehe
• 懒-洋洋
• ghjud
• 语音识别_小白
• 桦曳
• qq_36722565
• 211统计课堂
• 充电君
• h15728721597
• qq_35154867
• 鲸云夕陌
• lobster.
• 胖鸽
• qq_51644107
• 极客曰报
• oceanao
• m0_69876149
• 2301_79201558
• 我就笑吧728
• 醴碘
• 大金Mrking
• CN930804
• 日向小太阳
• weixin_54669750
• weixin_40701906
• iso230
• 2301_76718493
• satellite7
• m0_68703686
• m0_63268594
• 随风56
• qq_34029746
• 宝贝今晚想吃啥
• slc18698726058
• 咚咚锵的小波波
• zz_comeon
• wfshan06
• 弈诚
• 毛毛
• mbwlhf666
• ai__xiaoyang
• skyvoice2
• 二七学长
• Strawberrer
• weixin_54896532
• 华为OD面试指南
• 叶庭云
• xydlovecjj
• qq_40412114
• Yuyang7372
• 灰格
• wude111
• weixin_45428949
• Yanzhenjinghan_
• Charlie_1541
• satday725
• fuwy
• 2301_76386433
• Curtain?(o^^o)?
• weixin_47520923
• qq_57626668
• m0_55989410
• a1780335808
• zzc2323
• Pandaser
• xyvybun
• 颜肆陆
• 山月记469
• c_s_____d_n
• a1205683
• 快乐晓笑98
• li53957741
• 小武落泪
• zou_jian_
• 刘建杰
• 麻烦指证批评
• weixin_41756759
• 叶尖上跳跃
• zrr12620
• everylovebc
• 20250401
• qq_41411881
• m0_73519261
• 陆臣杰
• 朽木莲
• 尘埃里的月光
• chenfulong005
• m0_37680878
• 笨小孩Qu
• xyz9527xyz
• kidmix
• weixin_44829335
• 夏701
• zkk9390
• wudehua55555
• 陈嘉嘉嘉嘉
• m0_38065375
• m0_46178874
• LYB_383409060
• YANYAOHUI_
• weixin_46067110
• l66624766
• 编程大狮
• Katherine_19
• 2201_75836058
• m0_61916878
• Nanxious_Leo
• txfTrap
• sinat_23581595
• 求学80后
• 魔力矩阵
• nana_lhan
• 码码小猿
• m0_49149738
• 小头先森
• starry
• m0_49217555
• m0_64335638
• 啥时开始
• weixin_69926086
• 黄开炎
• Csdsdfa
• relaxing520
• aaaaaaaaddd2
• weixin_57061799
• pighead_1016
• 奶茶舒胡蕾
• qq_43630189
• m0_69898704
• babykikii
• m0_59673911
• 2301_78564831
• m0_57230756
• qq_20754835
• 我是我儿爹
• qq_36877641
• m0_51528231
• weixin_53774310
• 依然饭特稀_0574
• 麦唛
• weixin_57126192
• weixin_44542985
• LZ创
• 小白abner
• m0_69859729
• 春待月九
• qq_45760142
• 2301_77334809
• 宇宙小菜菜
• QiranMu
• qq_52184092
• weixin_68946462
• 帅帅的单身狗
• 風火雷
• btbtmy?
• CYX441
• sovelen
• Philowen
• 2301_77965635
• NZGMTCAH
• m0_71178254
• l501900
• JohnWong007
• m0_70902221
• cldyg222
• qq_57897148
• m0_63740483
• evil2333
• WayneBin
• qq_46663976
• weixin_46190290
• chaosDY
• 不争之德
• shuxuejianmo314
• 白白。猫
• qq_47348533
• 一枚程序员
• Benjamin_Young
• fadedol
• 棒棒哒小纸盒z
• IT_baiban
• weixin_38270019
• 0Oo�
• weixin_58616412
• 2201_75706509
• gaokeaiya
• 三窗
• Gatorade001
• m0_69453712
• weixin_46808723
• MOB2333
• qq_42114034
• welkin_lg
• m0_58448384
• Energia_Buran
• axl668
• weixin_44855103
• qq_30681957
• 我随心动
• 水日之秋
• 李无趣
• qq_37510379
• qq_38057104
• Hsatr
• Y~404
• 图灵软件技术
• 十螺纹
• AllenSun34
• 这个年纪你怎么睡得着的
• 大约在雨季。
• 大羊腿
• 2201_76066153
• qq_27794783
• 聂鲁达不哒
• ncuthmk
• nvoian
• SD1way
• Typhoonn
• lttzy
• 2301_77693996
• jiagang_
• 布丁_码到成功
• 别任性
• m0_70818773
• let_wang
• u010181864
• gt17969
• hshsjp
• tmachina
• a48631685
• zzerhtd
• engine_men
• 2301_77601254
• qq_45871585
• 二分法QwQ
• weixin_48950343
• Arlene_08
• Diamond我
• 寄给你星河
• Alex
• Z.Robot
• comic
• m0_59457021
• qq_57218083
• dawn_breeze_
• sleepyshaman
• GLewis
• 妳っ
• 杲昃
• Transient_520
• angledou
• 杳冥、
• 伈刼@
• qq_34052077
• Anoxia_Tian
• m0_67716204
• relax
• O氧
• awnusk
• 0o圈圈o0爱
• jin946
• 再不学就来不及了
• lwj070117
• 嗨和嗨
• lijiejie1
• KYRIE00
• 走心371
• tcyxy123
• THAST
• 小猫了
• xy66_
• 2301_76672683
• 咖啡凉了_hy
• 摆摆渡人
• wL0NG
• 四幺
• 7thheavenWML
• 狄水云笙
• 打铁匠Mr_Lee
• 等你下课ソ
• Cynthiacircle
• 天海一直在AI
• Wbig
• d⊙▽⊙x
• qq_42796828
• NowLoadY
• weixin_44170459
• weixin_40352994
• apinapple
• Python_15
• The
• F0oreVeR
• 晚椒
• qq_46010292
• +vvv
• 贝塔西塔
• simonlijili
• rabbit3691
• weixin_45202744
• qq779670222
• nbmn
• qa_ws_99
• A1234587_000
• qq_38343917
• 话唠画废
• ZtLoveWym
• 五分Q
• Y199826
• dyz13
• hanhanyld
• 2301_76678729
• MountVoom
• agneskan
• m0_74424405
• weixin_49078858
• 假面游魂
• ChA0s007
• a646711278
• Phantom_ruin
• weixin_45749271
• qq_53270509
• Delanncy
• m0_50111564
• 扫地僧的扫帚
• stone_312
• m0_59039269
• 慕容飞
• yishujiayou
• D.Woodward
• for?;;?
• qq_36042424
• 小张tostring
• Henderson_X
• Since_july
• weixin_49142770
• sinat_39136647
• weixin_67033104
• superliuchun
• 夏目幸一
• slide
• vapnik222
• WwwhaiXuu
• Darry00
• HuMHk
• mr9725
• qq_57621558
• 2301_76608612
• DeemeDD
• Bean_3
• qq_42939186
• m0_54165145
• m0_63405099
• 秃头猿是可可粉
• La
• yeyeye37
• 咕噜Kerwin
• myccver
• 酷ky
• Holy姜姜
• weixin_46800063
• 彭彭丫
• qq_44488613
• m0_69353409
• X_Jun005
• 千君殇
• 普通网友
• zz_qq32107
• ZacharyZzl
• m0_74935297
• 优秀木木.
• 归居于尘°
• Floraaaa?
• 无敌番茄酱
• Mr.利威尔
• 多尝试多记录多积累
• 希望_睿智
• weixin_51440866
• 一不小心嗑到牙了
• Fyzqae
• 炫荡之灵
• ➹枫丹白露
• 喝摩卡的狐狸
• 小糖宝
• 哈佛215
• 柏劲松