• 当开源项目 Issue 遇到了 DevChat


    1. 概述

    没错,又有人给 GoPool 项目提 issue 了:

    和往常一样,我借着 DevChat 提供的 GPT-4 能力来解这个 issue。今天我准备以这个 issue 为例,和大家介绍下使用 DevChat 编程的常用操作。

    2. Bug 分析与复现

    用户写了这样一段代码:

    package main
    
    import (
    	"fmt"
    	"math/rand"
    	"sync"
    	"time"
    
    	"github.com/devchat-ai/gopool"
    )
    
    func main() {
    	var m sync.Map
    	pool := gopool.NewGoPool(
    		20,
    		gopool.WithMinWorkers(3),
    	)
    	defer pool.Release()
    	var i = 0
    	for {
    		i += 1
    		if _, ok := m.Load(i); !ok {
    			pool.AddTask(func() (interface{}, error) {
    				m.Store(i, 1)
    				task(i)
    				m.Delete(i)
    				return nil, nil
    			})
    		}
    		if i > 20 {
    			break
    		}
    	}
    	pool.Wait()
    }
    
    func task(t int) error {
    	i := rand.Intn(20)
    	time.Sleep(time.Second * time.Duration(i))
    	fmt.Printf("> %d -- %d \n", t, i)
    	return nil
    }
    

    然后发现这个程序执行后会遇到这样的报错:

    $ go run main.go
    > 21 -- 0 
    > 21 -- 0 
    > 21 -- 5 
    > 21 -- 0 
    > 21 -- 0 
    panic: runtime error: slice bounds out of range [:-4]
    
    goroutine 52 [running]:
    github.com/devchat-ai/gopool.(*goPool).adjustWorkers(0x14000108000)
            /Users/danielhu/go/pkg/mod/github.com/devchat-ai/gopool@v0.6.0/gopool.go:173 +0x1c4
    created by github.com/devchat-ai/gopool.NewGoPool
            /Users/danielhu/go/pkg/mod/github.com/devchat-ai/gopool@v0.6.0/gopool.go:95 +0x3e8
    

    我试了下可以稳定复现,上面这段日志就是在我本地执行的输出内容。每次执行报错的前几行可能内容不一样,不过下面抛异常的那一行是确定的,也就是 gopool.go:173

    好吧,那就先把这一段代码扒出来看看。第173行代码是:

    p.workerStack = p.workerStack[:len(p.workerStack)-removeWorkers]
    

    这行代码在下面这个函数里面:

    // adjustWorkers adjusts the number of workers according to the number of tasks in the queue.
    func (p *goPool) adjustWorkers() {
    	ticker := time.NewTicker(p.adjustInterval)
    	defer ticker.Stop()
    
    	for {
    		select {
    		case <-ticker.C:
    			p.cond.L.Lock()
    			if len(p.taskQueue) > len(p.workers)*3/4 && len(p.workers) < p.maxWorkers {
    				// Double the number of workers until it reaches the maximum
    				newWorkers := min(len(p.workers)*2, p.maxWorkers) - len(p.workers)
    				for i := 0; i < newWorkers; i++ {
    					worker := newWorker()
    					p.workers = append(p.workers, worker)
    					p.workerStack = append(p.workerStack, len(p.workers)-1)
    					worker.start(p, len(p.workers)-1)
    				}
    			} else if len(p.taskQueue) == 0 && len(p.workers) > p.minWorkers {
    				// Halve the number of workers until it reaches the minimum
    				removeWorkers := max((len(p.workers)-p.minWorkers)/2, p.minWorkers)
    				p.workers = p.workers[:len(p.workers)-removeWorkers]
    				p.workerStack = p.workerStack[:len(p.workerStack)-removeWorkers]
    			}
    			p.cond.L.Unlock()
    		case <-p.ctx.Done():
    			return
    		}
    	}
    }
    

    你也可以在 GitHub 上的这个地址找到这行代码。

    3. Bug 定位与修复

    可能你对这段代码不太熟悉,感觉看起来费劲。没关系,我看起来也费劲,毕竟一来这段代码主要是 GPT 写的,二来也有些天了,我也忘得差不多了。

    第173行出错的话,不难想到大概率是 removeWorkers 的值计算有问题,也就是 171 行的:

    removeWorkers := max((len(p.workers)-p.minWorkers)/2, p.minWorkers)
    

    缩容,具体怎么缩的我和你一样记不清,不过没关系,我们知道缩容要干的事情是“当 Pool 空闲的时候,将 workers 的数量缩减到最小数量”就行。那么 max((len(p.workers)-p.minWorkers)/2, p.minWorkers) 这个算式的逻辑大概率就不对了。假如当前 workers 数量是9,minWorkers 值是5,这个算式的结果是 max((9-5)/2, 5),也就是 max(2, 5),结果是5,9-5=4,4!=5,确实不对。

    但是应该怎么改呢?,于是我就把这个函数丢给 DevChat,告诉它我想要的结果,看下 DevChat 能不能将其修复:

    如图所示,首先我们需要将这个函数作为 Context 告诉 DevChat,然后基于这段 Context 来提问。

    DevChat 说 removeWorkers := max((len(p.workers)-p.minWorkers)/2, p.minWorkers) 这一行是错的,应该改成 removeWorkers := (len(p.workers) - p.minWorkers + 1) / 2

    当 DevChat 给出新代码之后,你可以用上图这种方式,通过 diff 视图来“预览” GPT 到底改了哪些行。

    看起来只有一行,不过数学运算,边界考虑啥的,还是有点烧我的“CPU”。我没法一眼看出来这个新的等式对不对,于是,掰手指吧:

    假设当前 workers 是 10,minWorkers 是 5,那么:

    1. 第一轮 removeWorkers 应该是 (10 - 5 + 1) / 2 = 3,也就是说要 remove 掉 3 个 workers,剩下 7 个;
    2. 第二轮 removeWorkers 应该是 (7 - 5 + 1) / 2 = 1,也就是说要 remove 掉 1 个 workers,剩下 6 个;
    3. 第三轮 removeWorkers 应该是 (6 - 5 + 1) / 2 = 1,也就是说要 remove 掉 1 个 workers,剩下 5 个;

    至此 workers 和 minWorkers 相等,任务完成。行吧,看起来没毛病。

    4. 代码测试

    开头那段代码重新跑一遍,发现还是报错,我的嘴巴半分钟没合拢……

    细看目前这段缩容逻辑:

    if len(p.taskQueue) == 0 && len(p.workers) > p.minWorkers {
    	// Halve the number of workers until it reaches the minimum
    	removeWorkers := max((len(p.workers)-p.minWorkers)/2, pminWorkers)
    	p.workers = p.workers[:len(p.workers)-removeWorkers]
    	p.workerStack = p.workerStack[:len(p.workerStack)-removeWorkers]
    }
    

    哦,当 taskQueue 为空的时候,只是任务队列里没有新任务了,但是 workers 可能还在工作中,这时候执行缩容,相当于有一定概率 kill 掉了正在工作的 workers…… 不过这个问题是偶现的,因为缩容动作1秒才触发一次,而之前在 UT 里覆盖的场景是1秒内 workers 已经全部执行完,进入 idle 状态,所以缩容不会出错。但是恰好这次用户的 task 里面有一个 time.Sleep(time.Second * time.Duration(i)) 的逻辑,也就是随机 Sleep。好吧,我服。

    另外在 GoPool 里 worker 的 push 和 pop 逻辑是这样的:

    func (p *goPool) popWorker() int {
    	p.lock.Lock()
    	workerIndex := p.workerStack[len(p.workerStack)-1]
    	p.workerStack = p.workerStack[:len(p.workerStack)-1]
    	p.lock.Unlock()
    	return workerIndex
    }
    
    func (p *goPool) pushWorker(workerIndex int) {
    	p.lock.Lock()
    	p.workerStack = append(p.workerStack, workerIndex)
    	p.lock.Unlock()
    	p.cond.Signal()
    }
    

    也就是说当有 worker 在工作的时候,workerStack 里保存的 index 会被 pop 出去,因此可以得到2个结论:

    1. 当 len(workerStack) == len(workers) 的时候表示 Pool 空闲;
    2. 当 Pool 繁忙时执行扩容,会导致 workerStack 中的 index 无序。(比如 [1,2,3] 这个初始 index 切片在工作中可能变成了 [1,2],然后扩容后会变成 [1,2,4,5],接着空闲了又变成 [1,2,4,5,3])

    复杂度又上来了一点。首先 if 的条件需要加上“空闲判断”,于是就得这样写了:

    if len(p.taskQueue) == 0 && len(p.workerStack) == len(p.workers) && len(p.workers) > p.minWorkers
    

    接着要解决无序问题,加个排序。我也不记得排序应该调用哪个库了,另外上面这段分析我也不确定是不是一定正确,还是发给 GPT 吧:

    最后 DevChat 给出的新代码里这个 if 长这样:

    if len(p.taskQueue) == 0 && len(p.workerStack) == len(p.workers) && len(p.workers) > p.minWorkers {
    	// Halve the number of workers until it reaches the minimum
    	removeWorkers := (len(p.workers) - p.minWorkers + 1) / 2
    	// Sort the workerStack before removing workers
    	sort.Ints(p.workerStack)
    	p.workers = p.workers[:len(p.workers)-removeWorkers]
    	p.workerStack = p.workerStack[:len(p.workerStack)-removeWorkers]
    }
    

    再测一次开头那段代码,ok 了。

    5. 文档更新

    写文档还是挺让程序员头疼,写英文文档更加头疼。还好现在有 GPT 了,咱继续将需要更新的文档作为上下文,发给 DevChat:

    DevChat 插件提供了一个“响应内容一键复制”按钮,点一下就能将 GPT 生成的原始 Markdown 格式文本复制到剪切板,这样就能轻松地将包含代码块的文档内容插入到 README.md 文件里了。

    6. 提交 Commit

    别再写只有一个“update”的 commit message 了,在 DevChat 里可以直接将 git diff 内容发送给 GPT,然后让 GPT 根据当前修改总结一个 commit message 出来:

    1. 执行 git add,然后将 diff 内容加入 Context:

    1. 执行 commit_message 命令:

    1. 获取 GPT 总结的 commit message,可以直接在 DevChat 页面 commit,也可以复制后手动执行 git commit:

    7. 总结

    要想让 GPT 输出令人满意的答案,一定要给它精准的 Context(上下文)。如果使用 DevChat 你可以灵活地选择一段代码、几段代码或者几个源文件加入 Context,然后基于这些选中的 Context 向 GPT 提问。

    最后,别忘了 DevChat 的注册地址:www.devchat.ai

  • 相关阅读:
    微信小程序中使用vant组件
    MyBatis-Plus中的Mapper用法
    从事IC工作,IC公司招人都看重哪些方面?
    机器学习算法一之DBSCAN聚类原理与实现(二维及三维)
    简单高效记账本的具体操作方法
    采用 Phi-3 小型模型和 Elastic 的智能订购系统
    速卖通:按关键字搜索商品 API
    从原理学习Java反序列化
    (220)Verilog HDL:实现摩尔状态机
    xml里面<foreach>标签用法
  • 原文地址:https://www.cnblogs.com/daniel-hutao/p/devchat-gpt-in-5min-11-golang-bugfix.html