← 全部笔记

agent 识图服务的一些修改

把svs-viewer 改成pi后端了

中途 k3 其实一直推荐自己造轮子,但是实际用下来,图片缓存与丢弃逻辑,缓存命中以及自动压缩的逻辑就是会各种出问题,还是用成熟框架更合适一点。

最早的时候其实想做成,图片截图 → 总结丢弃base64 信息这种做法,结果发现缓存命中基本为 0,这也不行。然后改了一版全部保留 base64,那就更出问题了,基本说两句话就到 400k 左右模型扛不住,速度非常慢。现在虽然整体上全部改用 pi agent 的图片管理和压缩逻辑,中间动态留 4 张图片的缓存,每次接近窗口的时候对图片进行压缩,丢弃过早的 base64。但是显然感觉后面这个逻辑还是会有问题,先不运行看看。

其实如果模型很便宜或者反应很快的话,全塞上下文自动压缩就简单的多。

是不是先做图片压缩,然后再进上下文会更好? 后面往这方向再调调看。

留言

留个言吧(只需邮箱,不会公开)

还没有留言,来抢沙发。

← 全部笔记