调用大模型提示字数超限制
问题描述
range of input length should be XXXXX
解决方案
大模型都觉有一个上下文长度的概念,简单来讲就是一次性你最多给它发多少文本
如果你的知识库分片值比较大比如这里是 10000 * 匹配条数 5,一次性 50000 个文字发给大模型,那就回触发这个问题,所以根据你使用的模型 动态修改这个参数
建议不要超过 2000
range of input length should be XXXXX
大模型都觉有一个上下文长度的概念,简单来讲就是一次性你最多给它发多少文本
如果你的知识库分片值比较大比如这里是 10000 * 匹配条数 5,一次性 50000 个文字发给大模型,那就回触发这个问题,所以根据你使用的模型 动态修改这个参数
建议不要超过 2000