知识库增强-模板调用

前置说明：

1、了解如何创建模板及通过模板方式调用大模型，请参考：模板调用

2、当前知识库默认每个用户空间大小为1G，超过将无法上传。如果是正式调用，请邮件联系我们（g-api-service@360.cn）申请扩容。

3、上传文档本身免费，但处理文档过程中需要调用embedding模型，此调用量需要计费（新用户默认提供50元额度供免费试用）。具体调用量请前往用量查询查看。

调用方式：

前往prompt book平台，创建模板，在第二步模型调参处，设置知识库相关选项：

关联知识库：可选择账号下创建的所有知识库，支持多选。选择后，system消息中将自动出现{ {#context#} }变量。

由于知识库检索结果一般较长，为避免输入token超长，不建议此变量在模板中重复出现。

增加{ {#context#} }变量后，需要自行撰写合适的提示词，告诉大模型如何利用知识库检索结果回答问题。同时将{ {#context#} }变量放到合适的位置（也可移入user的prompt中）。示例如下

system-content：
你的任务是基于给定知识库检索结果来回答用户的最新问题。在回答问题时，你需要注意以下几点：
1.检索结果有多条，每条检索结果之间由\n####\n分隔。
2.如果某条检索结果与用户的最新问题无关，就忽略这条检索结果，不要进行任何参考。
3.如果用户的问题能直接从搜索结果获取答案，就直接回答问题，避免出现无关话术，如"根据【检索结果】..."等。
4.如果不确定用户的具体问题时，可以询问用户要求澄清，以获取更多信息决定是否能回答。
5.如果用户的问题明确无法从搜索结果获取答案时，请回答：这个问题我暂时还不会回答。
检索结果如下：{{#context#}}
 
user-content：
用户最新问题如下：{{question}}

知识库设置：

top_k：指定检索知识库返回的片段数量，默认2个，取值在1-10个。

Score：指定返回的片段的相似度阈值，默认为0（即不设阈值），取值在0-1之间，步长为0.1。建议设置为0.9，可有效过滤不相关的检索结果

截断策略：默认。只有默认选项，暂不支持修改，如果检索结果拼接模板后最终大于模型的最大输入，将自动缩减片段数量。如果召回片段只剩1条仍超过字数时，将自动从后向前裁剪召回片段的长度。

指定检索query：选择发起检索的query，可选择范围：模板中定义的所有变量（包括system和user消息中的变量），或者整条user消息。（只能单选一条作为发起检索的query）

提交模板后，通过prompt模板调用即可实现单次大模型调用自动检索知识库，依据知识库检索结果进行增强回答。（假设知识库检索结果变量放入system消息中，设置搜索query：input）

请求参数

Header 参数

Body 参数application/json必填

示例

{
    "model": "",
    "messages": [
        {
            "role": "system",
            "content": "{\"prompt_id\":\"a123456\",\"prompt_template_params\":{}}"
        },
        {
            "role": "user",
            "content": "{\"prompt_id\":\"a123456\",\"prompt_template_params\":{\"input\":\"老周为什么喜欢穿红衣服？\"}}"
        }
    ],
    "stream": false,
}

请求示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

知识库增强-模板调用

前置说明：#

调用方式：#

请求参数

请求示例代码

返回响应

前置说明：

调用方式：