检索文档时我们将模型
自适应模型选择是未来 我们在法学硕士计划的早期阶段学到的另一个教训是需要动态更改模型以解决可靠性和成本问题。一个令人心酸的例子是的几个小时中断导致我们的聊天机器人无法运行。在理想的情况下我们本来能够更换提供商并继续我们的运营（即使能力下降）。 一个不那么引人注目的场景是当对话接近内存限制时切换到更高的上下文模型（例如将上下文切换到上下文）。我们正在探索这种方法来处理代理工具的使用可能会带回过多的数据。我们可以应用相同的概念来最大限度地减少产品中断期间的支持成本（导致支持联系人激增）或者在解决不满意的客户时利用更准确（且昂贵）的模型。 虽然我们尚未实现自适应模型选择但我们已经看到了人们对该方法的兴趣。我们怀疑随着法学硕士实施的成熟以及 日本手机号码数据 公司寻求提高技术的有效性和经济性动态选择模型的需求对于行业将变得越来越重要。 有效使用的工作原理是从外部源检索信息将内容添加到提示中然后调用 。目标是提供模型在其参数化上下文（或基础知识）中可能没有的信息。我们最初的实现涉及根据用户消息对每次提示调用执行查询。结果并不理想。
https://lh7-us.googleusercontent.com/d1UBuvEqAbEAWj4ZK36Wl34Z3rfM8aqWDGy_EA-Dcnq1BT9njdyUJxASaiE3nWnN6GU3g0M8FnINd7vPx1oc0lzLf8WiFYvqzX9i8q3omnGlMhif1dcAXzx8j4s7-PxQKjriU_XQ6Qf5PySm6pj4PN0
根据我们的经验通常需要三到四条用户消息才能了解客户的问题因为大多数初始消息都是客套话。当我们过早的注意力集中在错误的内容上从而降低了生成的准确性。 在我们确定对话的意图后后续的实现涉及切换到专门的提示。虽然这种方法有效但缺乏灵活性。我们需要多个提示和一个状态机来模拟对话。我们偶然发现了一种已经很好理解的模式称为代理（带工具）。是与一组操作（工具）配对的提示。在对话期间提示可以返回指示应使用一组参数（例如 ）调用操作的响应。管理代理的软件执行操作（呼叫）并将结果作为新消息返回给提示。提示使用结果来继续与用户的对话。 然而我们发现在工具使用之外利用是有意义的。例如我们的对话设计师团队维护我们希望在每个提示中包含的语音和语气说明。
頁:
[1]