RT 九原客
论文阅读:FrugalGPT,降低LLM的成本。

常规方法:
1. 优化 Prompt
2. Query 合并
3. 语义相似缓存
4. 使用贵模型对便宜模型微调

LLM 级联:(重点)
5. 便宜模型回答后对回答自动打分,分数过低则调用更贵的模型,直到调用 GPT-4

感觉可以用 LangChain 自己实现一个。 https://arxiv.org/abs/2305.05176
 
 
Back to Top