Professional Documents
Culture Documents
20230519_FrugalGPT-v2_穷人怎么用省钱的方法来使用ChatGPT
20230519_FrugalGPT-v2_穷人怎么用省钱的方法来使用ChatGPT
來看看窮人怎麼用 ChatGPT
Frugal: 節儉
https://arxiv.org/abs/2305.05176
GPT4 的 API 也是很花錢的
• 輸入:0.03$ / 1000 tokens
• 輸出:0.06$ / 1000 tokens
桃市府試驗以ChatGPT分析1999陳情案件
https://news.ltn.com.tw/news/politics/breakingnews/4273981
Q1 A1 Q2 A2 Q3 A3
Prompt Selection
Q1 A1 Q3 A3
方法一: Prompt Adaptation (縮短輸入)
Q1 A1 Q3 A3
Q1 A1 Q4 A4
Query Concatenation
Q1 A1 Q3 Q4 A3 A4
只用一次
方法二: LLM Approximation (自建模型)
https://youtu.be/rK_rZFew1yc
方法二: LLM Approximation (自建模型)
• Completion Cache
Q A
Q’ Q AA A
Q A
Q
Similar to Q Return the
answer of Q
方法三: LLM cascade
1M 1M
方法三: LLM cascade
• 殺雞不用牛刀
• 簡單的問題交給比較弱 (比
較便宜) 的模型
• 只有難的問題才給比較強
(比較貴) 的模型
• 不同模型的能力可能可以互補
HEADLINES
方法三: LLM cascade
(需要另外訓練)
方法三: LLM cascade ℒ = 𝐿1 , 𝐿2 , … , 𝐿𝑘
𝒯 = 𝜆1 , 𝜆2 , … , 𝜆𝑘−1
𝑞 𝐿𝑖 𝑞
max 𝑟 𝑎, 𝐿𝑧 𝑞
ℒ,𝒯
𝐿𝑖 𝑞,𝑎
𝑧
Cost of each request:
𝑐𝐿𝑖 ,1 𝑞 + 𝑐𝐿𝑖,2 𝐿𝑖 𝑞 + 𝑐𝐿𝑖 ,3
𝑞 𝑖=1
𝑐𝐿𝑖,1 𝑞 + 𝑐𝐿𝑖 ,2 𝐿𝑖 𝑞 + 𝑐𝐿𝑖 ,3 <𝐵
(budget)
HEADLINES
COQA
OVERRULING
FrugalGPT:
來看看窮人怎麼用 ChatGPT
Frugal: 節儉