給ChatGPT小費真的好使!10塊或10萬效果拔羣,但給1毛不升反降

給ChatGPT小費真的好使!10塊或10萬效果拔羣,但給1毛不升反降

還有誰不知道“假裝”給ChatGPT小費可以讓它服務更賣力?

但你知道給多少最合適嗎?

笑不活了,還真有人專門研究了一番。

方法簡單粗暴,從0.1美元到100美元,不同額度用同樣的prompt去嘗試,每個額度試5次。

你別說,結果還真有講究:

首先,給10美元性價比是最高的,甚至超過100美元。

董小姐一分钟,格力十年功

其次,要想回答質量再提高一個度,打底1萬美元起,越多越好,顯成效最少10個W吧。

最後,0.1美元意思一下?萬萬使不得,質量不升反降,還不如不給——AI也知道你在打發它。

地球解方/打破圍牆,讓教育無所不在 串接跨世代永續力

逆苍天 小说

有網友火速親測確實有效果。

趕緊來瞧瞧。

几何与灯光,打造极简大宅之美

給ChatGPT小費,額度是關鍵

給小費可提高模型表現這件事,最早是一位推特網友發現的:

提高主要表現在回答的長度上,但這裡不是單純“湊字數”而是真的在更詳細地分析並回答問題。

如果你直接問ChatGPT“能不能給你小費”會被拒絕:

所以要在提問時主動承諾:

記住,可以不提,但千萬不要說“我不給”,模型表現直接“負增長”。

這時,就有人好奇了:

爲了解決這個疑問,他們決定親自驗證一把。

在此,作者首先提出假設:

森林系白色洋房超好拍,Dcard推薦嘉義美食,在地老饕帶路,必點松露干貝燉飯,嘉義東區美食│菜單

用於實驗的模型是GPT-4 Turbo(api版本)。

方法是讓它寫單行Python代碼(Python One-Liner),驗證給不同小費是否對質量有不同影響。

這裡的質量是根據單行數量來評估的。作者也在提示詞中“明示”了模型:單行代碼數量越多,表明性能越好。

然後一共測試8種額度:0.1美元、1美元、10美元…… 一直到100萬美元。

爲確保結果的一致性和可靠性,每個額度都測試5次,每次包含不給小費的情況,然後分別記錄模型回答質量。

具體而言,也就是記錄生成的有效代碼行數以及回答中的大致token數(大致爲響應長度/4,反應代碼量)。

這倆數據都是越高代表模型表現越好。

40+三双!CBA本土第一人!别再说他”拼爹”了

將結果彙總,就得到這樣一張圖:

0403大地震「翻轉上課」 小學生操場急疏散 教育局:部分校舍磁磚掉落

其中虛線代表基線水平,實線爲實際表現,紅色爲token數、藍色爲質量得分。

雷/《戀愛兄妹》第6集:女5金智媛哥哥正式登場,「現實兄妹」一見面髒話問候!

與假設有些出入:

整體來看,紅線和藍線都是隨着小費額度的上漲而上升的,但細看這種趨勢並非嚴格一致。

從1萬美元額度開始,模型的輸出token(代碼量)開始顯著上升,模型的回答質量也上升了,但並沒有呈同等比例。

這從豎着的紅色誤差條(代表5次實驗結果的差異性)也能看出來波動很大。

日職/佐佐木朗希奪首勝111球創紀錄 笑稱球速不快一點都不會累

作者表示:這說明提高小費金額確實與模型的質量和輸出長度有正相關關係,但關係有些複雜,可能還受到一些不立即可見因素的影響。

不過,不管怎麼說,我們還是能從中看到一些明顯結論,例如:

(1)給0.1美元小費不如不給,模型解決問題的質量和回答長度都直接掉到基線水平以下很大一截(約-27%)。

(作者:模型和人類一樣,感覺好像受到了侮辱。)

(2)給1美元同理。

法甲-战平副班长!巴黎1-1克莱蒙联赛24轮不败 姆巴佩替补助攻

(3)最能體現“花小錢辦大事”的是10美元,取得的進步和10萬美元是一個等級的。

【明日主题前瞻】AMD、英特尔、苹果纷纷入局,该细分领域是先进封装未来发展方向之一

绝望hiroin

(4)很意外,在10美元之後,100美元到1000美元這個區間對於AI來說區別都不大,甚至還不如10美元的效果——也跌至基線水平以下。

高雄兒童節連假湧現出遊潮 市區住房率7成以上

(5)後面再想繼續提升模型表現,就得從1萬美元起砸了——

這時提升的還僅僅是代碼量,質量還是一言難盡,至少得到10萬美元才行。

(6)最佳效果來自本次實驗的上限:100萬美元,大約提升了57%。

深交所对6家“打新”违规机构开罚单

咳咳,這下知道怎麼給AI小費了:

亚锦赛》9日展开 戴资颖32强赛迎战资格赛选手

要麼10塊、要麼上萬、100萬不封頂(反正都是假裝給)。

不過,有人(推特@寶玉)指出每個額度5次實驗有點少。

血泪经验告诉你痔疮就得这样治!胜过百次手术,别再花钱买罪受!

恰好作者也表示了:

东莞银行及其参股银行合计被罚310万元;东莞证券IPO“长跑”再次中止丨东莞金融市场周报(第6期)

這僅僅是一個初步實驗,有侷限之處,還得用更多不同類型的提示等進一步驗證纔有效。

所以,大家僅供參考吧~

對了,有網友提醒:

所以,大家還是量力而行(手動狗頭)。

泰安市“三抓三促”推进法治政府建设年度报告全面提质增效

參考鏈接:[1]https://blog.finxter.com/impact-of-monetary-incentives-on-the-performance-of-gpt-4-turbo-an-experimental-analysis/[2]https://twitter.com/dotey/status/1752843141403550192