研究
Fable 5.2 ベンチマーク｜Fable 5.1 と比べて費用 0.74 倍・時間 1.24 倍
Qiita · 執筆：kenji_harada ·
要点
- Fable 5.2はFable 5.1と比べて費用が0.74倍に下がった
- 一方で、課題が終わるまでの時間は1.24倍に延びた
- 検証はNode.jsの小さな課題6つを両モデルに3回ずつ解かせた合計36回で行われた
なぜ重要か
モデルを切り替えると費用は下がっても作業時間が延びる可能性があるため、移行前に自分の用途で費用と時間の両方を測り直す必要がある。
影響を受ける人
- Fable 5.1からFable 5.2への移行を検討する開発者
Fable 5.2 に切り替えると、Fable 5.1 より速く、安くなるのでしょうか。当社では Node.js の小さな課題 6 つを、両モデルに 3 回ずつ解かせました。合計 36 回です。結論は「安くはなったが、終わるまでの時間は延びた」です。 成功数: 両モデルと...
タイムライン
Fable 5.2と5.1のベンチマーク結果が記事として公開された
LLMタグが付けられた新着記事 - Qiita
Fable 5.2 ベンチマーク｜Fable 5.1 と比べて費用 0.74 倍・時間 1.24 倍