研究
推奨どおりにモデルを替えたのに、なぜBotは3倍遅くなったのか
Zenn トレンド · 執筆：MotimotiNotch ·
要点
- Cloudflareが利用中のAIモデルの廃止を予告したため、推奨どおり別のモデルへ移行した。
- コード内のモデル名を差し替えた翌日、30分ごとに実行される処理の時間が3.4秒から10秒に増えた。
- エラーは出ず返事も届くが遅くなった。モデル名以外にも変わった点が5つあったとされる。
なぜ重要か
モデル名を差し替えるだけでは、速度や挙動が以前と同じとは限らない。エラーにならない変化を見逃さないよう、移行時に実測する必要がある。
影響を受ける人
- Cloudflareの AIモデルを利用している開発者
- AIモデルを移行中のチーム
- #cloudflare
- #llm
- #モデル移行
- #性能
Cloudflare から、使っている AI モデルが廃止されるという予告が出た。期日までに別のモデルへ移せばいい。コードの中のモデル名を差し替えた。 翌日、Bot が30分ごとに回している処理の時間を見ると、3.4秒だったものが10秒になっていた。 壊れてはいない。エラーも出ていないし、返事もちゃんと来る。ただ遅い。 調べていくと、モデルを替えたことで変わったものは速さだけではなかった。数えると5つあって、どれもエラーにはならなかった。この記事は、AI のモデルを替えるときに、名前のほかに何が変わるのかを、実際に替えて測った記録だ。 何を替えたか…