ニュースまとめ

生成AIの主要プレイヤーが注目している「プロンプトキャッシング」という技術を使えば、長文処理にかかるコストを90％、応答開始までの時間を85％短縮できる可能性がある。