AIプロダクトのためのコスト意識アーキテクチャ

単位経済はデザインドキュメントに属する

10人を喜ばせ、1万人で会社を破産させるAI機能は、完成した設計ではない。リクエストあたりトークン、想定同時実行、キャッシュヒット率、評価オーバーヘッド、顧客がその成果に払う意思を見積もれ。これらの数字はローンチ前にモデル選択とインタラクション設計に影響すべきだ。

コスト意識は安さと同じではない。代替が人件費か売上損失なら、高価なモデルに値するワークフローもある。エンジニアリングの仕事は、品質がレバレッジを生むところでは意図的に使い、生まないところでは支出を拒むことだ。

難易度で仕事をルーティングする

すべてのリクエストが最強モデルを必要とするわけではない。リスクと曖昧さでタスクを分類しろ。決定的抽出、分類、整形は、しばしば小さいモデルや古典的ソフトウェアで足りる。開かれた合成、計画、高リスク助言は、より強いガードレール付きの強いモデルを正当化しうる。

ルーティングは明示的で測定可能であるべきだ。ルートごとに品質・レイテンシ・コストを追跡しろ。信頼が低いときだけ昇格するカスケードは、体験を保ちつつ平均リクエストを手頃に保つ。

• 安定した検索と繰り返しプロンプトをキャッシュする
• リトライを減らす構造化出力を好む
• 評価実行を本番トラフィックのように予算化する
• 請求書が届く前にコストアラームを露出する

プロダクトの形が請求額を変える

長いエッセイのストリーミングは高い。簡潔な構造化推奨を求める方が安く、しばしばより有用だ。いつモデルを呼ぶか、どれだけの履歴を送るか、再生成するか——インターフェース決定はUX選択であると同時にコスト制御だ。

オフライン作業をバッチし、頻出回答を事前計算し、小さな関連スライスで足りるのにアカウント履歴全体を送るな。最も安いトークンは、システムが送らないトークンだ。

支出を健全性シグナルにする

リクエストあたりコストだけでなく、成功成果あたりコストを追跡しろ。ユーザーが5回リトライする安いエンドポイントは安くない。財務指標をプロダクト分析につなぎ、支出がリテンション、コンバージョン、サポート回避を買っているかをチームが見られるようにしろ。

持続可能なAIプロダクトは、モデル支出をアーキテクチャパラメータとして扱う。予算が見えると、トラフィックが小さいままだと願う代わりに、より良いシステムを発明する。