Yapay Zeka Ürünleri için Maliyet Bilinçli Mimari

Birim ekonomisi tasarım belgesine aittir

On kullanıcıyı memnun edip on bin kullanıcıda şirketi batıran bir yapay zeka özelliği bitmiş bir tasarım değildir. İstek başına token, beklenen eşzamanlılık, önbellek isabet oranı, değerlendirme yükü ve müşterilerin sonuç için ödeme isteğini tahmin edin. Bu sayılar lansmandan önce model seçimini ve etkileşim tasarımını etkilemelidir.

Maliyet bilinci ucuzlukla aynı şey değildir. Bazı iş akışları pahalı bir modeli hak eder çünkü alternatif insan emeği veya kayıp gelirdir. Mühendislik görevi, kalitenin kaldıraç yarattığı yerde bilinçli harcamak ve yaratmadığı yerde harcamayı reddetmektir.

İşi zorluğa göre yönlendirin

Her istek mevcut en güçlü modeli gerektirmez. Görevleri risk ve belirsizliğe göre sınıflandırın. Deterministik çıkarma, sınıflandırma ve biçimlendirme çoğu zaman daha küçük modelleri veya klasik yazılımı kullanabilir. Açık uçlu sentez, planlama ve yüksek riskli tavsiye, daha sıkı korumalarla daha güçlü bir modeli haklı kılabilir.

Yönlendirme açık ve ölçülebilir olmalıdır. Kaliteyi, gecikmeyi ve maliyeti rota bazında izleyin. Yalnızca güven düşük olduğunda yükselten bir kaskad, deneyimi korurken ortalama isteği uygun maliyetli tutar.

• Kararlı retrieval ve tekrarlanan promptları önbelleğe alın
• Yeniden denemeleri azaltan yapılandırılmış çıktıları tercih edin
• Değerlendirme koşularını üretim trafiği gibi bütçeleyin
• Faturalar gelmeden maliyet alarmlarını görünür kılın

Ürün biçimi faturayı değiştirir

Uzun denemeleri akışla sunmak pahalıdır. Kısa yapılandırılmış öneriler istemek daha ucuzdur ve çoğu zaman daha yararlıdır. Arayüz kararları—modele ne zaman çağrı yapılacağı, ne kadar geçmiş gönderileceği, yeniden üretim yapılıp yapılmayacağı—UX seçimleri kadar maliyet kontrolüdür.

Çevrimdışı işi toplu işleyin, sık yanıtları önceden hesaplayın ve küçük ilgili bir dilim yeterliyken tüm hesap geçmişini göndermekten kaçının. En ucuz token, sistemin hiç göndermediği tokendir.

Harcamayı bir sağlık sinyali yapın

Yalnızca istek başına maliyeti değil, başarılı sonuç başına maliyeti izleyin. Kullanıcıların beş kez yeniden denediği ucuz bir uç nokta ucuz değildir. Finans metriklerini ürün analitiğine bağlayın ki ekipler harcamanın elde tutma, dönüşüm veya destek sapması satın alıp almadığını görsün.

Sürdürülebilir yapay zeka ürünleri model harcamasını mimari bir parametre olarak ele alır. Bütçe görünür olduğunda ekipler trafiğin küçük kalmasını ummak yerine daha iyi sistemler icat eder.