Драйверы стоимости инференса

Цена за миллион токенов складывается не случайно. Разберём главные драйверы.

🧠 Запомни: что дорого — вычисления, что дешево — повторное использование.

1. GPU и вычислительная мощность

Самый дорогой ресурс — время GPU. Чем больше модель и длиннее контекст, тем больше вычислений на запрос, тем выше цена. Именно поэтому «маленькие» модели стоят копейки в сравнении с гигантами.

2. Кэш и повторное использование

Если провайдер кэширует результаты похожих запросов, цена падает. Некоторые API фиксируют «кэш-хиты» — они дешевле обычных запросов. Чем больше повторяющихся задач у вас, тем ниже средняя стоимость.

3. Пиковый спрос и распределение

Цены колеблются во времени: в пик (вечер, рабочие часы) — дороже, в офпик — дешевле. Пакетные (batch) запросы почти всегда дешевле реального времени.

4. Политика провайдера и конкуренция

Вендоры пересматривают тарифы под конкуренцию. Следить за ценами недели (Sol, Terra, Luna) полезно, так как смена вендора может сэкономить бюджет.

⚠️ Ловушка: цена «за токен» обманчива. Считайте полную стоимость прогона: вход + выход + инструменты + ошибки + ретраи.

Итог

• GPU, спрос и политика вендоров формируют цену.
• Кэш-хиты и batch удешевляют прогоны.
• Считайте полную стоимость, а не цену за токен.