Nova Premier и миллион токенов: как не утонуть в контексте

Окно в 1M токенов у Nova Premier звучит как решение всех проблем: закинул весь корпус — и спрашивай. На практике так делать почти никогда не стоит. Большой контекст — это инструмент, а не режим по умолчанию, и у него есть цена и свои ловушки.

Что такое миллион на самом деле

Миллион токенов — это грубо 700–750 тысяч слов, то есть увесистая книга или пара сотен PDF-страниц. Premier способна держать это в одном запросе и работать с изображениями внутри того же контекста. Но три вещи важно понимать заранее:

• Вы платите за каждый входной токен. Забили окно под завязку на каждом вызове — получили счёт, пропорциональный этому объёму, помноженный на число запросов.
• Внимание не идеально. Даже у хороших моделей факт, спрятанный в середине огромного полотна, находится хуже, чем тот же факт в начале или в конце.
• Латентность растёт. Чем больше вход, тем дольше первый токен.

Когда большое окно оправдано

• Разовый анализ целого документа, где связи размазаны по всему тексту: договор с перекрёстными ссылками на пункты, длинный технический отчёт, кодовая база модуля.
• Мультимодальный разбор: текст плюс схемы, диаграммы, скриншоты в одном контексте.
• Задачи «найди все упоминания X и сведи», где заранее непонятно, где именно лежит нужное.

Когда лучше RAG

Если у вас база знаний, по которой идут сотни однотипных вопросов, набивать миллион токенов в каждый запрос — расточительство. Дешевле и точнее собрать RAG: разбить корпус на куски, проиндексировать эмбеддингами, доставать в контекст только релевантное. Тогда в Premier уходит не миллион токенов, а пять-десять тысяч по делу.

from openai import OpenAI
client = OpenAI(
    base_url="https://api.yenisei.ru/v1",
    api_key="YENISEI_KEY",
)
resp = client.chat.completions.create(
    model="nova-premier",
    messages=[
        {"role": "system", "content": "Отвечай строго по приложенным фрагментам. Если ответа нет — так и скажи."},
        {"role": "user", "content": f"Вопрос: {question}\n\nФрагменты:\n{retrieved_chunks}"},
    ],
)
print(resp.choices[0].message.content)

Практические приёмы

• Важное — по краям. Инструкцию и ключевой вопрос ставьте в начало и повторяйте в конце. Балласт — в середину.
• Просите ссылки на источник. «Укажи, из какого фрагмента взят факт» резко снижает выдумывание.
• Кэшируйте общую часть. Если системный промпт и справочник не меняются между запросами, выносите их так, чтобы не платить за них каждый раз.
• Измеряйте. Прогоните свою задачу на 50K и на 500K контекста и сравните качество. Часто разница меньше, чем разница в счёте.

Итожащая мысль без «в заключение»

Premier с её окном — это про задачи, где контекст физически не режется на части без потери смысла. Всё остальное дешевле и надёжнее решается связкой «эмбеддинги + аккуратная выборка + модель поменьше». Большое окно держите в резерве, а не включайте по привычке.