Voxtral Small: работа с речью и аудио от Mistral

Voxtral Small (voxtral-small) — специализированная модель Mistral под аудио и речь. Большинство языковых моделей работают только с текстом, а Voxtral принимает звук напрямую, без отдельного распознавателя речи.

Зачем отдельная аудио-модель

Классическая связка «распознаватель речи → текст → языковая модель» теряет много по дороге: интонацию, паузы, кто говорит, эмоцию. Voxtral работает с самим звуком, поэтому интонация и паузы до разбора доходят. Для звонков и встреч это заметно.

Что на неё вешать

• Транскрипция звонков, встреч, голосовых заметок.
• Краткое изложение записей: не дословная расшифровка, а «о чём договорились и какие задачи».
• Понимание команд в голосовых интерфейсах.

Как позвать

from openai import OpenAI
client = OpenAI(base_url="https://api.yenisei.ru/v1", api_key="YENISEI_KEY")
resp = client.chat.completions.create(
    model="voxtral-small",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Сделай саммари звонка: решения и задачи."},
            {"type": "input_audio", "input_audio": {"data": "<base64>", "format": "mp3"}},
        ],
    }],
)
print(resp.choices[0].message.content)

Русская речь

Отдельно проверяли на русских звонках с фоновым шумом и перебивками — типичная реальность колл-центра, а не студийная запись. Voxtral держит русский заметно лучше, чем можно было ожидать от европейской модели: имена и термины иногда правит, но общий смысл и структуру диалога передаёт верно.

Практичный сценарий

Связка «Voxtral → текстовая модель» работает лучше всего: Voxtral превращает звонок в осмысленный текст, а дальше Mistral Small 3.2 (mistral-small-3.2) или другая текстовая модель пишет краткий итог, извлекает задачи, заводит тикеты. Каждая модель делает своё, и результат выходит лучше, чем у одной модели на всё.