Лёгкая GLM для массового инференса

Долгое время лёгкой моделью Z.AI на каждый день была GLM 4.5 Air. В каталоге Yenisei её сменили GLM 5.3 Flash (glm-5.3-flash) и GLM 4.7 Flash (glm-4.7-flash). Задача у них та же: дёшево и быстро обрабатывать поток однотипных запросов.

Где она на своём месте

• Классификация. Разметить тикеты по категориям, определить тональность, отсортировать входящие. Лёгкая модель справляется, а стоит копейки.
• Маршрутизация. Использовать как «привратника»: быстро понять, сложный вопрос или простой, и решить, отдавать ли его дальше во флагман.
• Короткие ответы. FAQ-бот, автоответы, извлечение полей из текста.

Почему это выгодно

Типичная ошибка — гонять весь трафик через старшую модель «чтобы наверняка». На демо это работает, а в рабочей системе счёт удваивается на пустом месте. 80% запросов в реальном продукте — простые, и им хватает лёгкой модели.

from openai import OpenAI
client = OpenAI(base_url="https://api.yenisei.ru/v1", api_key="YENISEI_KEY")
resp = client.chat.completions.create(
    model="glm-5.3-flash",
    messages=[
        {"role": "system", "content": "Верни только категорию: billing, tech, sales."},
        {"role": "user", "content": "У меня не проходит оплата картой."},
    ],
)
print(resp.choices[0].message.content)  # billing

Честно о слабых местах

Сложные рассуждения лёгкой модели не по силам. Многоходовую логику, тонкий рефакторинг, разбор большого документа с выводами ей не поручайте — начнёт срезать углы. Для этого есть GLM 5.2 (glm-5.2) и GLM 5.3 (glm-5.3).

Правильный подход — каскад: лёгкая модель фильтрует и обрабатывает простое, сложное уходит выше. Так вы платите за дорогую модель только там, где она действительно нужна.