Meta

Llama 3.1 8B

Компактная открытая Llama для лёгких задач

Текст

Инструменты

Тип: Чат
Контекст: 131K токенов
Русский язык: средний
Дата выхода: Июль 2024

Этой модели сейчас нет в каталоге.

chat/completions

import OpenAI from "openai"
const client = new OpenAI({
  baseURL: "https://api.yenisei.ru/v1",
  apiKey: process.env.YENISEI_API_KEY,
})
const stream = await client.chat.completions.create({
  model: "llama-3.1-8b",
  messages: [{ role: "user", content: "Привет!" }],
  stream: true,
})
for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "")
}

О модели

Llama 3.1 8B — компактная открытая модель Meta на 8B параметров, хорошо знакомая сообществу и широко распространённая. Она создана для лёгких задач и локальных сценариев, где важны скорость и экономичность. Модель уверенно ведёт типовые диалоги, генерирует и обрабатывает тексты, аккуратно следует инструкциям и поддерживает вызов инструментов для простых агентных сценариев. Открытые веса дают контроль над приватностью и удобство тонкой настройки под свои данные. Она многоязычна и держит русский на среднем уровне. Разумный выбор, когда нужна недорогая открытая модель для встраивания и экспериментов.