Главная · Модули · Колибри
Модуль · меньше 1 МБ + своя модель

Когда надо подумать как следует

Модель на сотни гигабайт, которая не помещается в память целиком — и всё равно отвечает. На каждом шаге с диска читаются только те её знатоки, что понадобились.

огромные модели ход мысли видно работает на процессоре отдельное окно

Нужно рядом: Движок и модель кладутся вручную: самая маленькая весит 372 ГБ, в сборку она войти не может.

КОЛИБРИдолгое размышление
модель glm-5.2-int4 372 ГБ ход мысли: показывать
ВЫ
Разбери, почему снятие процесса у нас занимает минуту, и что с этим делать.
КОЛИБРИ думал 96 с
▸ ход мысли — 412 слов
Задержка не в жертве, а в самом инструменте: он одинаково долго думает и над именем, которого в системе нет вовсе.
Лечится прямым снятием через системный вызов. Там, где рядом стоит проверка готовности с ограничением по времени, старый способ применять нельзя вовсе.
● готов1.8 слова в секунду · в очереди 0
Подробности

Что внутри

Это не разговор, это разбор

Отвечает единицы слов в секунду. Задали вопрос — пошли заниматься другим, ответ соберётся минутами. Для быстрой беседы рядом есть обычный чат.

  • Ответ идёт потоком, ждать пустого экрана не придётся
  • Можно прервать в любой момент
  • Понадобится — спросите заново одной кнопкой

Ход мысли отделён от ответа

Модель сначала рассуждает, потом отвечает. Рассуждение убрано в свёрнутый блок: захотите — раскроете и увидите, как она пришла к выводу.

  • Настраивается вольность, отбор слов и предел ответа
  • Напутствие модели задаётся своими словами
  • До четырёх слов, на которых ответ обрывается
Рядом

Другие модули

Каждый ставится и убирается отдельно.

Забрать модуль «Колибри»

Сначала Лина — 187 МБ. Потом распакуйте этот архив поверх её папки: модуль появится сам, порядок не важен. Не нужен — удалите папку, и он исчезнет вместе с кнопкой.

Windows 10 и 11 · без установки · без учётной записи