В поиске жилья можно поставить галочку «разрешены животные». А можно написать в поисковой строке:
Нужна квартира, куда можно сразу заехать с собакой. Работаю из дома, поэтому студия не подходит.
Человеку связь понятна, а у каталога уже есть подходящие фильтры:
- разрешены животные;
- количество комнат;
- сроки заселения
Дальше обычная программа отбирает объявления по базе. Длинный текстовый ответ от модели здесь не нужен — сервису требуется лишь перевести свободную формулировку человека в набор доступных условий поиска. Та же задача возникает при подборе вакансий, оборудования или исполнителей: пользователь описывает задачу словами, а система умеет искать по строгим полям.
Вокруг этой задачи построен Jev — модель компании TypeSafe AI для быстрых структурированных решений. Мне в этой истории интересно, что именно стоит за релизом: новая архитектура, способ обучения или сам подход к получению ответа от модели. Хочется разобраться, что здесь действительно нового и чем объясняются заявленные скорость и низкая стоимость.
Как эту задачу решали до Jev и почему это дорого
Пример с поиском жилья — не абстракция. Начиная с 2023 года компании массово встраивали такой перевод «человеческого текста в параметры системы» с помощью обычных генеративных LLM:
- Поиск по каталогам (Zillow, Booking.com, Instacart). Пользователь пишет запрос своими словами, а LLM через Function Calling или Structured Outputs собирает JSON-объект со строгими фильтрами (
property_type,amenities,price_max), который затем отправляется в обычный поисковый движок. - Запросы к данным и логам (Honeycomb Query Assistant). Инженер описывает проблему на естественном языке, а модель превращает фразу в структурированный запрос с полями
WHERE,GROUP BYи окном времени из доступной схемы телеметрии. - Маршрутизация и разметка на потоке (LinkedIn, Intercom, DoorDash). В службах поддержки и внутренних агентах модель на каждом шаге решает узкую задачу классификации: выбрать тему обращения, оценить срочность жалобы или определить, какой инструмент вызвать дальше.
Во всех этих случаях индустрия упиралась в одно и то же противоречие: приложению нужно короткое решение из закрытого списка, но получает оно его через пословную генерацию текста.
Обычная LLM генерирует ответ токен за токеном. Даже когда формат жёстко ограничен схемой, модель тратит время и вычисления на вывод скобок, ключей и знаков препинания, а приложение — на разбор ответа. Показательный пример — отчёт инженеров LinkedIn о разработке своего ИИ-ассистента: им пришлось заменить JSON на YAML в ответах модели просто ради того, чтобы она генерировала меньше скобок и кавычек — это экономило токены и снижало задержку. Другим командам на больших объёмах приходилось и вовсе отказываться от вызова LLM в рантайме и обучать под каждый фильтр отдельные классификаторы на базе BERT.
У Jev форма ответа задана заранее: выбранный вариант, вероятность или оценка по шкале. Вместо пословного вывода текста модель читает входной контекст один раз и за один проход оценивает все переданные вопросы. Программа сразу получает числа и выбранные ключи, а отказ от авторегрессии резко сокращает задержку и стоимость вычислений. Описание подхода TypeSafe.
Получаются две разные схемы работы:
Обычная LLM: запрос + схема → пословная генерация JSON → парсинг ответа → условие в коде
Модель решений: контекст + список вопросов → один проход (вероятности вариантов) → условие в коде
В независимом замере авторов открытого проекта Rev (о нём расскажу ниже) на запросе с 20 вопросами к одному тексту разница выглядит так:
| Показатель | LLM с генерацией текста | Jev |
|---|---|---|
| Время ответа | 5,10 с | 0,27 с |
| Стоимость одного решения, относительно Jev | 15× | 1× |
В этом тесте Jev оказался примерно в 19 раз быстрее и в 15 раз дешевле.
Как использовать Jev в программе
У Jev три типа вопросов:
- Noul — оценивает вероятность ответа «да» на заданный вопрос.
- Choice — выбирает один из заданных вариантов. Например, определяет тему обращения: «оплата», «доставка» или «возврат». Возвращает выбранный вариант и вероятность каждого варианта.
- Score — даёт числовую оценку по шкале с заранее описанными уровнями. Например, степень недовольства клиента: 0 — спокойно описывает проблему; 1 — раздражён, но вежлив; 2 — пишет гневную жалобу. Возвращает вероятность каждого уровня и среднюю оценку с учётом этих вероятностей.
Все три типа передавать не обязательно: каждый вопрос имеет свой тип, а в одном запросе можно сочетать любые из них. Для Choice задаются варианты ответа, для Score — уровни шкалы, для Noul достаточно сформулировать сам вопрос. Описание вопросов в API.
Вернёмся к примеру с поиском жилья. Это моя иллюстрация задачи, а не замер работы Jev, но на ней хорошо видно главное инженерное требование: чтобы модель правильно сопоставила фразу «студия не подходит» или «переезжаю с собакой» с фильтрами системы, одних технических имён полей (pets_allowed) недостаточно — каждому параметру нужно дать понятное описание. Для простых флагов («можно с животными», «готова к заселению») подойдёт Noul, а для выбора количества комнат — Choice.
Ниже — Python-фрагмент с вызовом TypeSafe SDK. Клиент client уже настроен, а catalog и filter_policy обозначают каталог и правила нашего приложения.
Обратите внимание на разделение ролей в коде: модель возвращает только вероятности по каждому вопросу, а пороговую логику определяет
filter_policyна стороне приложения (например: при вероятности> 0.8фильтр включается автоматически, в серой зоне0.4–0.8приложение переспрашивает пользователя, а ниже0.4— отбрасывает условие).
from typesafe_sdk import Choice, Noul
# Сообщение, которое пользователь написал в поиске.
user_text = "Нужна квартира, куда можно сразу заехать с собакой. Работаю из дома, поэтому студия не подходит."
# Доступные условия поиска: слева — название для программы, справа — описание для модели.
filter_descriptions = {
"pets_allowed": "Разрешено проживание с домашними животными",
"move_in_ready": "Квартира свободна и готова к заселению сейчас",
"furnished": "Квартира сдаётся с мебелью",
"parking": "Есть парковочное место",
"near_metro": "Метро в пешей доступности",
}
# Для каждого условия задаём одинаковый вопрос, меняя только описание.
questions = {}
for filter_id in filter_descriptions:
description = filter_descriptions[filter_id]
question = "Нужно ли применить это условие с учётом запроса пользователя? Условие: " + description
questions[filter_id] = Noul(instructions=question)
# Для количества комнат предлагаем готовые варианты ответа.
questions["rooms"] = Choice(
instructions="Какое требование к количеству комнат указал пользователь?",
criteria={
"any": "Количество комнат не указано",
"studio": "Студия",
"1": "Одна комната",
"2": "Две комнаты",
"3_plus": "Три комнаты или больше",
"non_studio": "Любое количество комнат, кроме студии",
"clarify": "Другое требование — нужно уточнение",
},
)
# Отправляем текст пользователя и все вопросы одним обращением к Jev.
response = client.system_one(
state=user_text,
questions=questions,
)
# Правила приложения определяют, достаточно ли ясны ответы для поиска.
if filter_policy.needs_clarification(response):
ask_user_to_clarify(response)
else:
# Выбираем фильтры, ищем объявления и показываем их пользователю.
selected_filters = filter_policy.select(response)
listings = catalog.search(selected_filters)
show_results(listings)
Все вопросы отправляются одним вызовом. В response.nouls приходят оценки бинарных условий, а в response.choices["rooms"] — распределение вероятностей по количеству комнат.
Модель сопоставляет текст с доступными фильтрами, а приложение задаёт пороги выбора и уточнения, обращается к базе и показывает результат. Если в каталоге появится новое условие, оно включится в ту же пакетную проверку без переписывания промпта под конкретную реплику.
Есть ли прорыв? Как open-source побил Jev за считанные дни
В анонсе Jev TypeSafe говорит о новой архитектуре, параллельном получении ответов и методе обучения Reinforcement Learning for Calibrated Decisions — RLCD. Но вскоре разработчики начали получать конкурентоспособные результаты гораздо более доступными способами: брать готовые открытые модели, менять способ чтения ответа и при необходимости дообучать их.
Самый показательный для меня пример — Rev. В первой версии описания от 22 сентября автор пишет, что один человек и два кодинг-агента собрали проект примерно за три дня. Основа — открытая модель Qwen с LoRA-дообучением и небольшой дополнительной частью сети (головой выбора), которая оценивает предложенные варианты.
В актуальном отчёте Rev опубликованы такие результаты на 975 отложенных вопросах:
| Модель | Точность | Медианное время ответа |
|---|---|---|
| Hosted Jev | 85,0% | 142 мс |
| Rev на Qwen3.5-4B | 87,7% | 37 мс |
| Rev на Qwen3.5-9B | 88,7% | 40 мс |
| Rev на Qwen3.8-27B | 92,0% | 75 мс |
Это измерения авторов Rev, а не мой эксперимент. Отрыв 4B по точности авторы считают пограничным с учётом погрешности оценки. Обучение 4B заняло 63 минуты, 9B — 33 минуты на одной B200; более низкую стоимость обслуживания они получили при полной загрузке GPU. На опубликованных workflow-вопросах самого Jev их первоначальный отчёт оставлял лидерство за Jev.
И всё же главный результат здесь вполне конкретный: компактные открытые модели обошли Jev на выбранном тесте, а работоспособную альтернативу удалось собрать за несколько дней.
SemIf показывает ещё более простой путь: читать оценки вариантов из готовой Qwen3.5-4B вообще без дообучения. Это доступная отправная точка для собственной реализации. Репозиторий SemIf.
На отдельном JevBench v1.6.1 открытые Quyet-1.0-Large и deck-31B также выше Jev 1.13.0 по Capability Score: 81,69 и 77,59 против 77,13. Это составная метрика качества, а не процент правильных ответов. Бенчмарк принадлежит Benchmark Heaven, а по его другой сводной метрике, Composite, Jev остаётся выше обеих моделей. Опубликованный срез JevBench.
Следующий шаг — сделать обучение таких моделей обычным рабочим инструментом. Unsloth уже предлагает готовый процесс для Qwen и Gemma: к языковой модели добавляется легковесная часть сети для оценки вариантов, после чего модель дообучается на примерах в формате «состояние → вопросы → правильные ответы».
В опубликованных результатах Unsloth точность Qwen3.5-0.8B на задаче typed-decisions выросла с 36% до 73%, Qwen3.5-2B — с 33% до 78%. Для Gemma 4 E4B авторы отдельно приводят 77% точности на тесте и 49 минут обучения. Прямого сравнения с Jev эта таблица не даёт, но показывает, что полезный результат достижим и на совсем компактных моделях, а сам способ обучения не привязан к одному семейству. Обучение decision models в Unsloth.
Это даёт прямой ответ на вопрос из начала статьи: главный выигрыш в скорости даёт не секретная созданная с нуля архитектура, а сам переход от пословной генерации к оценке вариантов за один проход, тогда как компактная голова выбора и дообучение нужны для точности и калибровки вероятностей.
О том, как именно это устроено внутри, будет отдельная подробная статья. В ней разберём прямое чтение логитов, устройство головы выбора и дообучение Qwen и Gemma под свою предметную область. Здесь для меня важен общий итог: Jev удалось обойти в конкретных сравнениях, а воспроизведение самого подхода оказалось доступно небольшим командам и отдельным разработчикам.
Microsoft тоже выпускает модель решений
9 октября 2026 года Microsoft представила Microsoft-Decision-1. В основе — Qwen3.5-9B, дообученная для оценки заранее заданных вариантов за один проход. Модель доступна через Foundry и OpenRouter. Microsoft заявляет лучшую точность в своём сравнении на 36 бенчмарках, охватывающих почти 150 тысяч вопросов. Это данные компании, а не независимый рейтинг. Анонс Microsoft-Decision-1.
Параллель с Jev прямая: приложение передаёт данные и допустимые ответы, модель возвращает оценки, а дальнейшее действие определяет код. С Unsloth и Rev сходство в другом: для специализированных решений берут существующую открытую языковую модель и дообучают её под нужное поведение.
Бизнес-применение Microsoft показывает на собственных командах. Xbox Research использовала Decision-1 для распределения более 10 тысяч отзывов по заранее заданным темам. По оценке компании, качество оказалось сопоставимо с GPT-6 Sol, а обработка — более чем в 14 раз быстрее и в 200 раз дешевле. Эти множители относятся к конкретному внутреннему сравнению. Пример Xbox Research в анонсе.
Для меня это сигнал, что вокруг таких моделей формируется коммерчески важное направление. У бизнеса много повторяющихся узких задач: распределить обращения, разметить отзывы, отобрать документы, выбрать маршрут для запроса. Экономия даже на одном небольшом решении становится заметной, когда таких решений миллионы.
Здесь сходятся три пути: готовый сервис Jev, собственная модель через открытые инструменты и предложение крупного поставщика вроде Microsoft. Релиз Microsoft усиливает аргумент в пользу экономического смысла подхода, но конкретная выгода для приложения зависит от его нагрузки и цены ошибки. Поэтому следующий вопрос уже практический: где такое решение окупится именно у нас?
Заключение
В Jev мне интересна идея сделать участие модели в программе небольшим, предсказуемым и явным. У неё есть конкретный вопрос, закрытый список вариантов и чёткое место в потоке выполнения.
В примере с поиском квартиры модель помогает перевести слова человека на язык условий каталога. Правила включения фильтров, работа с базой и поведение при пустой выдаче остаются видимыми в обычном коде. Это позволяет обсуждать, тестировать и чинить каждую часть отдельно.
Результаты открытых проектов вроде Rev и Unsloth и выход Microsoft-Decision-1 делают эту историю шире одного Jev. Появляется выбор между готовым облачным API и небольшой моделью, которую можно дообучить под собственные данные за час на одной видеокарте. Но начинать этот выбор всё равно придётся с проектирования самих вопросов и способа проверить качество ответов.
Модель оценивает смысл. Программа определяет, что делать с оценкой.
Эта граница не устраняет ошибки модели, но делает их место и последствия в системе гораздо понятнее.
Материалы
- Анонс System One и Jev от TypeSafe AI и документация примитивов (
Noul,Choice,Score) - Репозиторий Rev — открытая альтернатива на базе Qwen и LoRA
- Репозиторий SemIf — чтение оценок из готовой модели без дообучения
- Бенчмарк JevBench на Hugging Face
- Руководство Unsloth по обучению моделей решений
- Анонс Microsoft-Decision-1
