OpenAI представила LifeVal: почему ответ ИИ теперь оценивают по завершённому делу
Подобрать три детских сада поблизости — не то же самое, что написать красивый ответ на вопрос о детских садах. Нужны адреса, условия приёма, расстояние, документы и два-три решения, которые остаются за родителем. На этом различии построена опубликованная 2 ноября оценка LifeVal. OpenAI предлагает смотреть на помощь ИИ в повседневных делах, где пользователь ждёт проверяемого результата, а не убедительной беседы.
Как составили набор задач
Команда опиралась на американское и международное исследования использования времени, а затем опросила 3995 человек о делах, в которых они хотели бы помощи. В набор вошли уход за близкими, образование, домашние документы, личные финансы, покупки и получение государственных услуг. Это не список абстрактных экзаменационных вопросов: примером служит поиск подходящего детского сада после переезда с подготовкой вариантов для семейного решения.
В опубликованных примерах есть высокие проценты выполнения отдельных сценариев. Но это показатели выбранных заданий в исследовательской обстановке, а не гарантия, что конкретный пользователь получит правильный адрес, свободное место или готовую заявку в своём городе. Доступность сайтов, правила приёма и согласие человека на действие меняют результат. Для сравнения с обычной проверкой текстовых ответов полезен наш гайд по проверке фактов: в LifeVal нужно дополнительно проверять совершённые шаги.
Где проходит граница самостоятельности
Удобный помощник может собрать таблицу вариантов и показать, какие условия не подтверждены. Он не должен выдавать черновик за принятую заявку, оплачивать услугу без подтверждения или выбирать медицинское решение вместо семьи. Особенно осторожно стоит относиться к сценариям, где данные о ребёнке, здоровье либо финансах передаются стороннему сервису. Прежде чем разрешать браузерные действия, разделите этапы на поиск, подготовку и действие с последствиями. Последний этап оставьте на явное подтверждение человека.
Для собственного теста возьмите одну реальную задачу и запишите ожидаемый выход: список вариантов с датой проверки, ссылку на официальную процедуру, список недостающих сведений и место для решения пользователя. Не начисляйте балл только за плавный текст. Проверьте, можно ли воспроизвести каждый факт и выяснить, что агент не сделал. Метод такого испытания разбираем в практическом гайде. Если задача затрагивает смену модели, сохраняйте одну и ту же выборку, как в проверке модели на рабочих примерах.
Что LifeVal пока не доказывает
Публикация показывает исследовательское направление и примеры, но не подтверждает одинаковое качество для русского языка, российских государственных процедур и всех доступных тарифов ChatGPT. Полный путь от рекомендации до успешной записи зависит от внешних сервисов, их доступности и согласия пользователя. Поэтому корректный вывод скромнее рекламного: полезность ИИ следует измерять исходом дела и ценой исправления ошибки, а не длиной ответа.
LifeVal — новая модель? Нет, это оценка задач. Можно ли использовать её проценты как вероятность успеха своего запроса? Нет, цифры относятся к конкретным испытаниям. Что проверить в первую очередь? Факт завершения действия, подтверждающий документ или статус и возможность остановить ошибочный шаг.