LLM-судья или проверка человеком: как оценить качество ответов без самообмана
Сравниваем автоматическую оценку моделью и экспертную проверку на одном наборе ответов: где экономится время, а где появляется смещение и ложная уверенность.
Искусственный интеллект · по-русски · каждый день
Новости, гайды и честные обзоры моделей. Собираем, переводим и объясняем то, что происходит в мире ИИ — понятным языком.
Сравниваем автоматическую оценку моделью и экспертную проверку на одном наборе ответов: где экономится время, а где появляется смещение и ложная уверенность.
Разбираем, как связать запрос пользователя, вызовы модели и инструменты в одной трассе, какие поля измерять и где логирование начинает угрожать приватности.
Сопоставляем два способа автоматизации по предсказуемости, исключениям, стоимости контроля и правам доступа — на примере обработки заявки, а не абстрактных обещаний.
В свежем alpha-релизе Stately Agent заметно не число функций, а работа с ответвлёнными журналами: проверяем, кому это помогает и какие риски остаются у экспериментального инструмента.
Собираем короткую, но полезную запись об агентном запуске: цель, доступы, вызовы инструментов, подтверждения и итог. Отдельно разбираем, что нельзя складывать в логи.
Новая корпоративная архитектура раскладывает контроль ИИ по четырём слоям — от платформы и данных до доступа и приложений. Разбираем, что это меняет для команды и чего не гарантирует.
Свежая версия локального движка добавила входные изображения для ряда GGUF-моделей. Показываем, зачем нужен отдельный mmproj-файл и как проверить, что сервер действительно видит картинку.
Сравниваем три маршрута поиска по корпоративным документам на примере номера договора, старого термина и вопроса без готового ответа. Показываем, что измерять перед внедрением.
Разбираем новую процедуру поиска в памяти агента: ограничения сеанса, проверку исходного фрагмента и разницу между найденной цитатой и разрешением действовать.
Составляем проверку почтового агента на ошибочный адрес, скрытую инструкцию в письме и неполные данные. Цель — понять, где нужен человек, до первой реальной отправки.
Новая исследовательская коллекция позволяет сравнивать, как языковая модель меняется в ходе обучения. Разбираем, что действительно открыто и кому полезны промежуточные версии.
Сопоставляем два устройства голосового помощника по задержке, контролю фактов, приватности и возможности прервать ответ. Живой голос сам по себе не делает систему надёжной.
Разбираем исследовательский прототип LitPivot: он связывает правку гипотезы с найденными статьями, но не доказывает новизну и не заменяет научного руководителя.
Диаграмма может красиво выглядеть и неверно показывать данные. Даём проверку по исходной таблице, шкале, подписям и смыслу, которую можно пройти перед показом клиенту.
В Ollama появилась генерация речи на Mac с Apple Silicon. Разбираем языки, форматы, лицензии и ограничения запуска, чтобы не принять анонс за универсальный голосовой сервис.