Google представила бенчмарк MKA для оценки ШИ-агентов по работе с визуальными данными

13.11.2026, 02:42 expert.com.ua

Компания Google, в сотрудничестве с Artificial Analysis, объявила о запуске нового бенчмарка под названием MKA (Multimodal Knowledge Agent). Этот инструмент предназначен для оценки способности искусственного интеллекта обрабатывать визуально сложные документы и выполнять задачи, типичные для интеллектуального труда.

Большинство существующих бенчмарков для проверки интеллектуальных агентов могут быть решены исключительно с помощью текстовой информации, игнорируя изображение или структуру страниц. Однако повседневная профессиональная деятельность часто включает работу с визуальными элементами: анализ архитектурных чертежей, инженерных схем, синтез данных для презентаций, отчетов и электронных таблиц. Именно для измерения эффективности ИИ в таких сценариях и был разработан MKA.

Для обеспечения реалистичности бенчмарка Google привлекла экспертов из 10 отраслей и 83 профессий, где работа визуально насыщена. Среди них – архитекторы, биологи, андеррайтеры и ученые по данным. Эти специалисты сформировали набор из 200 задач, отражающих многоэтапные проекты. Каждое задание содержит реалистичный запрос, набор мультимодальных входных файлов и подробный критерий оценки (рубрик) с примерно 70 пунктами «да/нет». Оценка включает фактическую точность (75%) и визуальный дизайн (25%).

Каждый агент проходит тестирование в одинаковых условиях – в открытой среде agent harness Stirrup, с использованием одинаковых инструментов, песочницы и ограничения количества обращений (turn budget). Оценку результатов выполняет автоматизированная система на базе модели, не принадлежащей Google. Эта система анализирует каждый файл, визуализирует странички, проверяет формулы в таблицах и сопоставляет результаты с экспертной рубрикой. Эксперты согласились с оценками автоматизированной системы в 96% случаев.

Для сохранения объективности результатов Artificial Analysis проводит тестирование на частном наборе из 200 задач, что предотвращает их попадание в обучающие данные моделей. Также выпущен отдельный набор из 10 публичных заданий на Hugging Face для ознакомления с форматом и тестированием собственных агентов.

Технический отчет содержит подробное описание методологии и результатов. Он показывает значительные отличия в производительности современных моделей: на одном и том же задании модели использовали от 30 до 130 обращений в среднем. Исследование подтверждает критическую важность развитых способностей восприятия изображений для успешного выполнения задач, а также демонстрирует, как модели пытаются, но часто не могут компенсировать отсутствие визуального анализа.

Модель Gemini 4 Carbon показала второй лучший результат по качеству среди протестированных моделей и обеспечила стоимость выполнения задач в 6 раз ниже по сравнению с лидером рейтинга.

Gemini 4 Carbon уже доступна через Gemini API в Google AI Studio. Для ознакомления с возможностями модели предоставляется обновленное руководство для разработчиков и документация.

джерело: Google

Читать полностью…