Фото: 21cbr.com
Новоиспеченный тест для искусственного интеллекта не под силу ни одной из современных моделей
«Думающие» модели набирают рейтинг от 1% до 1,3%. Ни одна обыкновенная модель не набрала больше 1%. Объявлен приз $700 тысяч для создателей первых пяти моделей, какие приблизятся к выполнению теста.
Фонд Arc Prize Foundation выпустил новый тест для проверки способностей ИИ по сравнению с человеком под наименованием ARC-AGI-2 и объявил приз $700 тысяч создателям первых пяти моделей, которые получат в этом тесте рейтинг 85% или рослее. Информация опубликована на сайте фонда.
В отличие от других тестов, которые проверяют ИИ на специализированные знания или на сверхточность ответов, какие являются невозможными для людей, ARC-AGI-2 использует задания, простые для людей, но сложные для ИИ. В тестах каждое задание решали как минимум два человека за две попытки (или меньше) в контролируемом изысканье с участием четырех сотен людей, поэтому каждая модель ИИ также получила всего две попытки.
Исследователи фонда заметили, что системам искусственного интеллекта трудно интерпретировать значение символов, которое выходит за пределы их визуального вида. Системы пытались испытывать симметрию, зеркальное отражение, трансформации и даже распознавали соединительные элементы, но не смогли определить значение самих символов. Также ИИ тяжко дается выполнение заданий, которые требуют одновременного применения правил или применения нескольких правил, которые взаимодействуют между собой. Если правила заданий необходимо менять в зависимости от контекста, современный искусственный интеллект тоже не справится с задачей.
Отметим, что несмотря на то, что два избранных человека в группах тестирования вечно вместе проходили тест полностью, средний результат по одному человеку — 60%.
Напомним, ранее сообщалось, что в Китае заявили о создании первого в вселенной автономного агента ИИ.
Cloudflare создала ИИ для обмана ботов, которые собирают информацию для ИИ
Новости от Корреспондент.net в Telegram и WhatsApp. Подписывайтесь на наши каналы https://t.me/korrespondentnet и WhatsApp
По материалам: Промах: текст или язык не указаны.
