Больше ИИ-агентов — не значит лучше прогнозы
Исследования показали, что GPT-5 лучше других моделей предсказывает исходы, но до уровня опытных экспертов искусственному интеллекту далеко.
Для эксперимента собрали систему из ИИ-агентов, которая подбирала состав для фэнтезийной футбольной лиги и управляла им. Codex получил научные работы, а затем создал инструкции и код для анализа новостей, результатов матчей и прогнозных моделей. Отдельные агенты также проверяли предложения друг друга. Увеличение их числа до более чем 100 почти не улучшило рекомендации, зато повысило расходы на API.
Компьютерный специалист Чикагского университета Хайфэн Сюй считает, что новые модели лучше предсказывают события благодаря способности обрабатывать больше информации и координировать сложные системы. В его исследовании модели оценивали, например, победителя чемпионата NBA. Лучший результат показал GPT-5, за ним расположились Grok 4, Claude Sonnet, Gemini и Llama.
Сюй вместе с коллегами создал Prophet Arena — тест для оценки прогнозных способностей моделей. В другом эксперименте Prediction Arena моделям дали $10 000 для ставок на рынках прогнозов в течение 57 дней, однако они стабильно теряли деньги, хотя со временем улучшали результаты. При этом опытные люди-прогнозисты всё ещё опережают ИИ в понимании причин и контекста событий.
