ИИ в чат-ботах допустили 88% ошибок в сложных финансовых задачах

Недавнее исследование, проведенное компанией Saturn, показало, что популярные чат-боты, такие как ChatGPT, Claude, Copilot, Grok и Gemini, в среднем дали неверные ответы на 57% финансовых запросов. В ходе тестирования 18 моделей на 121 вопросе было получено более 10 000 ответов. Особенно тревожной стала ситуация с более сложными задачами, где процент ошибок достиг 88%, а отдельные модели показали даже 99% неверных ответов. Лидером в этом тестировании стала модель Claude Opus 5, которая, несмотря на свои достижения, все равно ошибалась в 39% случаев.

Это исследование имеет важное значение для рынка финансовых технологий и использования ИИ в этой области. Пользователи и компании должны понимать, что, несмотря на высокие технологии, ИИ все еще далеки от идеала, особенно в сложных ситуациях, требующих точных расчетов. Ошибки, которые могут возникнуть при использовании чат-ботов для финансовых советов, могут привести к серьезным последствиям, включая неправильные налоговые расчеты и неэффективные инвестиционные решения.

Дальнейшие шаги в этой области могут включать улучшение алгоритмов и обучение моделей на более качественных данных. Исследователи и разработчики должны сосредоточиться на минимизации ошибок, особенно в задачах с высоким риском. Возможно, потребуется больше времени для тестирования и адаптации технологий перед их массовым внедрением в финансовый сектор.

Пока что пользователям следует проявлять осторожность при использовании ИИ для принятия финансовых решений. Хотя технологии развиваются, их недостатки могут привести к нежелательным последствиям. Финансовым профессионалам стоит также учитывать результаты подобных исследований при выборе инструментов для работы.