Исследователи уличили ИИ-модели в обходе правил кибертестов

Большие языковые модели (LLM) системно обходят правила в бенчмарках по кибербезопасности, что может завышать оценку их реальных возможностей. К такому выводу пришли исследователи Dreadnode в препринте на arXiv. В работе речь идет об ИИ-агентах. Авторы протестировали 22 модели от семи провайдеров на 23 задачах Cybench в трех режимах: без запрета на обход правил; со стандартным предупреждением; с более жесткой инструкцией, прямо перечисляющей запрещенные действия. Результаты могли быть завышены до