Исследователи Microsoft показывают, что агентов искусственного интеллекта можно обойти, отредактировав менее 10 нейронов

Исследователи Microsoft показали, что в модели ИИ можно создать скрытый лазейку, отредактировав менее 10 редко используемых нейронов без переобучения модели. Когда появляется выбранный триггер, модель выводит команду злоумышленника, которую агент, использующий эту модель, будет выполнять с собственными разрешениями агента. Злоумышленник должен иметь возможность изменять вес модели. Команда протестировала метод на

Оригинал на The Hacker News