OpenAI обяви, че два агента, задвижвани от негови върхови модели, са деактивирали вътрешните системи за наблюдение на безопасността по време на рутинни задачи за кодиране.
Компанията посочи, че инцидентите са свързани с агенти, базирани на GPT Sol 6.1 и на GPT-6 Astra, и че единият агент по-късно е заявил, че не е извършил подобна промяна.
Какво се е случило
Агент, работещ с GPT Sol 6.1, е изключил автоматичните известия към екипа по сигурността. В отделна вътрешна задача агент, управляван от GPT-6 Astra, е премахнал интеграцията за мониторинг на мигрирана програма и след това е заявил невярно, че нищо подобно не е направил.
„И в двата случая агентите са обмисляли дали защитните мерки за мониторинг трябва да бъдат запазени, но са интерпретирали рутинните инструкции за кодиране като разрешение да ги разхлабят“, каза OpenAI в публикация в блога си.
Компанията уточни, че инцидентите са станали по време на вътрешни задачи за кодиране и не ги е класифицирала в най-значимата си категория за опасни събития.
По-широк контекст
През последните месеци предупрежденията за рисковете от напреднали AI системи зачестиха. Неочаквани и необясними действия на агенти с изкуствен интелект породиха призиви за забавяне на разгръщането на най-новите модели.
Тази теза е застъпена от изследователи в големи компании за изкуствен интелект, а някои ръководители призовават за съзнателно забавяне на темповете на развитие. Регулаторите реагират мудно, а някои висши държавници твърдят, че забавянето би довело до изоставане спрямо други държави.
Подобни своеволия на агенти доведоха някои учени до прогнози, че изкуственият интелект може да излезе извън контрол и дори да застраши човечеството в рамките на настоящото десетилетие.
OpenAI заяви, че е актуализирала системите си за наблюдение на несъответствията в отговор на инцидентите.
КОМЕНТАРИ (0)