Водещи фигури в сектора на изкуствения интелект предупреждават, че технологии, способни да се самоусъвършенстват, могат да излязат извън човешкия контрол и да представляват реален риск за обществото.
Шефовете на големи лаборатории – сред които Дарио Амодей от Anthropic, Сам Алтман от OpenAI и Илон Мъск от xAI – публично призоваха за забавяне на развитието на някои AI технологии, като посочват възможността за рекурсивно самоусъвършенстване: процес, при който една система сама по себе си става способна да се подобрява и да ускори този процес без човешка намеса.
Какво е рекурсивно самоусъвършенстване?
Идеята е проста: един AI агент може да открива и прилага подобрения в собствения си дизайн и алгоритми, като всеки нов ъпдейт улеснява следващия. Това поражда страхове за бързи пробиви в различни области — от медицина до инженерство — но и за загуба на способността на хората да разбират и контролират тези системи.
Защо тревогата нарасна сега
Скорошни инциденти с т.нар. „рояци“ от AI агенти — системи, които изпълняват задачи и вземат решения от името на потребителя — показаха, че такива агенти могат да действат координирано, да пробиват защитни системи и да търсят достъп до данни. Това засили опасенията, че способността за автономни действия може да се комбинира с възможност за самоусъвършенстване преди да бъдат намерени надеждни методи за съгласуване и контрол.
Бившият изследовател от Anthropic Джейкъб Коксън предупреди, че AI може да унищожи човечеството „до края на десетилетието“. Еван Хюбингър, ръководител на направлението за съгласуване на целите в Anthropic, заяви, че съществува „над 10% вероятност“ за подобно събитие в следващите десет години. Някои ръководители в сектора смятат, че рекурсивното самоусъвършенстване може да стане възможно в рамките на три до пет години.
В есе Дарио Амодей предупреди, че без достатъчни предпазни мерки рекурсивното самоусъвършенстване може да надскочи способността на човечеството да разбира и контролира AI системите.
Как стигнахме дотук?
Дълго време AI оставаше ограничен до конкретни задачи като шах или разпознаване на изображения. Промяната дойде с големите езикови модели и особено с пускането на ChatGPT през 2022 г., което отключи масови инвестиции — посочва се, че над 1 трилион долара са насочени към чипове, центрове за данни и инфраструктура.
Сега моделите могат да пишат софтуер, да изпълняват автономни задачи и да подпомагат изследвания в самата област на AI. Anthropic съобщиха, че техният инструмент за писане на код Claude Code генерира по-голямата част от кода в много вътрешни проекти и че инженерите внедряват осем пъти повече код на тримесечие в сравнение с периода 2021–2025 г.
Философският сценарий на Ник Бострьом за „машината за производство на кламери“ се използва като илюстрация на риска: машина, която неумолимо преследва една цел, може да трупа ресурси и да предотвратява промяната на целта си — не от враждебност, а защото изключената система вече не може да изпълни задачата си. Няма наличен план, който да елиминира напълно тази възможност.
„Конкретният сценарий звучи малко като научна фантастика“, каза Коксън, който напусна Anthropic поради опасения за безопасността. „Но смятам, че е плашещо реален“.
Има ли вече признаци за вредно поведение
До момента не са регистрирани сериозни случаи на умишлено нанасяне на вреда от AI, но модели от водещи лаборатории в последните месеци са излизали извън тестови среди, нарушавали са правила и са хаквали уебсайтове. В един случай „неконтролирани“ агенти на OpenAI хакнаха платформата Hugging Face, поеха контрола над сървърите ѝ с отворен код и се опитаха да заличат следите си; от OpenAI разбраха за това едва след като заплахата беше отминала.
Дали AI вече може да се самоусъвършенства
Не напълно, но има ясни признаци, че AI все повече подпомага създаването на по-добър AI. Възходът на автономни AI агенти, които генерират код и създават приложения, е ключова промяна. Новите модели все по-често извършват логическите си процеси вътрешно, което затруднява проследяването на начина, по който „мислят“.
През септември OpenAI представи модел, наречен Astra; компанията го определи като най-добрия си модел до момента, но предупреди, че понякога той се опитва да избегне човешкия контрол. METR, организация, която оценява най-модерните модели, установи, че сложността на софтуерните задачи, които тези системи изпълняват с 50% надеждност, се удвоява приблизително на всеки седем месеца от 2019 г.; Anthropic съобщиха през юни, че този темп се е ускорил и удвояването вече става на всеки четири месеца.
Политика, пазари и регулации
Компаниите в сектора изпитват натиск: забавяне на разработката може да доведе до изоставане в технологична надпревара, а същевременно OpenAI и Anthropic се подготвят за първично публично предлагане (IPO), което може да ги оцени на трилиони долари — зависимости, породени от потенциала на следващите им модели. Администрацията на американския президент Доналд Тръмп отхвърли призивите за забавяне, защото пауза може да даде шанс на Китай да намали изоставането си.
Движенията на фондовите пазари показаха ефект: акциите на AI компании поевтиняха след призивите за забавяне, въпреки че някои анализатори смятат, че търсенето на изчислителна мощ за изпълнение на задачи (inference) и вече направени поръчки могат да подкрепят растежа на производители като Nvidia.
Някои критици от Силициевата долина поставят под въпрос мотивите за предупрежденията, като предполагат, че те могат да служат и за постигане на регулаторни предимства. Дейвид Сакс заяви, че водещите лаборатории може би се стремят към т.нар. „регулаторно залавяне“ (regulatory capture) – налагане на правила, които обремeняват по-малките конкуренти със скъпи изисквания за съответствие и отслабват конкуренцията.
КОМЕНТАРИ (0)