ИИ породил все-таки всесильного хакера

Американская компания Anthropic, один из ведущих мировых разработчиков моделей ИИ, 7 апреля объявила о запуске проекта Glasswing, призванного предоставить избранным компаниям-партнерам закрытый доступ к ее новейшей разработке — Claude Mythos Preview. Специалисты вздрогнули

В пресс-релизе проект Glasswing описывается следующим образом: «Инициатива, объединяющая усилия Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, Linux Foundation, Microsoft, Nvidia и Palo Alto Networks с целью обеспечения безопасности наиболее важных программных продуктов в мире».
Если же сформулировать этот, казалось бы, относительно безобидно звучащий анонс немного иначе, то группа крупнейших американских технологических компаний (и примкнувшего к ним крупнейшего банка мира JPMorgan Chase) фактически объявила о запуске совместной программной инициативы, которая, как полагает целый ряд весьма серьезных комментаторов, представляет собой чуть ли не подобие «Манхэттенского проекта» в области кибербезопасности, непосредственно подпитываемого современными ИИ-технологиями.
Главным триггером, побудившим весьма разношерстную компанию титанов бизнеса объединиться в рамках этого проекта, стала последняя и пока еще не выпущенная для широкой общественности передовая ИИ-модель от Anthropic — Claude Mythos2 Preview, которая, как заявляют ее разработчики, «продемонстрировала суровую реальность: модели искусственного интеллекта достигли такого уровня навыков в области программирования, что могут превзойти всех, кроме самых опытных специалистов-людей, в поиске и практическом использовании различных уязвимостей ПО».
На предварительном этапе всем непосредственным участникам проекта будет выделено до 100 млн долларов в виде так называемых кредитов на использование (usage credits) Claude Mythos2 Preview. Кроме того, ограниченный доступ к модели получат более 40 «прочих организаций, занимающихся созданием или обслуживанием критически важной программной инфраструктуры».
Вообще говоря, на первый взгляд объявление о запуске проекта Glasswing можно было бы классифицировать как тщательно скоординированное его непосредственными участниками PR-действо, призванное в очередной раз «подкинуть угля в ИИ-топку», или, если чуть жестче, как создание элитного киберкартеля, который сможет заблокировать доступ передовым стартапам и другим активным игрокам в сфере ИИ-технологий, пока не включенным в круг избранных участников проекта Glasswing, к уникальным возможностям, предоставляемым новейшей «сверхумной» моделью от Anthropic.
Однако, по мнению многих экспертов в сфере ИИ-технологий, судя по всему, «это нечто гораздо более серьезное, чем гигантская корпоративная PR-фотосессия, призванная показать, что все [задействованные в проекте Glasswing компании] ответственно подходят к вопросам практического применения ИИ».
Так, в публикации Fortune констатируется, что «проект Glasswing —это очевидное свидетельство растущей обеспокоенности в лабораториях по искусственному интеллекту и в компаниях, занимающихся кибербезопасностью, а также среди государственных чиновников по поводу того, что мы вступаем в эпоху беспрецедентных и потенциально катастрофических угроз кибербезопасности, связанных с расширением возможностей современных моделей ИИ в области программирования».
Обозреватель The New York Times Томас Фридман отмечает, что «в преддверии этого заявления Anthropic представители ведущих технологических компаний вели закрытые переговоры с администрацией Трампа о возможных угрозах для безопасности Соединенных Штатов и всех других стран, которые используют различные уязвимые программные продукты… И весьма показательно, что среди партнеров проекта Glasswing есть и некоторые из непосредственных конкурентов Anthropic, поскольку ее новая ИИ-модель представляет собой скачкообразное улучшение производительности, которое имеет ряд чрезвычайно важных положительных и отрицательных последствий для кибербезопасности и национальной безопасности США».
В официальном заявлении Anthropic констатируется, что «обеспечение безопасности критически важных объектов инфраструктуры является одним из приоритетов национальной безопасности… Работа по защите мировой киберинфраструктуры может занять годы, тогда как передовые возможности искусственного интеллекта, скорее всего, значительно продвинутся вперед уже в течение ближайших нескольких месяцев. И чтобы специалисты по кибербезопасности смогли опередить ситуацию, нам нужно действовать прямо сейчас… Появление таких кибервозможностей — еще одна причина, по которой США и их союзники должны сохранять решающее лидерство в области технологий искусственного интеллекта».
И еще жестче высказался Элия Зайцев, технический директор CrowdStrike, одной из ведущих компаний в сфере обеспечения кибербезопасности (тоже вошедшей в число 12 избранных участников проекта Glasswing): «Промежуток времени между обнаружением уязвимости и ее использованием злоумышленником сократился до минимума. То, что раньше занимало месяцы, теперь с помощью ИИ происходит за считаные минуты».
Причем, несмотря на обостренное внимание ведущих СМИ к последней сверхмощной разработке Anthropic, прочие лидеры ИИ-гонки тоже, судя по всему, почти вплотную подошли к критическому барьеру.
В частности, как утверждается в публикации Axios (со ссылкой на анонимный источник внутри компании), OpenAI параллельно завершает разработку своей новой модели, «схожей по своим возможностям с Claude Mythos», которую она опять-таки планирует предоставить для предварительного тестирования лишь небольшому кругу избранных компаний в рамках своей программы Trusted Access for Cyber.
Потенциальное мощное оружие
На фоне многозначительных заявлений и тревожных комментариев в СМИ относительно разрушительного потенциала Claude Mythos еще одним весьма примечательным дополнением к этому ажиотажу, безусловно, выглядит и долгоиграющая история непростых взаимоотношений Anthropic с американским государством, о которой мы уже рассказывали в нашем журнале.
Еще около месяца назад правительство США, так и не сумев прийти к соглашению с руководством Anthropic относительно практического использования ее «убойных» ИИ-моделей в оборонной сфере, поскольку руководство компании в ходе этих консультаций упрямо напирало на необходимость следования «этическим принципам» при возможном использовании ее моделей в «немирных целях», фактически разругалось с компанией в пух и прах. По промежуточным итогам этих забуксовавших переговоров Белый дом официально признал Anthropic «источником риска для цепочки поставок» ключевых софтверных продуктов для различных госучреждений (прежде всего связанных с ВПК). Одним же из побочных следствий этого решения стало то, что всем оборонным подрядчикам было предписано прекратить дальнейшее применение продуктов Anthropic «во всех сферах, которые рассматриваются как имеющие отношение к государственными оборонным заказам».
Страшные находки Claude Mythos Preview
Новейшая модель Claude Mythos Preview2 оказалась настолько гениальным хакером, что IT-гигантам пришлось экстренно объединяться, чтобы попытаться заделать многочисленные «дыры в коде», пока подобные мощные ИИ-инструменты еще не попали «не в те руки».
Причем, как отмечает Anthropic в своих официальных комментариях, при создании последней модели Mythos Preview «не использовалось никаких специальных методов обучения в области кибербезопасности», то есть, иными словами, продвинутые возможности этой модели по части выявления различных критических уязвимостей в программном обеспечении оказались «побочным результатом тех же общих достижений в области программирования и логического мышления, которые определяют ее работу в других сферах и… свойства, помогающие ей устранять уязвимости, неотделимы от тех, которые можно использовать для их эксплуатации».
И, что также заслуживает отдельного уточнения, почти все эти выявленные бреши — и пути их возможного взлома — модель Anthropic обнаружила абсолютно автономно, без малейшего управления или подсказок со стороны человека.
Что же именно так напугало непосредственных разработчиков Mythos Preview, о самом существовании которой, к слову, широкой общественности стало известно лишь в конце марта этого года, после того как внезапно произошла утечка части ее внутренней программной документации?
Детализация «страшных находок» Claude Mythos Preview очевидно представляет интерес прежде всего для специалистов в сфере кибербезопасности и знатоков внутренней программной кухни. Однако стоит все же упомянуть наиболее примечательные «достижения» этой модели.
Вот три таких примера, приведенные разработчиками на срочно созданном интернет-сайте нового проекта Glasswing:
1. Mythos Preview раскопал критическую уязвимость 27-летней давности в OpenBSD. Эта операционная система исторически славится статусом одной из самых защищенных в мире — именно поэтому на ней строятся сетевые экраны (файрволы) и критически важная инфраструктура. Найденный моделью баг позволял потенциальному злоумышленнику удаленно «уронить» любую систему, построенную на этой ОС, просто в момент попытки к ней подключиться.
2. Модель обнаружила еще одну «древнюю», 16-летнюю брешь в FFmpeg — базовом компоненте, который используется в неисчислимом множестве программ по всему миру для кодирования и декодирования видео. Причем «самое жуткое» в этой конкретной находке заключалось в том, что выявленная ошибка скрывалась в строке кода, которую традиционные автоматические тесты «пробивали» пять миллионов раз, так ничего и не заметив.
3. Mythos Preview совершенно самостоятельно нашла и «сплела» воедино сразу несколько уязвимостей в ядре Linux — классическом программном обеспечении, на котором работает подавляющее большинство серверов на планете. Сами ее разработчики уточняют, что в данном случае модель выстроила так называемую цепочку эксплойтов. По отдельности эти баги могли казаться безобидными странностями кода. Но ИИ смог выстроить из них хитроумную комбинацию для «повышения привилегий». Это позволяет атакующему, имеющему права обычного, ограниченного пользователя, шаг за шагом захватить полный, абсолютный контроль над машиной.
Всю информацию о перечисленных выше критических уязвимостях создатели модели уже передали разработчикам соответствующих проектов, и, как уточняется на интернет-сайте проекта, «на данный момент они успешно закрыты патчами. Что же касается множества других найденных дыр в кодах, сегодня мы публикуем лишь их криптографические хеши (зашифрованную информацию в специализированном блоге Red Team. — “Стимул”). Мы раскроем суть этих уязвимостей только после того, как для них будут готовы соответствующие “заплатки”».
Новый мировой киберпорядок
Кратко подытоживая, еще раз сошлемся на весьма показательный, на наш взгляд, финальный блок обзора Томаса Фридмана в The New York Times. Ссылаясь в том числе на авторитетное мнение бывшего директора по исследованиям и стратегии Microsoft Крейга Манди, он заявляет следующее: «На наш взгляд, ни одна страна в мире не способна решить эту проблему в одиночку. Решение — и это может шокировать многих — должно начинаться с двух супердержав в области искусственного интеллекта: США и Китая. Сейчас крайне важно, чтобы они научились сотрудничать, дабы не допустить получения злоумышленниками доступа к кибервозможностям нового уровня.
Такой мощный инструмент станет угрозой для обеих стран, подвергнув их опасности как со стороны преступников внутри страны, так и террористических групп и других противников за рубежом. Это может легко превратиться в страшную угрозу для каждой из них, более серьезную, чем та, которую эти две страны представляют друг для друга… И это может стать столь же фундаментальным и значимым поворотным моментом, каким было появление концепции взаимного гарантированного уничтожения и необходимость обеспечения ядерного нераспространения».
По мнению Фридмана, «этот вопрос настолько важен и актуален, что он должен стать одним из приоритетных пунктов повестки дня предстоящего саммита между Дональдом Трампом и Си Цзиньпином, который состоится в Пекине в следующем месяце».

https://stimul.online/articles/innovatsii/ii-porodil-taki-vsesilnogo-khakera/

ИИ кибервзлом # кибервозможности уязвимость