Дарио Амодеи, сооснователь и генеральный директор компании Anthropic, опубликовал программное эссе под названием «Политика в эпоху экспоненциального развития ИИ». В этом материале он призывает правительства внедрить систему строгого надзора за выпуском мощных моделей искусственного интеллекта. Амодеи сравнивает современную индустрию ИИ с коммерческой авиацией, где безопасность полетов гарантируется стандартами, за соблюдением которых следит Федеральное управление гражданской авиации США (FAA).
Содержание
Новые стратегии безопасности и технологические релизы
Одновременно с публикацией эссе компания Anthropic представила две масштабные дорожные карты. Первая — «Система продвинутого ИИ» — направлена на предотвращение катастрофических рисков, связанных с использованием нейросетей. Вторая касается экономической политики и стратегии адаптации рынка труда к изменениям, вызванным автоматизацией. На реализацию этих инициатив компания выделила 350 миллионов долларов.
Заявление совпало с выходом новой флагманской модели Claude Fable 5, которую в компании называют самой мощной в своей истории. Также была представлена обновленная версия базовой системы — Claude Mythos 5. Данная модель обладает расширенными возможностями в сфере кибербезопасности, включая функции как для защиты, так и для анализа уязвимостей информационных систем.
Обязательное тестирование и пороги мощности
В эссе предлагается ввести обязательное стороннее тестирование для всех моделей, при создании которых используется более 10 в 25-й степени операций с плавающей запятой (FLOPs). Аналогичные требования предлагается применять к компаниям, чья выручка в сфере ИИ превышает 500 миллионов долларов или чьи расходы на исследования и разработки составляют более 1 миллиарда долларов.
- Модели ИИ должны проходить обязательный технический аудит перед релизом.
- Государственные органы должны получить полномочия блокировать или откладывать запуск систем, если они не соответствуют стандартам безопасности.
- Регуляторы смогут отзывать лицензии на эксплуатацию уже выпущенных моделей, если в ходе использования будут обнаружены критические угрозы.
По мнению экспертов, такие меры необходимы из-за растущих рисков в биологической и киберсфере, а также потенциальной автономности будущих систем ИИ.
Кибербезопасность как критическая инфраструктура
В обзоре отмечается, что современные ИИ-системы уже способны находить серьезные уязвимости в популярных операционных системах. В связи с этим защита «весов» моделей (их внутренних параметров) становится вопросом национальной безопасности. Разработчики будут обязаны защищать свои серверы от внешних кибератак и внутренних угроз.
Кроме того, в Anthropic настаивают на создании механизмов для предотвращения «дистилляции моделей». Это процесс, при котором злоумышленники или конкуренты используют данные основной нейросети для обучения более дешевых и менее контролируемых клонов.
Риски на рынке труда и социальные гарантии
В Anthropic открыто признают, что в случае достижения прогнозируемых мощностей ИИ может стать полноценной заменой человеческому труду, а не просто инструментом повышения производительности. Компания рассматривает сценарии, при которых автоматизация может привести к росту безработицы до 5–10% или даже более высоких показателей.
Для смягчения последствий предлагается ряд мер экономической поддержки:
- Внедрение программ страхования заработной платы.
- Рассмотрение концепции безусловного базового дохода.
- Создание государственных суверенных фондов для распределения прибыли от технологий.
- Введение налоговых льгот для компаний, которые инвестируют в переобучение и сохранение сотрудников вместо их сокращения.
Рекомендации для бизнеса и ИТ-директоров
Согласно выводам обозревателей, эпоха бесконтрольного развития генеративного ИИ подходит к концу. Технологическим лидерам рекомендуется диверсифицировать используемые инструменты. Использование мультимодельной архитектуры поможет избежать операционного паралича, если модель одного из поставщиков будет внезапно заблокирована или отозвана регулятором.
Также предприятиям следует повысить стандарты безопасности при работе с ИИ-инфраструктурой до уровня критически важных систем. В сфере управления персоналом эксперты советуют заранее разрабатывать планы по трансформации рабочих мест, чтобы избежать конфликтов с будущим законодательством о защите занятости.