Исследователи из Университета искусственного интеллекта имени Мохаммеда бен Заида (MBZUAI) представили революционный метод под названием DP-Fusion. Он разработан для устранения критической уязвимости в сфере искусственного интеллекта — случайной утечки конфиденциальной информации во время живого взаимодействия с моделью.
Представленный на престижной конференции ICLR 2026 в Рио-де-Жанейро, DP-Fusion решает растущие проблемы безопасности, с которыми сталкиваются отрасли, полагающиеся на большие языковые модели (LLM) для обработки строго регулируемых данных.
Проблема: «Пробел в приватности» на этапе инференса
В то время как научное сообщество в основном сосредоточено на защите данных во время фазы обучения ИИ, серьезная брешь в безопасности сохраняется на этапе инференса (вывода) — стадии, когда пользователь непосредственно взаимодействует с работающей моделью.
По мере того как генеративный ИИ превращается из экспериментального инструмента в важнейшую инфраструктуру, его внедряют в критически важных средах, включая:
— Здравоохранение: анализ медицинских карт пациентов.
— Финансы: обработка частных транзакций и данных клиентов.
— Государственный сектор: работа с секретной или конфиденциальной документацией.
В таких условиях модель может непреднамеренно «слить» частные детали через свои ответы. Существующие методы предотвращения этого, такие как очистка или перефразирование текста, не имеют формального математического доказательства безопасности, что оставляет организации уязвимыми перед изощренными методами извлечения данных.
Как работает DP-Fusion: Математический щит
DP-Fusion отличается тем, что предлагает математически доказуемые гарантии приватности на уровне отдельных токенов. Вместо того чтобы просто пытаться скрыть слова, метод использует сложный четырехэтапный процесс, обеспечивающий конфиденциальность без ущерба для «интеллекта» ИИ:
- Идентификация: чувствительные токены (единицы информации) во входных данных помечаются.
- Создание базового уровня: модель запускается без этих чувствительных токенов для создания «нейтрального» эталона.
- Контекстная обработка: модель запускается повторно, уже с учетом чувствительных токенов.
- Смешивание распределений: система объединяет два результата таким образом, чтобы итоговый ответ оставался математически ограниченным базовым уровнем.
Это гарантирует, что конфиденциальная информация эффективно скрыта в выходных данных, в то время как способность ИИ давать связные и полезные ответы остается нетронутой.
Превосходная производительность и универсальность
Одним из самых значимых достижений DP-Fusion является способность решить проблему «компромисса между приватностью и полезностью». Обычно усиление защиты делает ответы ИИ менее связными (концепция, известная как перплексия или уровень неопределенности).
DP-Fusion достигает показателя перплексии в шесть раз ниже, чем конкурирующие методы защиты. Это означает, что система генерирует значительно более полезный и читаемый текст, сохраняя при этом более высокий уровень безопасности.
Кроме того, технология предлагает два ключевых преимущества:
— Настраиваемый контроль: операторы могут использовать один параметр для балансировки защиты. Установка значения на ноль обеспечивает максимальную приватность (полное скрытие токенов), в то время как более высокие значения позволяют повысить «полезность» или точность в зависимости от сценария использования.
— Двойная защита: рассматривая данные из ненадежных внешних источников как «чувствительные», DP-Fusion также выступает в роли защиты от инъекций промптов (prompt injection) и джейлбрейк-атак, оберегая модель от манипуляций со стороны злоумышленников.
Экономический и операционный контекст
Срочность этого исследования подчеркивается масштабами рынка ИИ. По данным McKinsey, на инференс ИИ будет приходиться более 40% всего спроса на мощности дата-центров, при этом ежегодный темп роста составляет 35%.
Поскольку прогнозируется, что глобальный рынок инференса ИИ достигнет от 250 до 350 миллиардов долларов к 2030 году, «поверхность атаки» — количество моментов, когда работающая модель соприкасается с реальными данными — растет экспоненциально. Поскольку инференс составляет до 90% общей стоимости жизненного цикла системы ИИ, обеспечение безопасности этого этапа — это не только вопрос приватности, но и вопрос долгосрочной операционной жизнеспособности всей мировой цифровой экономики.
Заключение
Предоставляя математически строгий способ защиты данных во время живого взаимодействия с ИИ, DP-Fusion прокладывает путь к безопасному внедрению генеративного ИИ в таких строго регулируемых секторах, как медицина и финансы. Это исследование знаменует собой важнейший переход от «вероятностной» приватности к «доказуемой» безопасности в эпоху масштабного развертывания искусственного интеллекта.
