"Инфобез, ИИ - значимые кейсы и уязвимости"
Актуальные кейсы и проблемы в области обеспечения информационной безопасности и искусственного интеллекта. Основное внимание уделено новым угрозам, связанным с использованием ИИ, и влиянию этих угроз на практику защиты информации.
Ключевые моменты и кейсы:
Злоупотребление инструментами ИИ:
Атаки через общедоступные модели (GPT, Cloud, Microsoft Copilot) для получения доступа к данным или платформам.
Пример: использование Salesforce Einstein для перенаправления данных клиентов.
Prompt log (Ransomware 3.0):
Агенты, взаимодействующие с локальными LLM для генерации вредоносного ПО.
Высокий потенциал для атак внутри компаний, использующих локальные модели.
Slack IE:
Уязвимость в корпоративном мессенджере Slack, позволяющая получать данные из приватных каналов.
Проблема в недооценке угрозы и расширение уязвимости после обновлений.
Атаки через посредника:
Использование вируса для эмуляции человеческих запросов к внутренним LLM.
Генерация запросов и получение ответов за пределы защищенного периметра.
Prompt-инъекции:
Злоупотребление для изменения поведения LLM при анализе данных.
Пример: сокрытие команд в изображениях или документах для обмана систем.
OSINT и анализ уязвимостей:
Использование инструментов ИИ для поиска информации и выявления уязвимостей в веб-ресурсах компаний.
Indirect Prompt Injection:
Фундаментальная проблема современных LLM: неспособность отличить текст от данных.
Примеры: атаки на веб-агентов, смещение в электронной коммерции.
Атаки на системы обнаружения вторжений (NIDS):
Взлом коммерческих систем на основе доступа к тренировочным данным.
Важность защиты информации о датасетах, используемых для обучения моделей.
Основные выводы:
Использование ИИ открывает новые векторы атак, требующие переосмысления подходов к защите.
Актуальны атаки через злоупотребление общедоступными моделями, prompt-инъекции и уязвимости в программном обеспечении.
Необходимо учитывать потенциальную угрозу от локальных LLM и атак через посредников.
Важно защищать информацию о тренировочных данных, используемых для обучения моделей.
Необходимо уделять внимание безопасности как при планировании использования генеративных компонентов, так и при осуществлении защиты периметров.
Сессия "ИИ в информационной безопасности и Инфобез в ИИ".
ХVIII конференция BIS SUMMIT 2025 – ключевое событие в сфере информационной безопасности в России. Организатор - ассоциация BISA при стратегическом партнерстве InfoWatch.
На протяжении многих лет BIS SUMMIT остается важнейшей площадкой, где объединяются регуляторы, лидеры и эксперты ИТ- и ИБ-отрасли, а в результате дискуссий формируются конкретные предложения для повышения уровня информационной безопасности страны.
Тема «Технологический суверенитет: новая эра ответственности» затронет ряд важных тем и острых вопросов: насколько государство и бизнес готовы к новым вызовам, какие следующие шаги планируются для повышения уровня технологической независимости и безопасности страны, как новые регуляторные требования влияют на ИТ- и ИБ-ландшафт в России.
