Кейсы и события в области информационной безопасности и искусственного интеллекта
Обсуждались громкие кейсы и события в области информационной безопасности и искусственного интеллекта, включая злоупотребления инструментами ИИ, уязвимости в системах, таких как Slack, prompt-инъекции и атаки через посредника.
Были упомянуты следующие моменты:
Злоупотребление инструментами искусственного интеллекта, такими как OpenAI GPT и Microsoft Copilot, для получения доступа к данным или платформам.
Атаки prompt-log, использующие локальные LLM для разработки вредоносного программного обеспечения.
Уязвимость в Slack, позволяющая получать данные из приватных каналов через отравляющие скрипты.
Атаки типа prompt injection, когда злоумышленники манипулируют анализаторами изображений или документов, чтобы скрыть или исказить информацию.
Проникновение внутрь защищаемого периметра и самогенерация запросов к внутренним LM-моделям для получения конфиденциальной информации.
Проблема неразличения LLM текста от данных, приводящая к атакам типа indirect prompt injection.
Взлом системы обнаружения сетевых вторжений из-за публичного доступа к части тренировочного датасета.
Подчеркивается, что западная практика в области кибербезопасности с некоторым временным лагом приходит в Россию, поэтому важно учитывать ее при планировании защиты. Отмечается, что многие из описанных атак пока являются прототипами, но в перспективе могут стать реальными проблемами.
Сессия "ИИ в информационной безопасности и Инфобез в ИИ".
ХVIII конференция BIS SUMMIT 2025 – ключевое событие в сфере информационной безопасности в России. Организатор - ассоциация BISA при стратегическом партнерстве InfoWatch.
На протяжении многих лет BIS SUMMIT остается важнейшей площадкой, где объединяются регуляторы, лидеры и эксперты ИТ- и ИБ-отрасли, а в результате дискуссий формируются конкретные предложения для повышения уровня информационной безопасности страны.
Тема «Технологический суверенитет: новая эра ответственности» затронет ряд важных тем и острых вопросов: насколько государство и бизнес готовы к новым вызовам, какие следующие шаги планируются для повышения уровня технологической независимости и безопасности страны, как новые регуляторные требования влияют на ИТ- и ИБ-ландшафт в России.
