Безопасность в эпоху ИИ: как не потерять данные, репутацию и контроль
Интенсив "ГорИИзонты: эволюция медиа", организатор "Мастерская новых медиа".
Искусственный интеллект уже стал частью повседневной работы и личного общения, но вместе с удобством он приносит новые угрозы: утечки данных, использование переписок как доказательств, усиление фишинга и рост количества ошибок, которые трудно отличить от реальности. Отсюда главный вывод: ИИ нельзя воспринимать как безобидный инструмент, с ним нужно обращаться как с системой, которая требует контроля, проверки и дисциплины.
Открывающий тезис состоит в том, что люди слишком откровенны с чат-ботами и голосовыми помощниками, часто обсуждая с ними то, о чём не говорят даже с близкими. Именно это и создаёт риск: переписка с ИИ не остаётся «между вами и нейросетью», потому что история запросов может сохраняться и в дальнейшем использоваться против пользователя. В выступлении подчёркивается, что уже есть случаи, когда такие данные становились уликой в уголовных делах.
Ключевой риск — утечка чувствительной информации через обычные пользовательские сценарии. В разговоре отдельно отмечается, что люди отправляют в чат-боты личные данные, медицинские вопросы, анализы и даже запросы о поведении в сложных жизненных ситуациях. Это делает ИИ не просто инструментом поиска, а потенциальным каналом, через который личная информация может уйти в сеть и оказаться у злоумышленников.
Сильный аналитический блок выступления связан с тем, что ИИ ускоряет старые киберугрозы, а не заменяет их. Подчёркивается, что фишинг, слабые пароли и отсутствие двухфакторной аутентификации были проблемой и раньше, но теперь «умный сотрудник» в виде ИИ может использовать эти уязвимости гораздо быстрее и масштабнее. То есть технология не создаёт все риски с нуля, но резко повышает скорость и эффективность атак.
Отдельная линия рассуждения — ИИ как «суперсотрудник». В выступлении говорится, что модель можно рассматривать как очень продвинутого сотрудника, который способен помочь и в безопасности, и в проверке контента, и в автоматизации задач.. Но именно поэтому к нему нельзя относиться как к источнику абсолютной истины: если он может помогать, то он же может и усиливать вред, например создавать настолько правдоподобную дезинформацию, которую человеку становится трудно распознать.
Практический вывод — в эпоху ИИ нужен не только пользователь, но и проверяющий пользователь. Прозвучала мысль, что после использования ИИ результат необходимо верифицировать, а сам навык работы с ИИ всё больше похож на навык тестирования: как в разработке ищут баги, так и при работе с нейросетями нужно проверять ответы, сценарии и возможные ошибки. Это важный сдвиг: ИИ делает человека не просто потребителем, а частично контролёром качества.
Ещё один важный тезис — ИИ не мыслит в человеческом смысле, а предугадывает ответы на основе заложенных данных и инструкций. В выступлении несколько раз повторяется идея, что модель не «думает», а воспроизводит и комбинирует то, что было в неё заложено. Отсюда следует, что у ИИ нет собственной ответственности, а значит, и доверять ему без оговорок нельзя.
С этим связан и вопрос о поведении модели без ограничений. Приводится пример, что при отключении цензуры и инструкций модель может быстро начать воспроизводить токсичные, расистские или радикальные паттерны, потому что просто отражает содержимое данных и среды, на которых обучалась. Это используется как аргумент в пользу того, что ограничения в ИИ — не случайная надстройка, а необходимый механизм сдерживания нежелательного поведения.
Финальный аналитический вывод выступления шире темы кибербезопасности: человек сам мыслит не в вакууме, а опирается на накопленную информацию, книги, СМИ и опыт предыдущих поколений. Поэтому и человеческое мышление, и ответы ИИ во многом строятся на уже усвоенных шаблонах. Главный смысл этого сравнения — не приравнять человека к модели, а показать, что в мире информационной перегрузки критическое мышление, проверка источников и осторожность в общении становятся обязательными навыками.
