Главный риск ИИ — безопасность, уязвимости, риски, границы и практические меры внедрения

Конференция ЦИПР 2026, «Цифровая индустрия промышленной России». Организатор компания ООО «ОМГ».

ИИ уже выступает как новый, очень производительный инструмент поиска брешей в системах, а скорость поиска уязвимостей может опережать скорость их закрытия. Есть риск неправильного или вредоносного применения ИИ. Отдельно поднимается тема военных технологий, а также гражданского применения роботов, где критичны физическая безопасность и этическое взаимодействие с человеком.

Нужны гибкие правила и границы использования. Важны не только сами технологии, но и рамки применения, а также то, кого допускать к их установке и настройке и как готовить таких людей.ИИ влияет не только на процессы, но и на мышление людей. Отмечается риск утраты когнитивных способностей, снижения мотивации думать и делать что-то самостоятельно.

Генеративный ИИ уже заметно меняет научную и рабочую среду. Приводится пример: по данным детектора, на последней конференции у 30% работ было существенное количество сгенерированного текста; далее звучит прогноз, что через несколько лет большая часть значимых научных работ может быть сгенерирована. Есть риск подмены картины мира сгенерированными историями. Это может влиять на поведение, мировоззрение и на то, на каких данных будут расти следующие поколения.

Модельный риск нужно встроить в ежедневную работу. Рекомендуется добавить оценку модельного риска в обычный процесс проверки проектов, назначить ответственных и сделать это частью регулярной практики, иначе внедрение ИИ будет хаотичным и непредсказуемым.