UsabilityLab: исследование ИИ-ботов в банках, доверие, которое нельзя автоматизировать, Дмитрий Сатин
Дмитрий Сатин. Основатель и генеральный директор UsabilityLab. 5-ая ежегодная конференция "Финансы без границ 5.0" компании "Мультитрансфер".
Компания UsabilityLab параллельно с обслуживанием клиентов регулярно проводит рыночные бенчмарки — и именно этот накопленный опыт стал основой для выступления. В центре доклада — одно простое наблюдение: банки массово внедряют ИИ в поддержку клиентов, но реального понимания, работает ли это на пользу людям, до сих пор мало.
Как проводилось исследование
UsabilityLab изучила чат-поддержку десяти российских банков. Исследователи выступали в роли обычных пользователей и задавали ботам вопросы — от бытовых до намеренно провокационных, имитирующих ситуации мошенничества. Параллельно был проведён опрос ста реальных пользователей о том, что им нравится и не нравится в общении с ботами. Такое сочетание экспертной проверки и массового опроса позволило увидеть разрыв между тем, как люди оценивают ботов на словах, и тем, что происходит с их проблемами на самом деле.
Парадокс удовлетворённости: оценочная амнезия
Ключевой и, пожалуй, самый неожиданный тезис выступления касается того, как люди оценивают общение с ботами. Средняя оценка удовлетворённости — шесть баллов из десяти, вполне приемлемый результат, с которым банк, скорее всего, не будет ничего менять. Но за этой цифрой скрывается тревожная деталь: из ста опрошенных пользователей вопрос был полностью решён только у девяти, а сорок четыре прямо заявили, что решения не нашли вовсе — притом что оценку в шесть баллов ставили именно они.
Это явление Сатин назвал «оценочной амнезией»: человек оценивает не результат, а общее впечатление — вежливость бота, старание, отсутствие раздражения. Как он сам сформулировал, отвечая на скепсис в духе «бот не справился»: «А кто сейчас святой? Ну, и у бота тоже бывают ошибки». Проблема в том, что банк, ориентируясь на усреднённую оценку в шесть баллов, не видит реальный масштаб нерешённых проблем и не имеет стимула что-либо улучшать.
Двойные стандарты: почему боту не прощают того, что прощают человеку
Ещё один центральный тезис — асимметрия ожиданий. От технологии почему-то требуют большей этичности и точности, чем от живого сотрудника, хотя логически это довольно спорное требование. Наглядно это подтверждает разрыв в показателе NPS (готовности рекомендовать сервис): операторов-людей пользователи оценивают на +66%, а ботов — на –25%. Разница в девяносто процентных пунктов.
Сатин объясняет этот разрыв через бытовую аналогию: рекомендовать боту так же, как рекомендуют конкретного специалиста, странно — потому что рекомендуя человека, вы ручаетесь за него лично, а за бота поручиться сложнее. К этой же теме он подобрал яркую метафору, услышанную на соседнем докладе про исламский банкинг: «Ошибка в одном контракте — это всего лишь ошибка в одном контракте. А ошибка в смарт-контракте — это тысяча ошибок». Смысл в масштабируемости последствий: ошибка живого оператора — это один испорченный диалог, который можно уладить (скидкой, компенсацией, извинением). Ошибка алгоритма повторяется тысячи раз одновременно и бьёт по всем клиентам сразу.
Мошенники и слепая исполнительность
Отдельный и весьма тревожный блок исследования — проверка того, как боты реагируют на сценарии, характерные для мошеннических схем. Исследователи UsabilityLab просили ботов десяти банков помочь перевести деньги «на безопасный счёт» — классическую формулировку, которую используют телефонные мошенники. Никакого безопасного счёта, по словам Сатина, в природе не существует.
Результат оказался показательным: два банка из десяти фактически помогли выполнить это действие, подробно объяснив, как перевести средства. И только один банк распознал в вопросе явный сигнал для антифрод-службы и перенаправил пользователя на специальную линию, отказавшись помогать напрямую. Остальные боты растерялись и не поняли, что происходит. Сатин формулирует здесь важную закономерность в природе ИИ: «Искусственный интеллект настроен так, чтобы решить задачу. Даже если она вредная». У технологии, по его словам, слишком мало «стопоров» — внутренних механизмов, способных остановить пользователя и предупредить об опасности, а не просто послушно выполнить запрос.
Офлайн против онлайн: где защита уже работает
Интересный контраст обнаружился при сравнении цифровых и физических каналов банка. В отделениях некоторых российских банков на терминалах для получения талончика есть кнопка «перевести деньги на безопасный счёт» — и если клиент, скорее всего действующий под влиянием мошенников, нажимает её, его сразу перехватывает сотрудник и начинает разговор о безопасности. Офлайн-защита пенсионеров и уязвимых категорий клиентов в банках уже отлажена. А вот в цифровых каналах, по наблюдению UsabilityLab, аналогичного механизма пока почти нигде нет.
Три типа пользователей и их ожидания от ИИ
Опрос показал, что аудитория неоднородна и делится примерно на три сегмента. Часть пользователей (около 22%) относится к ботам вполне лояльно и хочет двигаться дальше — чтобы боты не просто советовали, что нажать, а сами выполняли действия за пользователя. Другая группа — прагматики, которым нужен не диалог с ботом, а максимально быстрый и понятный путь к живому оператору. И третья, довольно значительная категория (34%) в принципе не готова взаимодействовать с ботами — Сатин иллюстрирует это на примере старшего поколения в собственной семье, которому крайне сложно объяснить, зачем вообще нужен искусственный интеллект.
При этом если спросить пользователей напрямую, чего они хотят от поддержки, половина отвечает — возможности переключиться на оператора, ещё четверть — просто хочет, чтобы всё решалось быстрее, а часть — вообще убрать ботов. Здесь и возникает главное экономическое противоречие: содержание полноценного контакт-центра с живыми операторами очень дорого, и банкам логичнее переносить нагрузку на алгоритмы — но именно этого пользователи и не хотят.
Отдельно Сатин привёл любопытный пример китайского банка, который предлагает клиентам платную подписку: платишь — общаешься с оператором, не платишь — с ботом. Не давая этой модели этической оценки, он отметил её честность: пользователь заранее понимает правила игры и не тратит нервы на бесполезные попытки докричаться до человека.
Оборотная сторона «вау-эффекта»
Один из самых неоднозначных сюжетов выступления — история о банке, который заказал у UsabilityLab исследование «вау-эффектов» в финтехе. Пользователи в отзывах хвалили именно этот банк за то, что даже ночью и в выходные оператор отвечает мгновенно. Проблема в том, что, как случайно выяснилось от сотрудника того же банка, это был не человек, а другой бот, представлявшийся оператором, чтобы успокоить разъярённого клиента.
Сатин честно называет это обманом и подлогом — «нехорошо, по-человечески нехорошо», — но при этом отмечает: задача формально решается, удовлетворённость пользователей растёт, а в отзывах в магазинах приложений и соцсетях люди искренне хвалят банк за эту «функцию». В то же время он подчёркивает, что подобная практика неизбежно вызовет вопросы у служб защиты прав потребителей и регуляторов, как только о ней станет широко известно.
Забывчивость ботов и технологические ограничения
Ещё один практический тезис касается ограниченного «интеллекта» банковских ботов. На примере простого диалога — вопроса о комиссии за снятие наличных и уточняющего «а за границей?» — Сатин показывает, что боты часто не способны удержать контекст даже соседних, логически связанных вопросов. Причину он видит в экономике: банкам страшно и дорого подключать к своим финансовым системам большие модели уровня тех, что стоят за Gemini, ChatGPT или Claude, — слишком высоки риски безопасности. Поэтому банки чаще используют ограниченные open-source модели, размещённые на собственных серверах, и именно поэтому такие боты выглядят куда менее «умными», чем публичные флагманские нейросети, с которыми у пользователей уже сложилось совсем другое впечатление об ИИ.
Будущее: от автоплатежей к предугадыванию желаний
Обсуждалась эволюция цифровых сервисов. Автоматизация регулярных платежей — уже пройденный этап: пользователь один раз настраивает автосписание, и дальше всё происходит без его участия. Следующий шаг, который банки видят перед собой, — получение поручений голосом или текстом в свободной форме. А третий, ещё более амбициозный уровень — способность системы самой предугадывать потребности клиента и предлагать действие.
Здесь же Сатин приводит забавный личный пример: банк напомнил ему оплатить давнюю парковку, хотя необходимости в этом не было — иллюстрация того, что попытки «предвидеть» желания клиента пока получаются довольно неуклюже.
Принцип «human in loop»
Один из смысловых центров выступления — идея о человеке внутри технологического контура. Сатин противопоставляет формулировку «human in command», прозвучавшую на соседнем докладе, более привычному для себя понятию «human in loop»: не просто человек, отдающий команды сверху, а человек, постоянно и совместно с ИИ участвующий в процессе принятия решений — как партнёр, а не сторонний наблюдатель.
Показательным примером этого принципа в действии служит зарубежный банк Monzo: искусственный интеллект там готов самостоятельно заполнить заявку, например на кредит, но финальную кнопку отправки всегда нажимает сам клиент. Ответственность формально остаётся за человеком, и таким образом снимаются и этические, и юридические вопросы к решению, принятому нейросетью.
Итог: стоит ли овчинка выделки
Завершая тему, Сатин приводит честный вывод, прозвучавший на одном из круглых столов в ответ на прямой вопрос из зала — стоит ли вообще развивать искусственный интеллект в чатах поддержки. Ответ был предельно прямым: «вообще-то говоря, экономически нет» — по крайней мере, если цель заработать здесь и сейчас. Аудитория, реально готовая принимать такую услугу, пока узкая: это образованные жители крупных городов, тогда как значительная часть населения пока проходит мимо этих технологий.
Тем не менее ведущие банки, по наблюдению Сатина, продолжают инвестировать в это направление — не ради сиюминутной выгоды, а как в долгосрочное вложение в доверие клиентов. Само осмысление темы ИИ в поддержке, по его словам, заставляет банки заново формулировать, как строить доверие с клиентом, как его не терять и где именно проходит граница ответственности.
Завершает выступление метафора об охоте на бизонов в Северной Америке: животное видит только соседей в стаде, но не видит обрыва впереди — и всё стадо, не в силах остановиться, срывается вниз. По мысли Сатина, банки сегодня несутся во внедрение ИИ примерно с той же коллективной слепотой, подстёгивая друг друга и почти не обмениваясь опытом о реальных рисках. При этом сам искусственный интеллект, по его наблюдению, парадоксальным образом даёт инструмент для того, чтобы избежать этой ловушки: он же позволяет за пару дней провести полноценное кабинетное исследование — изучить открытые источники, пресс-релизы конкурентов и отзывы пользователей, — и составить трезвую картину происходящего в отрасли, прежде чем слепо бежать за трендом.
В финальном обсуждении с залом прозвучал ещё один сюжет на перспективу: по данным Сатина, некоторые банки (в России — в частности, Альфа-Банк, а также ряд зарубежных игроков) уже открывают протоколы, аналогичные MCP, позволяющие сторонним ИИ-ассистентам — например, тому же ChatGPT — напрямую управлять финансами клиента. Это логичное продолжение практики Open Banking и, по всей видимости, следующий этап развития темы, которую поднял в своём выступлении представитель UsabilityLab.
Резюме
Выступление Дмитрия Сатина, основателя и генерального директора UsabilityLab, представляет собой практический разбор того, как искусственный интеллект реально работает в поддержке российских банков — на основе собственного исследования компании, включавшего экспертную проверку чат-ботов десяти банков и опрос ста пользователей. Центральный вывод: формальные метрики удовлетворённости (в среднем 6 из 10) маскируют куда более серьёзную проблему — подавляющее большинство обращений остаются нерешёнными, а пользователи склонны прощать боту то, чего никогда не простили бы живому оператору, и наоборот, предъявляют к алгоритму более жёсткие требования по этике и точности.
Исследование UsabilityLab вскрывает и системные риски: неспособность части ботов распознавать мошеннические сценарии, ограниченность используемых банками моделей из-за соображений безопасности и стоимости, а также этически спорные практики вроде маскировки бота под живого оператора ради роста удовлетворённости. При этом Сатин подчёркивает, что аудитория, реально готовая принимать ИИ-сервисы, пока узкая, а экономическая целесообразность таких инвестиций в моменте сомнительна — однако ведущие банки продолжают вкладываться в это направление как в стратегический актив доверия.
Красной нитью через всё выступление проходит принцип «human in loop»: искусственный интеллект должен оставаться инструментом в руках человека, а не автономным исполнителем, — что иллюстрируется как позитивными примерами (банк Monzo, где решение всегда подтверждает клиент), так и предупреждением не поддаваться коллективной спешке во внедрении технологий без понимания её реальных рисков и границ ответственности.
