Авито - GenAI без иллюзий: системный подход к запуску LLM-проектов

Екатерина Давыдова, Программный менеджер генеративного ИИ, Авито.

Доклад о создании и внедрении продуктов на базе генеративного искусственного интеллекта (GEN-AI), опираясь на опыт компании. Доклад был ориентирован на команды, столкнувшиеся с задачей запуска LLM-продуктов. Основной тезис: для успешного внедрения GEN-AI необходимо выстроить системный подход, проходя через ряд этапов от генерации идей до масштабирования продукта.

Основные этапы внедрения GEN-AI продуктов:

1. Генерация идей:

Проведение воркшопов для погружения команд в технологию GNI и LLM, а также для выявления задач, которые эффективно решаются с помощью этих технологий.

Демонстрация кейсов и бизнес-эффектов от внедрения GEN-AI.

Развитие мышления в правильном направлении, фокусируясь на идеях, где GEN-AI наиболее эффективно.

На выходе – список проработанных гипотез, решающих конкретные пользовательские проблемы.

2. Отбор идей:

Ранжирование гипотез по различным фреймворкам, в первую очередь, оценивается бизнес-потенциал (потенциальный доход или экономия).

Применение дополнительных критериев отбора:

Маркетируемость (способность продукта произвести "вау-эффект" на рынке).

Технологичность (рост экспертизы компании).

Учёт рисков:

Юридические (персональные данные, соглашения с вендорами).

Авторские права (обучение моделей).

Запрещенный контент (контроль ответов моделей).

3. Тестирование гипотез:

Использование трехступенчатой системы:

Proof of Technology (проверка технологической возможности).

Proof of Concept (прототипирование и тестирование).

MVP/MLP (минимально жизнеспособный продукт).

Поиск value (ценности продукта) с помощью:

Friends and Family запусков (внутреннее тестирование на лояльной аудитории).

Human in the loop (внешнее тестирование с участием оператора).

4. Delivery (доставка):

Понимание вероятностного характера LLM: тестирование и оценка качества требуют непрерывного процесса и специализированных подходов.

Использование фреймворков, таких как LLM as a judge (оценка одной LLM другой) и ручная разметка.

Подготовка данных: планирование этой работы, особенно при обучении собственных моделей и построении RAG-решений.

Guardrails (защита модели от нежелательных ответов и провокаций).

Формирование новых компетенций и ролей в команде.

Образовательные треки для продуктовых команд (для улучшения понимания технологий).

Организация работы: баланс между data&ML, product & UX и engineering командами. Распределение зон ответственности.

5. Масштабирование:

Масштабирование только тех продуктов, ценность которых доказана.

Настройка мониторинга (качество, скорость ответа, стоимость inference).

Выделение переиспользуемых компонентов в отдельные блоки для ускорения масштабирования.

CNews FORUM 2025: Информационные технологии завтра.

Предcтавители бизнеса, госструктур, ИТ-компаний, а также независимые эксперты и аналитики приняли участие в дискуссии о том, как будет проходить информатизация экономики в ближайшие годы.

Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства.

Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства.