Скучный ИИ как рутинный инструмент оптимизации

Сегодня считается, что нельзя оставаться в стороне от бума ИИ. И хотя экономическая эффективность технологии пока не доказана, общепринятой является идея, что те, кто не начнет экспериментировать с ИИ сегодня, рискуют безнадёжно отстать. Но что делать, если у вас нет тысяч видеокарт, штата ML-инженеров и бюджета на дообучение крупных языковых моделей?

Предлагаем взвешенный подход к перспективной технологии.

Невероятный хайп вокруг ИИ мешает рассчитать реальную рентабельность его внедрения в каждом конкретном случае. Мы сформулировали принципы под общим названием «Скучный ИИ», которые помогают принимать бизнес-решения без оглядки на медийное давление.

Невероятный хайп вокруг ИИ мешает рассчитать реальную рентабельность его внедрения в каждом конкретном случае. Мы сформулировали принципы под общим названием «Скучный ИИ», которые помогают принимать бизнес-решения без оглядки на медийное давление.

Подход «Скучный ИИ» десакрализирует искусственный интеллект и предлагает относиться к нему как к узкоспециализированному инструменту, который полезен в определённых случаях. Вместо создания сложных ML-систем, которые пытаются целиком заменить человека в решении масштабных задач (что чаще всего под силу лишь мировым гигантам), для большинства компаний эффективнее применять машинное обучение точечно. Ведь это просто один из многих инструментов.

В бизнесе среднего размера не так уж и много задач, где выявление паттернов в данных и генерации на их основе нового контента (супер способность ML-технологий) будет иметь явный экономический эффект. Как правило, это точечные задачи по повышению производительности или устранению неэффективности в рамках конкретного процесса. К тому же есть одно существенное требование — безупречное качество данных. Принцип «Garbage in — garbage out» здесь работает без исключений. В этом месте можно вспомнить об основной задаче IT в современном бизнесе:

На дворе ИИ-революция, но фундаментальная задача IT все та же: выявить процессы, которые можно улучшить или создать с нуля, и затем автоматизировать их, используя подходящие инструменты — в том числе, основанные на машинном обучении.

Принцип специализации относится и к архитектуре ML-решений: вместо создания одной сложной модели, которая пытается решить задачу целиком, эффективнее разбить эту задачу на подзадачи, решать которые будут отдельные модели. В рамках микропродуктового подхода это означает сознательный отказ от больших универсальных моделей (например, от ChatGPT) в качестве фундамента. Они отлично работают, но есть несколько сложностей:

• каждый запрос стоит денег,
• масштабирование требует ресурсов,
• результат всё равно нужно адаптировать под узкий контекст,
• возникают неуправляемые риски безопасности и отказоустойчивости.

Но этот принцип предлагает идти дальше: вместо одной модели (даже если она развёрнута локально) решать задачу с помощью последовательной цепочки — каскада — специализированных моделей.

Например в продукте Ensi Cloud Product Generator, который создает описания и характеристики товаров по фото используется такая цепочка моделей:

Итог: результат сравним с GPT, но стоимость и задержки — на порядки ниже.

Как известно, ИИ-решения очень ресурсоемки. В этом нет ничего удивительного, потому что чем ближе интерфейс к человеку, тем больше ресурсов потребляется. Если проследить эволюцию взаимодействия с машиной — машинный код → компилируемые языки → интерпретируемые языки → ML-модели — то окажется, что атомарная операция на каждом новом уровне требует в тысячи и миллионы раз больше вычислительных ресурсов, чем на предыдущем.

Этот факт еще раз подтверждает, что ИИ следует применять точечно — только там, где его эффективность можно измерить. Но даже для таких задач ресурсы нужно распределять аккуратно. Для этого решаемые задачи и подходящие для них модели логично разделить на три группы в зависимости от требований к производительности и срочности:

Такое ранжирование позволяет заметно сократить затраты на инфраструктуру, но требует проявлять изобретательность, а также заниматься оптимизацией и дообогащением контекста.

Big Data — очередной «волшебный» термин, обещающий чудеса. Все говорят, что данные — это новая нефть. Но у большинства компаний данных не так много, чтобы называть их «большими». И что важнее — сами по себе они прибыли не приносят. Вместо гонки за Big Data стоит сосредоточиться на Clean Data.

IT-ориентированная компания как правило уже имеет чистые датасеты: это может быть товарный фид, история заказов клиентов, маршруты доставок. При этом не обязательно использовать эти датасеты напрямую. Идея каскада моделей предполагает, что в начале более легковесная модель может перерабатывать сырые данные и генерировать новые датасеты, которые станут базой для обучения основной модели.

Если загрузить интерьерное фото дивана в ChatGPT, он сразу выделит главный объект, что это такое и для чего он нужен. Но того же эффекта можно добиться, если сначала гораздо более легкая модель компьютерного зрения сегментирует объекты на изображении, а главная модель анализирует уже эти готовые сегменты.

Использование синтетических данных тоже может помочь, но об этом поговорим дальше.

Стандартные тесты и метрики (accuracy, F1 и т. д.) оценивают общую эрудицию модели, но не её эффективность для вашей конкретной задачи. Клиенту всё равно, как ИИ справился с цитатами Шекспира. Его волнует, почему в вашем интернет-магазине модель отнесла платье к разделу «Обувь».

• 95% точности в классификации — звучит отлично,
• но если модель путает детскую и взрослую одежду, то это критическая ошибка.

Для оценки качества ответов ИИ-микрорешения важно сформулировать бизнес-критерии, например, для генератора описаний товаров по фото одежды бизнес-критерии таковы:

• «Описание должно содержать: материал, сезон, назначение».
• «Классификация не должна путать категории верхней и нижней одежды».
• «Синонимы должны быть стилистически нейтральными и подходить для карточки товара».

Первоначальные критерии определяют эксперты. Но чтобы выявить типичные ошибки и спорные моменты полезно организовать быстрый сбор фидбека. Для этого вполне подойдут собственные сотрудники или группа лояльных клиентов. Можно, например, создать простой бот в Telegram, где сотрудники могут «поиграться» с моделью, оценить результаты работы и дать обратную связь. Конечно, это не замена массовой разметки данных живыми людьми, зато почти бесплатно и помогает быстро сформулировать важные бизнесу критерии.

После того, как бизнес-критерии сформулированы, можно запускать автоматическое тестирование в формате LLM-as-a-Judge:

Искусственный интеллект в виде ML — это космос и новый тип инструмента автоматизации. Но стоит подходить к работе с ним трезво и не забывать контролировать экономическую эффективность решений на базе ML. При этом не нужно быть мегакорпорацией с миллиардными бюджетами. С помощью подхода, описанного в этой статье, и определенной изобретательности можно создавать эффективные ИИ-микрорешения для оптимизации вашего бизнеса.

Именно так мы строили Ensi Cloud Atoms — маленькие атомарные решения для быстрого внедрения и повышения рентабельности.