Бьюти-приложение на базе ИИ
Разработали приложение виртуальной примерки макияжа и онлайн-продажи декоративной косметики.
Клиент
Занимается декоративной косметикой, имеет сеть офлайн-точек в крупных городах. Запустил собственный интернет-магазин, после чего задумался об увеличении дохода с помощью мобильного приложения. И нет, речь шла не о стандартном m-commerce. Это должно быть приложение для виртуальной примерки макияжа со ссылками на продукты. Сама идея цифрового макияжа уже существовала на тот момент, но в качестве инструмента прямых продаж в бьюти-индустрии ее использовали единицы.
Задачи, в основе которых лежат подобные практические бизнес-цели, прекрасно решает искусственный интеллект. Мы любим кейсы, связанные с Data Science, особенно если это что-то нетривиальное: в 2019 году приложения для подбора косметики на базе ИИ были скорее в новинку. Конечно, мы с удовольствием взялись за работу.
Вызовы
Между фоторедактором и приложением для примерки макияжа существенная разница. Миссия фоторедактора – изменить изображение, приукрасить его и выдать картинку, которая зачастую не имеет ничего общего с реальным положением вещей.
Задача бьюти-приложения, с которой пришел клиент, – не создать иллюзию, а сделать так, чтобы пользовательницы получили точное представление о том, какой оттенок помады или румян им подойдет и где их получить.
Ведь чем точнее рекомендация, тем больше вероятности, что покупка будет совершена, а пользовательница вернется снова.
Реалистичность
Приложение по примерке и подбору мейкапа – это не набор абстрактных фильтров для соцсетей. Его отличительная черта – достоверность. Мы не можем просто генерировать маски с тенями и румянами, оторванные от повседневной действительности.
Масштабность проекта
Чтобы все работало так, как задумал клиент, требовалось:
• Создать ядро системы с моделью распознавания лица и разделения его на зоны.
• Добавить алгоритм, который меняет цвет объекта без потери исходной текстуры.
• Связать приложение с интернет-магазином, отдельными продуктами и палитрой оттенков для каждого.
Как работает приложение для цифрового макияжа:
1. Пользовательница делает селфи
Или загружает фото из галереи. Выбирает в приложении нужный раздел: лицо, губы, глаза.
2. Алгоритм получает изображение и анализирует его
– Определяет границы лица и ключевые точки.
На этом этапе используется многомасштабная сверточная нейронная сеть (MCNN), реализованная с помощью платформы глубокого обучения Caffe. MCNN наиболее эффективна для задач на распознавание образов. Она определяет, что на фотографии именно лицо, и выстраивает пять базовых точек.
– Делает расчет 3D-модели.
С помощью двух нейросетевых платформ Caffe алгоритм находит первоначальные оценки для точного определения границ лица и его зон. Проводит сегментацию – первичную оценку зон.
– Уточняет маски полученных сегментов.
Уточняющие алгоритмы основаны на анализе цветов разных участков одной зоны, а также геометрической форме и положении частей лица. В качестве исходного ориентира используются 11 сегментов.
3. Приложение реалистично имитирует настоящий макияж
– Для этого шага реализовали Python-модуль, который работает с выделенной частью изображения.
– За основу взят принцип модели дихроматического отражения (DRM). Модель определяет основной цвет тела объекта, основной цвет освещения, а также соотношение между ними в каждой точке матрицы объекта.
– Как результат – цвет объекта изменяется естественным образом и имеет натуралистичный вид.
4. Что видит пользовательница
– В разделах приложения уже собраны свотчи для каждого продукта (передаются через API-запросы, чтобы поддерживать актуальное состояние). Пользовательница примеряет оттенки, пока не найдет нужный. Эффекты и текстуры – от атласных до матовых – выглядят именно так, как если бы были нанесены в реальности и сфотографированы.
– Предусмотрена функция автоматического подбора образа. Приложение предложит несколько выгодных сочетаний на основе цветотипа, геометрической композиции лица и особенностей строения.
– Во вкладке рекомендаций есть готовая коллекция образов, созданная командой бренда. Их остается только примерить.
– Виртуальные образы сохраняются в приложении – их можно сравнивать и выбирать наиболее удачные варианты.
– К каждому продукту прилагается описание и ссылка на корзину для оформления покупки.
Технологии
Бэкенд
Python
Бэкенд
C++
Анализ данных
Matlab
iOS
Swift
Android
Kotlin
Результат
Благодаря внедрению ИИ мы добились высокоточного распознавания черт лица и сохранили реалистичность текстур. Интеграция с косметическим брендом напрямую позволила клиенту сократить количество пользовательских шагов до покупки.
Разработка окупилась быстро, приложение остается востребованным до сих пор.
Идея оказалась хороша сразу по двум причинам:
- Привлекает новых пользовательниц и формирует отложенный спрос. Даже если приложение установлено из чистого любопытства, есть большая вероятность, что позже пользовательница вернется к нему и оформит покупку.
- Хотя целевая аудитория – женщины, внутри этой группы много сегментов: сами покупательницы, бьюти-мастера, визажисты, организаторы мастер-классов, салоны красоты.
установок приложения за все время.
увеличилось число продаж в интернет-магазине.
Алгоритм, который мы создали, можно использовать в других направлениях бьюти-индустрии (одежда, аксессуары, парикмахерское искусство). Также подойдет для любого e-commerce или ритейла, где важна работа с цветом, композицией и текстурой.
Что происходит дальше:
Мы получаем запрос, обрабатываем его в течение 24 часов и связываемся по указанным вами e‑mail или телефону для уточнения деталей.
Подключаем аналитиков и разработчиков. Совместно они составляют проектное предложение с указанием объемов работ, сроков, стоимости и размера команды.
Договариваемся с вами о следующей встрече, чтобы согласовать предложение.
Когда все детали улажены, мы подписываем договор и сразу же приступаем к работе.