Ответит СУБД Vertica от Micro Focus. Пример использования этого ПО большой торговой площадкой вы найдёте во вложении

Как извлекать прибыль из большого массива данных?

История успеха заказчика

Быстрый обзор

Отрасль

Розничная торговля и дистрибуция

Местоположение
Москва, Россия

Задача
Перевод всех витрин данных на высокопроизводительную аналитическую платформу

Продукты и услуги
Vertica

____ Результаты

+ Улучшенные решения на основании анализа данных благодаря ускоренной аналитике

+ Поддержка подвижности бизнеса за счет ускорения отчетности бизнес-аналитики

+ Улучшенная масштабируемость и сокращение затрат на хранение благодаря эффективному управлению данными

Lamoda

Переход на Vertica существенно ускорил принятие операционных решений на основе бизнес-аналитики

Обзор

Интернет-магазин Lamoda, входящий в Global Fashion Group, широко известен: в России, Казахстане и Беларуси ежедневно тысячи человек покупают здесь одежду, обувь и аксессуары для себя и своих близких. Более 3 миллионов товаров, 1500 брендов, свыше 1,5 миллиона посещений в день ― вот основные характеристики этой торговой площадки

Задача

Интернет-магазин — это лишь один компонент мультиканальной маркетинговой и логистической инфраструктуры бизнеса Lamoda, которая также включает три контакт-центра, крупный дистрибуционный центр в Подмосковье и службу доставки с охватом более 600 городов. Дополняют систему фотостудия, дизайнерский офис в Лондоне, центр разработки в Вильнюсе и другие службы и объекты, необходимые для масштабной торговой деятельности. ИТ-департамент компании, включающий 250 специалистов, занимается созданием и поддержкой передовых приложений бизнес-аналитики для торговых операций в Интернете и физических магазинах. Используя данные о транзакциях из ERP-системы Microsoft Dynamics, ИТ-подразделение разрабатывает и развивает различные внутренние программные системы для взаимодействия с клиентами через различные каналы. Эти системы обеспечивают работу интернет-магазина, контакт-центров и мобильных приложений, а также систем управления складскими процессами и служб доставки. «От нас ждут актуальной и целостной картины того, как работает организация», — поясняет Сергей Павлов, руководитель департамента бизнес-анализа компании Lamoda. В корпоративном хранилище данных собрана информация, полученная из реляционных баз данных, на основе которых работают различные бизнес-приложения компании — от маркетинга до поддержки клиентов, операций в магазине и логистики. Раньше здесь содержались не только «сырые» (необработанные) данные, но и нормализованный детальный слой данных для бизнес-аналитики, организованных в специализированные аналитические витрины, а решение SAP BusinessObjects предоставляло данные для системы отчетности. Веб-данные, которые передаются с сайта интернет-магазина и отражают действия покупателей, по-прежнему хранятся и обрабатываются средствами Hadoop. Вопрос о замене аналитической платформы возник, когда обнаружилось, что расширять существующее хранилище данных соответственно темпам роста электронной коммерции экономически нецелесообразно. По мере увеличения объемов данных расходы на расширение, доработку и оптимизацию программного обеспечения и сопровождение хранилища повышались непропорционально быстро, и на каждую следующую итерацию тратилось примерно в два раза больше средств, чем на предыдущую. Еще одна серьезная проблема касалась низкой скорости выполнения аналитических запросов. «Пользователи постоянно жаловались на недостаточную производительность нашей системы, —вспоминает Сергей Павлов. — На обработку любого сколько-нибудь сложного запроса уходили десятки минут, а то и часы. Такая скорость получения отчетов все меньше устраивала бизнес, который хотел принимать по-настоящему оперативные решения на основе самых актуальных данных». Специалистам предстояло выбрать один из двух вариантов: либо сразу перевести все хранилище данных на другую платформу СУБД, либо попытаться разделить его на отдельные относительно легко управляемые фрагменты, которые можно улучшать и развивать. В итоге был выбран второй путь: сначала перевести функциональные витрины данных на новую платформу аналитики, а позднее улучшить базовую схему бизнес-аналитики.

Решение

Поиском новой платформы аналитики специалисты Lamoda занялись три года назад, когда рассматривали возможность перевода всего хранилища данных (а не только витрин) на новую платформу. Они провели масштабный тендер, в котором участвовали Teradata, Oracle Exadata, Greenplum, Netezza, Vertica и Exasol. В результате был сделан вывод, что переход на новую платформу ― весьма масштабный проект, реализация которого продлится около двух лет, причем на это время развитие бизнес-аналитики фактически придется заморозить .Однако из-за непрерывного роста трафика в Интернете для принятия оперативных бизнес-решений требовалось все более бы-строе получение отчетов. Поэтому Lamoda выбрала другую стратегию: хранить новые необработанные данные в Hadoop, сохранить уровень подробных данных в старом хранилище, но немедленно приступить к миграции витрин данных в Vertica. Таким образом, пользователи могли сразу получать бизнес-отчеты, используя колоночную структуру Vertica, а ИТ-специалисты занялись внедрением новой платформы аналитики. В частности, специалисты Lamoda провели испытания бесплатно распространяемой версии Vertica Community Edition. «На установку системы потребовалась всего пара часов. Проведя первые тесты и замеры, я был приятно удивлен высокой производительностью: с запросами, которые похожее программно-аппаратное окружение выполняло за десятки минут, Vertica справлялась за считанные секунды», ― отмечает Сергей Павлов. В результате руководство ИТ-департамента предложило приобрести и внедрить платформу Vertica AnalyticsPlatform корпоративного уровня. Первоочередной задачей стал перевод всех витрин (в общей сложности около 5 Тбайт данных) на платформу Vertica, а также оптимизация ETL-процедур, загружающих в нее данные. Интеграция с другими системами прошла достаточно гладко, поскольку компания заранее доработала свои инструменты ETL, с помощью которых витрины из центрального хранилища инкрементально копировались в Vertica. При решении сложных вопросов специалисты Lamoda обращались к коллегам из компании Hewlett Packard Enterprise и ее партнера EasyData, специализирующегося на внедрении Vertica. В настоящее время Lamoda использует прежние ETL-процедуры, чтобы передавать данные в существующее хранилище, откуда они передаются в Vertica для анализа. Специалисты пользуются разными системными журналами и прочими витринами разреженных данных. В качестве инструмента отчетности по-прежнему применяется SAPBusinessObjects, а в настоящий момент в компании также ведется внедрение новой платформы визуализации Tableau, в которой используется технология проецирования Vertica. «В отношении аналитики и отчетности мы придерживаемся подхода self-service: при необходимости любой желающий может обратиться к системе SAP BusinessObjects и получить отчеты на основе данных из Vertica», — говорит Сергей Павлов.

Результаты

Vertica уже используется для анализа данных о продажах Lamoda, и сейчас более половины отчетов о продажах создаются с помощью Vertica. Данными из витрин, построенных на основе Vertica, пользуются около 150 сотрудников Lamoda — как аналитики из ИТ- департамента, так и представители бизнес-подразделений. Платформа Vertica доказала свою эффективность, обеспечив серьезное увеличение производительности аналитических запросов. «Благодаря разделению нагрузки по расчету витрин и выборке данных для отчетности между центральным хранилищем и Vertica аналитические запросы работают на порядок быстрее, чем в прежней монолитной архитектуре. Наши бизнес-заказчики остались очень довольны результатами перехода на новую систему», — отмечает Сергей Павлов. Об успехе проекта свидетельствует и стремительный рост числа бизнес-пользователей, отказавшихся от привычных аналитических инструментов и электронных таблиц. Теперь они обращаются к BusinessObjects и Tableau, которые готовят отчеты на основе Vertica. «Новые инструменты визуализации данных имеют более высокую производительность и функциональное разнообразие. Благодаря Vertica увеличилась популярность визуализации данных среди аналитиков». Как важное преимущество Сергей Павлов отмечает надежность платформы и низкие затраты на администрирование: «Vertica практически не требует администрирования. У нас нет выделенного администратора этой СУБД, и обращаться в службу поддержки пока не приходилось — нашей экспертизы и имеющейся документации по Vertica хватает, чтобы решать возникающие вопросы». Вскоре станет доступен анализ информации о складских операциях и логистике. «Нам очень важно отслеживать скорость и качество сборки заказов, а также эффективность работы нашей службы доставки», — поясняет Сергей Павлов. В дальнейших планах — создание витрин данных Vertica для подразделения маркетинга и других отделов. Руководство Lamoda планирует вскоре использовать возможности машинного обучения по базе данных Vertica для прогнозной аналитики и возможности Vertica для анализа данных, находящихся в Hadoop. «Содержащиеся в Vertica возможности в значительной степени соответствуют стратегии технологического развития нашей компании, поэтому мы планируем активно пользоваться ими», — добавляет Сергей Павлов. «Не обязательно разбираться в больших данных, чтобы пользоваться преимуществами от использования Vertica Analytics Platform. Прагматичный подход, предполагающий обновление инфраструктуры бизнес-аналитики, может быстро дать ощутимые бизнес-результаты. Если имеющаяся система не может поддерживать темпы вашего бизнеса, Vertica значительно ускорит создание аналитических отчетов. Это позволит компаниям справляться с растущими объемами и скоростью потоков данных и эффективно их использовать для непрерывного роста бизнеса», — комментирует Евгений Степанов, руководитель отдела продаж Vertica.