Как извлекать прибыль из большого массива данных?
История успеха заказчика |
||
Быстрый обзорОтрасльРозничная торговля и дистрибуция Местоположение Задача Продукты и услуги |
____ | Результаты
+ Улучшенные решения на основании анализа данных благодаря ускоренной аналитике + Поддержка подвижности бизнеса за счет ускорения отчетности бизнес-аналитики + Улучшенная масштабируемость и сокращение затрат на хранение благодаря эффективному управлению данными |
Lamoda
Переход на Vertica существенно ускорил принятие операционных решений на основе бизнес-аналитики
Обзор
Интернет-магазин Lamoda, входящий в Global Fashion Group, широко известен: в России, Казахстане и Беларуси ежедневно тысячи человек покупают здесь одежду, обувь и аксессуары для себя и своих близких. Более 3 миллионов товаров, 1500 брендов, свыше 1,5 миллиона посещений в день ― вот основные характеристики этой торговой площадки
Задача
Интернет-магазин — это лишь один компонент мультиканальной маркетинговой и логистической инфраструктуры бизнеса Lamoda, которая также включает три контакт-центра, крупный дистрибуционный центр в Подмосковье и службу доставки с охватом более 600 городов. Дополняют систему фотостудия, дизайнерский офис в Лондоне, центр разработки в Вильнюсе и другие службы и объекты, необходимые для масштабной торговой деятельности. ИТ-департамент компании, включающий 250 специалистов, занимается созданием и поддержкой передовых приложений бизнес-аналитики для торговых операций в Интернете и физических магазинах. Используя данные о транзакциях из ERP-системы Microsoft Dynamics, ИТ-подразделение разрабатывает и развивает различные внутренние программные системы для взаимодействия с клиентами через различные каналы. Эти системы обеспечивают работу интернет-магазина, контакт-центров и мобильных приложений, а также систем управления складскими процессами и служб доставки. «От нас ждут актуальной и целостной картины того, как работает организация», — поясняет Сергей Павлов, руководитель департамента бизнес-анализа компании Lamoda. В корпоративном хранилище данных собрана информация, полученная из реляционных баз данных, на основе которых работают различные бизнес-приложения компании — от маркетинга до поддержки клиентов, операций в магазине и логистики. Раньше здесь содержались не только «сырые» (необработанные) данные, но и нормализованный детальный слой данных для бизнес-аналитики, организованных в специализированные аналитические витрины, а решение SAP BusinessObjects предоставляло данные для системы отчетности. Веб-данные, которые передаются с сайта интернет-магазина и отражают действия покупателей, по-прежнему хранятся и обрабатываются средствами Hadoop. Вопрос о замене аналитической платформы возник, когда обнаружилось, что расширять существующее хранилище данных соответственно темпам роста электронной коммерции экономически нецелесообразно. По мере увеличения объемов данных расходы на расширение, доработку и оптимизацию программного обеспечения и сопровождение хранилища повышались непропорционально быстро, и на каждую следующую итерацию тратилось примерно в два раза больше средств, чем на предыдущую. Еще одна серьезная проблема касалась низкой скорости выполнения аналитических запросов. «Пользователи постоянно жаловались на недостаточную производительность нашей системы, —вспоминает Сергей Павлов. — На обработку любого сколько-нибудь сложного запроса уходили десятки минут, а то и часы. Такая скорость получения отчетов все меньше устраивала бизнес, который хотел принимать по-настоящему оперативные решения на основе самых актуальных данных». Специалистам предстояло выбрать один из двух вариантов: либо сразу перевести все хранилище данных на другую платформу СУБД, либо попытаться разделить его на отдельные относительно легко управляемые фрагменты, которые можно улучшать и развивать. В итоге был выбран второй путь: сначала перевести функциональные витрины данных на новую платформу аналитики, а позднее улучшить базовую схему бизнес-аналитики.
Решение
Поиском новой платформы аналитики специалисты Lamoda занялись три года назад, когда рассматривали возможность перевода всего хранилища данных (а не только витрин) на новую платформу. Они провели масштабный тендер, в котором участвовали Teradata, Oracle Exadata, Greenplum, Netezza, Vertica и Exasol. В результате был сделан вывод, что переход на новую платформу ― весьма масштабный проект, реализация которого продлится около двух лет, причем на это время развитие бизнес-аналитики фактически придется заморозить .Однако из-за непрерывного роста трафика в Интернете для принятия оперативных бизнес-решений требовалось все более бы-строе получение отчетов. Поэтому Lamoda выбрала другую стратегию: хранить новые необработанные данные в Hadoop, сохранить уровень подробных данных в старом хранилище, но немедленно приступить к миграции витрин данных в Vertica. Таким образом, пользователи могли сразу получать бизнес-отчеты, используя колоночную структуру Vertica, а ИТ-специалисты занялись внедрением новой платформы аналитики. В частности, специалисты Lamoda провели испытания бесплатно распространяемой версии Vertica Community Edition. «На установку системы потребовалась всего пара часов. Проведя первые тесты и замеры, я был приятно удивлен высокой производительностью: с запросами, которые похожее программно-аппаратное окружение выполняло за десятки минут, Vertica справлялась за считанные секунды», ― отмечает Сергей Павлов. В результате руководство ИТ-департамента предложило приобрести и внедрить платформу Vertica AnalyticsPlatform корпоративного уровня. Первоочередной задачей стал перевод всех витрин (в общей сложности около 5 Тбайт данных) на платформу Vertica, а также оптимизация ETL-процедур, загружающих в нее данные. Интеграция с другими системами прошла достаточно гладко, поскольку компания заранее доработала свои инструменты ETL, с помощью которых витрины из центрального хранилища инкрементально копировались в Vertica. При решении сложных вопросов специалисты Lamoda обращались к коллегам из компании Hewlett Packard Enterprise и ее партнера EasyData, специализирующегося на внедрении Vertica. В настоящее время Lamoda использует прежние ETL-процедуры, чтобы передавать данные в существующее хранилище, откуда они передаются в Vertica для анализа. Специалисты пользуются разными системными журналами и прочими витринами разреженных данных. В качестве инструмента отчетности по-прежнему применяется SAPBusinessObjects, а в настоящий момент в компании также ведется внедрение новой платформы визуализации Tableau, в которой используется технология проецирования Vertica. «В отношении аналитики и отчетности мы придерживаемся подхода self-service: при необходимости любой желающий может обратиться к системе SAP BusinessObjects и получить отчеты на основе данных из Vertica», — говорит Сергей Павлов.
Результаты
Vertica уже используется для анализа данных о продажах Lamoda, и сейчас более половины отчетов о продажах создаются с помощью Vertica. Данными из витрин, построенных на основе Vertica, пользуются около 150 сотрудников Lamoda — как аналитики из ИТ- департамента, так и представители бизнес-подразделений. Платформа Vertica доказала свою эффективность, обеспечив серьезное увеличение производительности аналитических запросов. «Благодаря разделению нагрузки по расчету витрин и выборке данных для отчетности между центральным хранилищем и Vertica аналитические запросы работают на порядок быстрее, чем в прежней монолитной архитектуре. Наши бизнес-заказчики остались очень довольны результатами перехода на новую систему», — отмечает Сергей Павлов. Об успехе проекта свидетельствует и стремительный рост числа бизнес-пользователей, отказавшихся от привычных аналитических инструментов и электронных таблиц. Теперь они обращаются к BusinessObjects и Tableau, которые готовят отчеты на основе Vertica. «Новые инструменты визуализации данных имеют более высокую производительность и функциональное разнообразие. Благодаря Vertica увеличилась популярность визуализации данных среди аналитиков». Как важное преимущество Сергей Павлов отмечает надежность платформы и низкие затраты на администрирование: «Vertica практически не требует администрирования. У нас нет выделенного администратора этой СУБД, и обращаться в службу поддержки пока не приходилось — нашей экспертизы и имеющейся документации по Vertica хватает, чтобы решать возникающие вопросы». Вскоре станет доступен анализ информации о складских операциях и логистике. «Нам очень важно отслеживать скорость и качество сборки заказов, а также эффективность работы нашей службы доставки», — поясняет Сергей Павлов. В дальнейших планах — создание витрин данных Vertica для подразделения маркетинга и других отделов. Руководство Lamoda планирует вскоре использовать возможности машинного обучения по базе данных Vertica для прогнозной аналитики и возможности Vertica для анализа данных, находящихся в Hadoop. «Содержащиеся в Vertica возможности в значительной степени соответствуют стратегии технологического развития нашей компании, поэтому мы планируем активно пользоваться ими», — добавляет Сергей Павлов. «Не обязательно разбираться в больших данных, чтобы пользоваться преимуществами от использования Vertica Analytics Platform. Прагматичный подход, предполагающий обновление инфраструктуры бизнес-аналитики, может быстро дать ощутимые бизнес-результаты. Если имеющаяся система не может поддерживать темпы вашего бизнеса, Vertica значительно ускорит создание аналитических отчетов. Это позволит компаниям справляться с растущими объемами и скоростью потоков данных и эффективно их использовать для непрерывного роста бизнеса», — комментирует Евгений Степанов, руководитель отдела продаж Vertica.