Splunk — Google для машинных данных

Kогда я задумываюсь о больших данных, то в первую очередь воспринимаю их как непрерывный поток. Данные, с которыми работаем мы в CleverDATA, больше похожи на воду, чем на залежи породы где-то в горах.

splunk cleverdata

Ключевые кейсы, с которыми мы сталкиваемся в последнее время, требуют принятия решений на основании данных близких к реальному времени. Одним из инструментов, активно нами используемых и заслуживших наше внимание, является продукт компании Splunk, о партнерстве с которой мы объявили совсем недавно.

В последнее два года при упоминании больших данных в основном рассматриваются задачи, связанные с аналитикой, поиском гипотез. О том, как их правильно решать, мы уже обсуждали. Но!

Нужно не забывать, что прежде, чем мы начинаем работать с данными, к ним необходимо достучаться.

Хорошо, если они лежат в одном месте, в структурированном хранилище, к которому можно спокойно написать пару запросов, на знакомых нам языках и сделать несколько витрин.

Но когда речь заходит о больших данных, то все чаще требуются инструменты, позволяющие принимать решение в реальном времени. Таких кейсов очень много — особенно когда речь заходит о клиенте из digital мира. Когда нам в CleverDATA требуется в реальном времени получить доступ к источнику информации, мы используем Splunk.

Splunk — это Google для машинных данных!

Splunk хорошо зарекомендовал себя в мире и у нас в России как система мониторинга ИТ-инфраструктуры, а также активно используется в кейсах службы безопасности, в особенности в антифрод-решениях. Ключевой особенностью Splunk является умение искать информацию в структурированных и непрерывно пополняемых источниках информации (а с появлением HUNK и в неструктурированных) — логах серверов, датчиков, бизнес-приложений и других источниках. Мы сами активно используем Splunk для мониторинга нашего Data-as-a-Service решения — площадки 1DMP.RU.

Так сложилось, что в CleverDATA мы всегда стараемся выйти за рамки стандартных задач.

Все больше погружаясь в «понимание клиента», мы видим большой потенциал в проблематике, выходящей за рамки Служб ИТ и Безопасности.

Если продукт позволяет в реальном времени получать информацию с множества разрозненных источников, находить корреляции между ними и в реальном времени инициировать обработку нужных событий, то дальше только фантазия может ограничить нас от нахождения способов его применения.

Мы в CleverDATA специализируемся на тематике Big Data в части оптимизации Клиентского Опыта (Customer eXperience) и понимания клиента. Мы умеем решать все вопросы, связанные со сбором информации о клиенте в одном месте, с обогащениям данных о клиенте, подключением внешних 2- и 3-party данных.

Формирование Профиля Клиента, который используется в различных бизнес кейсах (маркетинговые кампании, кросс-продажи и т.д.), требует обновления в реальном времени, для того, чтобы можно было принимать решения, опираясь на актуальную информацию. Например, для того, чтобы показать клиенту в Digital канале предложение на основании его предпочтений, мы должны использовать данные о его истории web-серфинга насколько близко к настоящему моменту, насколько это возможно.  И Splunk позволяет подключить такие источники информации к нашему решению.

Совсем недавно мой коллега, —  Дмитрий Аношин, сделал отличную презентацию о продукте Splunk, с которой вы можете ознакомиться.

Я говорил, что мы всегда ищем только самые интересные кейсы? Вот вам кейс от Splunk:

«В Японии управляющая компания небоскреба-бизнес-центра установила Splunk, чтобы отслеживать поток посетитилей по датчикам, установленным в лифтах. Анализируя трафик на этажах, где и как часто останавливаются лифты, они могли сделать вывод — у кого из арендаторов дела идут «не очень» и, что пора искать на их место новых «жителей», тем самым сократив время простоя помещений до минимума.»

С точки зрения математики и больших данных — задача вроде бы совсем простая, но для бизнеса ее решение — одно из важнейших.

Не ищите сложных решений. Очень часто самое ценное лежит на поверхности!  

Вопрос: Используете ли вы в своей организации real-time аналитику? Поделитесь яркими примерами или яркими упущенными возможностями. 

Вы можете оставить комментарий здесь

Я оставляю за собой право удалять комментарии, которые считаю неуместными, грубыми или оскорбительными.

  • Александр

    В описанном примере с Японским БизнесЦентром по моему ощущается какая-то натянутость.
    Чтобы сократить время простоя арендных площадей до минимума требуется в первую очередь
    Очередь из желающих занять помещение. Даже если арендодатель в точности знает как идут дела у каждого конкретного арендатора, пока не истечет договор он не может его выкинуть.
    Таким образом нет никакой ценности в понимании «Как идут дела у арендатора» если до даты истечения договора еще год или больше.
    Лишь незадолго до даты обновления договора нужно подыскать кандидатов на аренду.
    К тому-же их (кандидатов) надо искать при любом положении дел у арендатора, т.к. клиент может съехать и при «достаточном» количестве посещений, например он осознал, что ему тесно. А может и не съехать, она нашел деньги на аренду, БЦ получил, что хотел. Все кому уже успели порекомендовать эти помещения — понуро в колонну на выход.
    Но опять-же чтобы было кем заполнить площади — нужна очередь из кандидатов. Если она есть — проблем нет, а если кандидатов нет то …..
    Я наверное сейчас похож на эдакого деда-консерватора в перерывах между семечками критикующего все что видит. Заверяю вас, это не так, я критикую даже то чего не вижу :).
    Я понимаю что это всего лишь пример и к возможностям системы он имеет крайне мало отношения, но как говорится «Ложечки потом конечно-же нашлись, но осадок остался»

    • А куда же без ложечек 🙂 пример, возможно, не самый яркий. Кейс с оптимизацией производства пива, отслеживая информацию с датчиков на каждом из этапов пивоварения — более показательный.
      Не вдаваясь в детали и причины, почему +8000 клиентов по всему миру используют Splunk, еще раз сформулирую вопрос — в каких кейсах (кроме ИТ-мониторинга и задач безопасности) применение решений, позволяющих находить корреляцию между множеством событий в реальном времени могло бы действительно принести пользу Бизнесу?

      • Александр

        Ну чисто «на вскидку» мне кажется, что одними из первых подобными решениями должны были бы заинтересоваться Банки и Страховые компании. Например для определения платежеспособности клиента при выдаче кредита или рискованности его страхования. Сейчас они насколько я знаю, оперируют только общими анкетными данными. А более глубокое копание в его «досье» (история перемещений, интернет покупок, расход на моб связь, профиль в Соц.Сетях) наверняка позволит более точно определить психотип и гораздо точнее отнести клиента к какой-либо группе.

        • Уже есть и продвинутые банки, которые активно используют информацию о web-трафике своих клиентов, скупают такие массивы данных для обогащения собственных клиентских данных и последующего анализа. Например, Тинькофф Банк.

      • Александр

        Я тут как раз на днях подумал, что в самой благоприятной ситуации для развития и продвижения Больших Данных оказались операторы сотовой связи. В наши дни номер сотового телефона стал уже фактически однозначным идентификатором человека. Он его сопровождает повсюду, все больше и больше операций совершается через него. Да, черт подери, они даже фотографируют через телефон!
        И вся эта информация естественным образом стекается в базы Операторов Связи — копай не хочу. Когда право покопаться в их базе начнут давать реальные деньги, сотовая связь наверное вообще бесплатной станет 🙂

        Кажется пора менять работу. 🙂