Несколько лет назад фразу «Будущее за Big Data» на разные голоса повторяли эксперты, управленцы и журналисты. И они оказались правы. Количество информации, генерируемой во всем мире, растет по экспоненте. Соцсети и СМИ, архивы и транзакции, приборы и счетчики, датчики сотовой связи и двигатели самолетов – данные создаются каждую секунду.
Где полезна аналитика больших данных
Сфер применения Big Data все больше. Данные называют «новой нефтью». С ними работают во многих отраслях экономики и государственного управления: в промышленности, ритейле, медицине, спорте. Этот список с каждым годом будет пополняться. Например, недавно суды Китая стали консультироваться с искусственным интеллектом. Он «натренирован» на массиве данных, пополняемом на основе реальных, принятых судами решений — это около 100 тысяч в сутки.
Большие данные – это ценный ресурс. В 2016 году в рамках процедуры банкротства игрового подразделения Caesars Entertainment – одного из крупнейших игроков игорного бизнеса США – значимым активом компании был назван впечатляющий объем данных о клиентах, накопленный за 17 лет работы программы лояльности Total Rewards.
По данным IDC, к 2025 году объем больших данных составит 175 зеттабайтов, причем 60% из них будут создаваться и управляться предприятиями, а не потребителями (по сравнению с 30% в 2015 году). Это открывает перед компаниями большие возможности, но и новые вызовы.
Оставьте заявку на демонстрацию: Гибридная Интеграционная Платформа Bercut с возможностями low-code
Что тормозит использование больших данных
Важные вопросы, стоящие перед топ-менеджерами и IT-директорами, – где хранить и как обрабатывать такое количество информации. С первым проще: нужно физически расширить собственный ЦОД или использовать облачную структуру. Либо же создать гибридную среду, где определенный набор данных – как правило, конфиденциальных – остается на локальных серверах, а остальные перемещаются в облака. С ростом объема информации и затрат на ее хранение нужно искать новые способы ее монетизации. Ведь никто не хочет, чтобы данные лежали мертвым грузом и тратили бюджет компании, не принося ей никакой выгоды.
Вопрос обработки данных более трудный. В первую очередь потому, что большие данные бесполезны без аналитики. Специалисты по данным, искусственному интеллекту и машинному обучению – это люди, которые могут извлечь из информации пользу для бизнеса. Но еще в 2019 году KPMG выяснили, что IT- и технические директора сталкиваются с огромной нехваткой кадров, а навыки Data Science были названы в тройке самых дефицитных.
В попытках преодолеть разрыв между потребностями бизнеса и предложением на рынке труда компании предлагают сотрудникам все более выгодные условия или стараются вырастить собственные кадры. Так как требования к квалификации остаются на высоком уровне, расходы на привлечение и обучение сотрудников растут, что затратно для целящихся быть технологичными компаний. Мы все чаще слышим запрос компаний, стремящихся передать часть обязанностей в руки «гражданских» аналитиков, junior-разработчиков и менеджеров.
Повторим еще раз: без обработки большие данные не представляют ценности, а наоборот, тратят деньги и другие ресурсы компании. Именно поэтому, как предполагают аналитики, фокус с Big Data переключится на Fast Data («данные, поступающие в режиме реального времени») или Actionable Data («действенные данные»). Это подход, при котором информация обрабатывается и анализируется в режиме реального времени или практически сразу же после поступления. Сами по себе большие данные слишком сложны и объемны, поэтому из них нельзя получить инсайты.
По оценке Gartner, сейчас около 90% данных остаются неструктурированными.
В поиске возможностей для монетизации компании создают дата-альянсы, которых на российском рынке с каждым годом становится все больше.
Например, ритейлеры и поставщики объединяются друг с другом, чтобы совместно прогнозировать покупательский спрос и своевременно пополнять товарные запасы, корректировать маркетинговые планы и оптимизировать затраты на логистику. Однако и здесь перед компаниями возникает новый вызов – нужно интегрировать разнородный IT-ландшафт, чтобы обмениваться строго определенной информацией в нужном формате.
Как ускорить развитие Big Data с помощью low-сode
На помощь бизнесу и IT-директорам, желающим извлечь пользу из больших данных, приходит low-code. Это платформы, которые позволяют с минимумом кода (или без него) собирать удобные бизнес-процессы из готовых модулей через визуальные интерфейсы drag-and-drop («перетянуть мышкой»). Это решение позволяет «демократизировать» разработку, привлекая к ней специалистов младшего уровня и других сотрудников, относящихся к миру IT, но не обладающих глубокими знаниями в области программирования.
Это открывает новые возможности для извлечения пользы из больших данных и решения проблемы кадрового дефицита на рынке труда. Low-code и no-code позволяют работать с Big Data на всех основных этапах – от сбора и очистки до визуализации.
По прогнозам Gartner, к 2024 году 65% всех приложений будут разрабатываться на платформах low-code.
Low-code способен объединить данные из множества систем
В компаниях почти всегда есть разработка in-house, в рамках которой, как правило, используется множество open-source инструментов. Low-сode помогает объединить данные из разных систем при помощи простых в реализации API-интерфейсов и коннекторов, которые интегрируются со сторонними интерфейсами и сервисами, позволяют быстро размещать и запускать интеграции с разными источниками.
Low-сode позволяет не просто создавать отдельные сервисы под разные задачи. Его можно встроить в единую систему администрирования компании, а также создавать с его помощью мосты между разрозненным IT-ландшафтом и объединять системы компаний-партнеров.
Это открывает новые возможности для создания дата-альянсов. Например, при реализации партнерской программы один из партнеров может предоставить доступ к своей клиентской базе, а второй – оказывать этим пользователям свои услуги на специальных условиях.
Low-сode позволяет проводить первичную аналитику
Low-сode упрощает анализ данных точно так же, как в свое время Tilda «демократизировала» разработку веб-сайтов. То, что раньше требовало больших временных, финансовых и интеллектуальных затрат, на low-code может выполнить junior-разработчик или менеджер, не знакомый с SQL, потому что эти инструменты не требуют углубленных знаний.
При помощи low-code можно делать анализ сегментов клиентской базы или создавать для чат-ботов сценарии взаимодействия с пользователем. Или, продолжая пример из предыдущего пункта, по запросу от партнера можно выдавать не данные as-is, а новый критерий, вычисленный на уровне платформы low-code. Например, подтверждать партнеру, что пользователь имеет нужную по условиям акции активную подписку, а на его счете достаточно бонусных баллов, чтобы их списать за подключение партнерской услуги.
Low-сode передает данные в нужном формате
Еще одно бизнес-преимущество low-code – это возможность передавать данные за пределы компании в нужном формате по Open API, что открывает дополнительный источник их монетизации.
Так, в примере с обменом данными между двумя компаниями, один партнер может предоставить другому ровно те данные, которые обозначены в рамках API. Это позволяет соблюсти как законодательство о защите персональных данных, так и конкретные договоренности с партнерами.
Low-code ускоряет работу с данными
Чем больше данных накапливает компания, тем чаще будут к ним обращаться, а значит, они должны быть функциональными. Low-сode сокращает время на разработку сервисов и приложений. Он также упрощает доступ к аналитике «гражданским» разработчикам, начинающим специалистам и менеджерам.
Кроме того, один раз настроенный процесс не будет требовать постоянного участия сотрудников, а эффективность для конечного пользователя увеличится. Например, крупный банк может использовать массивы больших данных, чтобы автоматизировать процесс одобрения кредитных заявок, освобождая сотрудников от рутинных операций.
Гибридная Интеграционная Платформа Bercut с возможностями low-code
Платформа low-code для работы с большими данными: на что обратить внимание
Чтобы работа с low-code принесла ожидаемые результаты, следует обратить внимание на несколько важных аспектов.
Low-code должен интегрироваться со множеством систем
Есть два способа соблюдения этого требования. Первый – предусмотреть возможности для расширения числа коннекторов на платформе при необходимости. Альтернативой этому может стать большой стартовый набор коннекторов, предлагаемый поставщиком. Но возможность добавлять новые всегда лучше, особенно если нужного коннектора не окажется в «базовом» комплекте.
Удобный интерфейс – неоспоримое преимущество
Как правило, все платформы low-code используют визуальные интерфейсы. Это может улучшить качество взаимодействия ваших команд, потому что все процессы, скрывающиеся за строками кода, в low-code представлены в виде блок-схем. Такой способ визуализации дает доступ ко множеству функций и операций, а также позволяет сотрудникам из разных подразделений компании лучше понимать друг друга. А новым сотрудникам будет легче разобраться в уже написанном процессе.
Если у платформы low-code есть возможность стандартного программирования через написание кода на языках программирования (например, BPEL), то с ней могут работать разработчики более высокого уровня. Это позволит более эффективно распределять задачи внутри команды.
Надежность и безопасность превыше всего
Для больших корпораций, имеющих многомиллионные базы клиентов и широкие партнерские сети, важна возможность запустить Business API, чтобы вовне уходили понятные и легко интегрируемые данные.
Для этих целей больше подойдут облачные платформы с возможностью low-code класса iPaaS («Integration platform as a service», интеграционная платформа как услуга). Плюсы очевидны: возможность организовать маркетплейс API в веб-интерфейсе и развивать сообщество разработчиков, которые будут обмениваться собственными наработками или даже монетизировать их.
Облачная платформа для low-code выигрывает в функциональности у on-premise-решений, но в то же время проигрывает им с точки зрения требований к безопасности данных. В этом случае стоит рассмотреть вариант создания гибридной среды, где часть наиболее чувствительных данных останется на внутренних серверах компании. Это позволит воспользоваться преимуществами обоих подходов.
Чем больше данных, тем выше требования
Если вы планируете анализировать большие данные через интерфейс low-code, то обратите внимание на следующие функции: поддержку брокеров очередей и модели pub/sub, инструменты управления перегрузками и балансировкой, развитые подсистемы корреляций и автоматический запуск бизнес-процессов по расписанию.
Резюме
Low-code делает большие данные действенным инструментом в руках разработчиков, менеджеров и аналитиков, создавая новые возможности для бизнеса. Монетизация данных, создание дата-альянсов и совершенствование бизнес-процессов – эти и другие перспективы открываются перед вами, если снять ограничения, с которыми индустрия Big Data сталкивается сегодня. С low-code большие данные перестают быть мертвым грузом и становятся ценным ресурсом.
Но при выборе платформы особое внимание стоит уделить ее характеристикам: возможности добавлять новые коннекторы, удобному визуальному интерфейсу с широким инструментарием, а также безопасности, надежности и наличию необходимой функциональности для обработки большого количества событий.
Bercut – разработчик высоконагруженных IT-систем с 27-летним опытом. Среди наших продуктов – гибридная интеграционная платформа, которая позволяет компаниям на уровнях no-code, low-code и pro-code создавать собственные продукты, проводить автоматизацию бизнеса и управлять данными из внутренних и внешних систем. Нас выбирают крупнейшие компании на российском и зарубежных рынках.
