Примерное время чтения: 7 Minuti
Если есть данные, поступающие из разных источников, будь то CRM, ленты социальных сетей или данные о поведенческих событиях. И эти данные, скорее всего, хранятся в различных инструментах и системах всего технологического стека (таких как устаревшие системы, облачные инструменты и информационное хранилище o озеро).
Первым шагом в оркестрации данных является сбор и систематизация данных из всех этих различных источников и обеспечение их правильного форматирования для целевого места назначения. Это подводит нас к трансформации.
Данные доступны в нескольких различных форматах. Оно может быть структурированным, неструктурированным или полуструктурированным, либо одно и то же мероприятие может иметь разное соглашение об именах между двумя внутренними командами. Например, одна система может собирать и хранить дату как 21 апреля 2022 года, а другая может хранить ее в числовом формате 20220421.
Чтобы разобраться во всех этих данных, компаниям часто необходимо преобразовать их в стандартный формат. Оркестрация данных может помочь снизить нагрузку на ручную сверку всех этих данных и применение преобразований на основе политик управления данными вашей организации и плана мониторинга.
Важнейшей частью оркестрации данных является предоставление данных для активации. Это происходит, когда чистые консолидированные данные отправляются в последующие инструменты для немедленного использования (например, для создания аудитории кампании или обновления информационной панели бизнес-аналитики).
Оркестровка данных — это, по сути, уничтожение разрозненных данных и фрагментированных систем. Аллюксио ценит что технология обработки данных претерпевает серьезные изменения каждые 3-8 лет. Это означает, что 21-летняя компания с момента своего создания могла использовать 7 различных систем управления данными.
Оркестрация данных также помогает вам соблюдать законы о конфиденциальности данных, устранять узкие места в данных и обеспечивать управление данными — это всего лишь три (среди многих) веских причин для ее внедрения.
Законы о конфиденциальности данных, такие как GDPR и CCPA, содержат строгие правила сбора, использования и хранения данных. Частью соблюдения требований является предоставление потребителям возможности отказаться от сбора данных или потребовать, чтобы ваша компания удалила все их личные данные. Если вы не имеете четкого представления о том, где хранятся ваши данные и кто имеет к ним доступ, удовлетворить этот спрос может быть сложно.
С момента принятия GDPR мы получили миллионы запросов на удаление данных. Очень важно иметь четкое представление обо всем жизненном цикле дать чтобы ничего не ускользнуло.
Без оркестрации данных узкие места представляют собой постоянную проблему. Допустим, вы представляете компанию с несколькими системами хранения данных, и вам необходимо запрашивать информацию. Лицу, ответственному за запросы к этим системам, скорее всего, придется просмотреть много запросов, а это означает, что между командами может возникнуть задержка. что им нужно данных и тех, кто там получить эффективно, что, в свою очередь, может сделать информацию устаревшей.
В хорошо организованной среде этот тип запуска и остановки будет исключен. Ваши данные уже будут переданы последующим инструментам для активации (и эти данные будут стандартизированы, то есть вы можете быть уверены в их качестве).
Управление данными затруднено, когда данные распределены по нескольким системам. Компании не имеют полного представления о жизненном цикле данных и не уверены в том, какие данные хранятся (например, голубь) создает уязвимости, например, не обеспечивает адекватную защиту личной информации.
Оркестрация данных помогает решить эту проблему, обеспечивая большую прозрачность управления данными. Это позволяет компаниям активно блокировать недействительные данные до того, как они попадут в базы данных, или повлиять на отчетность, а также установить разрешения на доступ к данным.
При попытке реализовать оркестровку данных может возникнуть несколько проблем. Вот наиболее распространенные из них, о которых следует знать, и способы их предотвращения.
Разрозненность данных — обычное, если не вредное, явление среди предприятий. По мере развития стеков технологий и того, что разные команды владеют разными аспектами обслуживания клиентов, данные очень легко разбросаны по разным инструментам и системам. Но результатом является неполное понимание эффективности работы компании: от «слепых пятен» на пути клиента до недоверия к точности аналитики и отчетности.
Предприятия всегда будут иметь поток данных из нескольких точек взаимодействия в различные инструменты. Но устранение разрозненности имеет важное значение, если эти компании хотят извлечь выгоду из своих данных.
В последние годы появились некоторые тенденции относительно того, как компании управляют потоком и активацией своих данных. Примером этого является обработка данных в реальном времени, то есть когда данные обрабатываются в течение миллисекунд после создания. Данные в режиме реального времени стали иметь решающее значение во всех отраслях, играя ключевую роль вIoT (например, датчики приближения в автомобилях), здравоохранение, управление цепочками поставок, обнаружение мошенничества и почти мгновенная персонализация. Данные в реальном времени позволяют разрабатывать алгоритмы и, в частности, благодаря достижениям в области машинного обучения и искусственного интеллекта.искусственный интеллект учиться в более быстром темпе.
Еще одной тенденцией стал переход к технологиям, основанным на облако. Хотя некоторые компании полностью перешли на облако, другие могут по-прежнему использовать сочетание локальных систем и облачных решений.
Кроме того, происходит эволюция того, как создается и развертывается программное обеспечение, что влияет на то, как будет выполняться оркестрация данных.
– Отсутствие очистки и проверки данных.
– Отсутствие тестирования рабочих процессов для обеспечения бесперебойности и оптимизации процессов.
– Задержка реагирования на такие проблемы, как несогласованность данных, ошибки сервера, узкие места.
– Отсутствие четкой документации относительно сопоставления данных, происхождения данных и плана мониторинга.
Чтобы измерить рентабельность инвестиций в оркестрацию данных:
– Понять базовую производительность
– Иметь четкий набор целей, ключевых показателей эффективности и задач для оркестрации данных.
– Рассчитайте общую стоимость используемой технологии, а также время и внутренние ресурсы.
– Измеряйте важные показатели, такие как экономия времени, скорость обработки, доступность данных и т. д.
BlogInnovazione.it
Военно-морской сектор является настоящей глобальной экономической державой, которая достигла 150-миллиардного рынка...
В прошлый понедельник Financial Times объявила о сделке с OpenAI. FT лицензирует свою журналистику мирового уровня…
Миллионы людей платят за стриминговые сервисы, выплачивая ежемесячную абонентскую плату. Распространено мнение, что вы…
Coveware от Veeam продолжит предоставлять услуги по реагированию на инциденты, связанные с кибер-вымогательством. Coveware предложит возможности криминалистики и исправления…
