Приблизний час читання: 7 хвилин
Якщо дані надходять з різних джерел, будь то CRM, канали соціальних мереж або дані про поведінкові події. І ці дані, ймовірно, зберігаються в різних інструментах і системах у всьому стеку технологій (таких як застарілі системи, хмарні інструменти та сховище даних o озеро).
Першим кроком до оркестровки даних є збір і систематизація даних з усіх цих різних джерел і переконання, що вони правильно відформатовані для цільового призначення. Що підводить нас до: трансформація.
Дані доступні в кількох різних форматах. Вона може бути структурованою, неструктурованою чи напівструктурованою, або одна й та сама подія може мати різні назви між двома внутрішніми командами. Наприклад, одна система може збирати та зберігати дату як 21 квітня 2022 року, а інша може зберігати її в числовому форматі 20220421.
Щоб зрозуміти всі ці дані, компаніям часто потрібно перетворити їх у стандартний формат. Оркестровка даних може допомогти зменшити тягар узгодження вручну всіх цих даних і застосування перетворень на основі політики керування даними вашої організації та плану моніторингу.
Важливою частиною оркестровки даних є надання даних для активації. Це відбувається, коли чисті консолідовані дані надсилаються до подальших інструментів для негайного використання (наприклад, для створення аудиторії кампанії або оновлення інформаційної панелі бізнес-аналітики).
Оркестровка даних — це, по суті, скасування ізольованих даних і фрагментованих систем. Alluxio цінує що технологія обробки даних зазнає серйозних змін кожні 3-8 років. Це означає, що 21-річна компанія, можливо, пройшла через 7 різних систем управління даними з моменту створення.
Оркестровка даних також допомагає вам дотримуватися законів про конфіденційність даних, усунути вузькі місця в даних і запровадити управління даними – лише три (серед багатьох) вагомі причини для його впровадження.
Закони про конфіденційність даних, такі як GDPR і CCPA, містять суворі вказівки щодо збору, використання та зберігання даних. Частиною відповідності є надання споживачам можливості відмовитися від збору даних або попросити вашу компанію видалити всі їхні особисті дані. Якщо ви не знаєте, де зберігаються ваші дані та хто має до них доступ, може бути важко задовольнити цей попит.
З моменту введення в дію GDPR ми отримали мільйони запитів на видалення. Важливо мати чітке розуміння всього життєвого циклу дані щоб нічого не втекло.
Вузькі місця є постійною проблемою без оркестровки даних. Припустімо, ви є компанією з кількома системами зберігання даних, які вам потрібно отримати інформацію. Особа, відповідальна за запити до цих систем, швидше за все, матиме багато запитів для просіювання, що означає, що може бути затримка між командами що їм потрібно даних і тих, хто там є вони отримують ефективно, що, у свою чергу, може зробити інформацію застарілою.
У добре організованому середовищі цей тип старт-стоп був би усунений. Ваші дані вже будуть доставлені до подальших інструментів для активації (і ці дані будуть стандартизовані, тобто ви можете бути впевнені в їх якості).
Управління даними ускладнюється, коли дані розподіляються між кількома системами. Компанії не мають повного уявлення про життєвий цикл даних і невизначеність щодо того, які дані зберігаються (наприклад, голуб) створює вразливі місця, наприклад неналежний захист особистої інформації.
Оркестрація даних допомагає вирішити цю проблему, пропонуючи більшу прозорість управління даними. Це дозволяє компаніям проактивно блокувати недійсні дані до того, як вони потраплять до баз даних або вплинуть на звітність, і встановлювати дозволи на доступ до даних.
Існує кілька проблем, які можуть виникнути під час спроби впровадження оркестровки даних. Ось найпоширеніші з них, про які слід знати та як їх уникнути.
Розташування даних є звичайним, якщо не шкідливим, явищем серед компаній. Оскільки стеки технологій розвиваються, а різні команди володіють різними аспектами взаємодії з клієнтами, дані надто легко розподіляються між різними інструментами та системами. Але результатом є неповне розуміння діяльності компанії, від сліпих плям на шляху клієнта до недовіри до точності аналітики та звітності.
Компанії завжди матимуть дані, що надходять із кількох точок дотику до різних інструментів. Але якщо ці компанії хочуть отримувати користь від своїх даних, необхідно знищити синоніми.
В останні роки з’явилися деякі тенденції щодо того, як компанії керують потоком та активацією своїх даних. Прикладом цього є обробка даних у реальному часі, коли дані обробляються протягом мілісекунд після генерації. Дані в реальному часі стали вирішальними в усіх галузях, відіграючи ключову роль уIoT (наприклад, датчики наближення в автомобілях), охорона здоров’я, управління ланцюгом поставок, виявлення шахрайства та майже миттєва персоналізація. Зокрема завдяки прогресу в машинному навчанні та штучному інтелекті дані в реальному часі дозволяють алгоритмам іштучний інтелект вчитися швидше.
Іншою тенденцією став перехід до технологій, заснованих на хмара. Хоча деякі компанії повністю переїхали на хмара, інші можуть і надалі мати поєднання локальних систем і хмарних рішень.
Крім того, існує еволюція того, як створювалося та розгорталося програмне забезпечення, що впливає на те, як виконуватиметься оркестровка даних.
– Не включає очищення та перевірку даних
– Не тестування робочих процесів для забезпечення безперебійних та оптимізованих процесів
– Затримка відповідей на такі проблеми, як невідповідність даних, помилки сервера, вузькі місця
– Відсутність чіткої документації щодо відображення даних, походження даних і плану моніторингу
Щоб виміряти рентабельність інвестицій оркестровки даних:
– Розуміти базову продуктивність
– Майте на увазі чіткий набір цілей, ключових показників ефективності та завдань для організації даних
– Розрахувати загальну вартість використаної технології разом із часом і внутрішніми ресурсами
– Вимірюйте такі важливі показники, як заощаджений час, швидкість обробки та доступність даних тощо.
BlogInnovazione.it
У поліклініці Катанії проведено операцію офтальмопластики за допомогою комерційного переглядача Apple Vision Pro…
Розвиток дрібної моторики за допомогою розфарбовування готує дітей до більш складних навичок, таких як письмо. Розфарбувати…
Військово-морський сектор є справжньою глобальною економічною силою, яка просунулася до 150-мільярдного ринку...
Минулого понеділка Financial Times оголосила про угоду з OpenAI. FT ліцензує свою журналістику світового рівня…
