Articles

Què és l'orquestració de dades, reptes en l'anàlisi de dades

L'orquestració de dades és el procés de traslladar dades en silos des de diverses ubicacions d'emmagatzematge a un dipòsit centralitzat on es poden combinar, netejar i enriquir per activar-les (p. ex., informes).

L'orquestració de dades ajuda a automatitzar el flux de dades entre eines i sistemes per garantir que les organitzacions treballin amb informació completa, precisa i actualitzada.

Temps estimat de lectura: 7 acta

Les 3 fases de l'orquestració de dades

1. Organitzar dades de diferents fonts

Si hi ha dades procedents de diferents fonts, ja sigui el CRM, les xarxes socials o les dades d'esdeveniments de comportament. I és probable que aquestes dades s'emmagatzemin en diverses eines i sistemes diferents de la pila tecnològica (com ara sistemes heretats, eines basades en núvol i magatzem de dades o llac).

El primer pas en l'orquestració de dades és recollir i organitzar les dades de totes aquestes fonts diferents i assegurar-se que tinguin el format correcte per a la destinació de destinació. El que ens porta a: transformació.

2. Transformeu les vostres dades per a una millor anàlisi

Les dades estan disponibles en diversos formats diferents. Pot ser estructurat, no estructurat o semiestructurat, o el mateix esdeveniment pot tenir una convenció de denominació diferent entre dos equips interns. Per exemple, un sistema podria recopilar i emmagatzemar la data com a 21 d'abril de 2022, i un altre podria emmagatzemar-la en format numèric, 20220421.

Per donar sentit a totes aquestes dades, les empreses sovint necessiten transformar-les en un format estàndard. L'orquestració de dades pot ajudar a reduir la càrrega de conciliar manualment totes aquestes dades i aplicar transformacions basades en les polítiques de govern de dades i el pla de supervisió de la vostra organització.

3. Activació de dades

Una part crucial de l'orquestració de dades és fer que les dades estiguin disponibles per a l'activació. Això passa quan s'envien dades netes i consolidades a eines posteriors per utilitzar-les immediatament (per exemple, crear un públic de campanya o actualitzar un tauler d'intel·ligència empresarial).

Per què fer l'orquestració de dades

L'orquestració de dades és essencialment la desfer de dades en silos i sistemes fragmentats. Alluxio ho agraeix que la tecnologia de dades experimenta grans canvis cada 3-8 anys. Això significa que una empresa de 21 anys pot haver passat per 7 sistemes de gestió de dades diferents des de la seva creació.

L'orquestració de dades també us ajuda a complir les lleis de privadesa de dades, eliminar colls d'ampolla de dades i fer complir el govern de les dades: només tres (entre moltes) bones raons per implementar-la.

1. Compliment de les lleis de privacitat de dades

Les lleis de privadesa de dades, com ara el GDPR i la CCPA, tenen directrius estrictes per a la recollida, l'ús i l'emmagatzematge de dades. Una part del compliment és oferir als consumidors l'opció de desactivar la recollida de dades o de sol·licitar que la vostra empresa suprimi totes les seves dades personals. Si no tens un bon control sobre on s'emmagatzemen les teves dades i qui hi accedeix, pot ser que sigui difícil satisfer aquesta demanda.

Des que es va promulgar el GDPR, hem vist milions de sol·licituds d'esborrament. És essencial tenir una comprensió sòlida de tot el cicle de vida de Dati per assegurar-se que no s'escapi res.

2. Eliminació de colls d'ampolla de dades

Els colls d'ampolla són un repte constant sense l'orquestració de dades. Suposem que sou una empresa amb diversos sistemes d'emmagatzematge que necessiteu per consultar informació. És probable que la persona responsable de consultar aquests sistemes tingui moltes sol·licituds per examinar, el que significa que pot haver-hi un retard entre els equips. que necessiten de les dades i els que hi ha reben eficaçment, cosa que al seu torn pot fer que la informació quedi obsoleta.

En un entorn ben orquestrat, aquest tipus d'inici i parada s'eliminaria. Les vostres dades ja es lliuraran a eines posteriors per activar-les (i aquestes dades s'estandarditzaran, el que significa que podeu tenir confiança en la seva qualitat).

Butlletí d'innovació
No et perdis les notícies més importants sobre innovació. Registra't per rebre'ls per correu electrònic.
3. Aplicar el govern de les dades

El govern de les dades és difícil quan les dades es distribueixen entre diversos sistemes. Les empreses no tenen una visió completa del cicle de vida de les dades i la incertesa sobre quines dades s'emmagatzemen (p. ex. colom) crea vulnerabilitats, com ara no protegir adequadament la informació d'identificació personal.

L'orquestració de dades ajuda a solucionar aquest problema oferint una major transparència sobre com es gestionen les dades. Això permet a les empreses bloquejar de manera proactiva les dades dolentes abans que arribin a les bases de dades o afectin els informes i establir permisos per a l'accés a les dades.

Reptes comuns amb l'orquestració de dades

Hi ha diversos reptes que poden sorgir quan s'intenta implementar l'orquestració de dades. Aquests són els més habituals que cal tenir en compte i com evitar-los.

Sitges de dades

Les sitges de dades són un fet comú, si no nociu, entre les empreses. A mesura que les piles de tecnologia evolucionen i els diferents equips posseeixen diferents aspectes de l'experiència del client, és massa fàcil que les dades s'agrupin en diferents eines i sistemes. Però el resultat és una comprensió incompleta del rendiment de l'empresa, des dels punts cecs en el recorregut del client fins a la desconfiança en la precisió de les anàlisis i els informes.

Les empreses sempre tindran dades que flueixen des de diversos punts de contacte a diverses eines diferents. Però trencar les sitges és essencial si aquestes empreses volen treure valor de les seves dades.

    Tendències emergents ena Orquestració de dades

    En els darrers anys, han sorgit algunes tendències sobre com les empreses gestionen el flux i l'activació de les seves dades. Un exemple d'això és el processament de dades en temps real, que és quan les dades es processen en uns mil·lisegons de generació. Les dades en temps real s'han convertit en crucials en totes les indústries, i tenen un paper clauIO (per exemple, sensors de proximitat als cotxes), assistència sanitària, gestió de la cadena de subministrament, detecció de fraus i personalització gairebé instantània. Particularment amb els avenços en l'aprenentatge automàtic i la intel·ligència artificial, les dades en temps real permeten algorismes iintel·ligència artificial per aprendre a un ritme més ràpid.

    Una altra tendència ha estat el canvi a tecnologies basades en (cloud. Mentre que algunes empreses s'han traslladat completament a (cloud, altres poden continuar tenint una combinació de sistemes locals i solucions basades en núvol.

    A continuació, hi ha l'evolució de com s'ha construït i desplegat el programari, que afecta la manera com es realitzarà l'orquestració de dades. 

    Lectures relacionades

    Preguntes freqüents

    Quins són els errors habituals que cal evitar quan s'implementa l'orquestració de dades?

    – No incorporar la neteja i validació de dades
    – No provar els fluxos de treball per garantir processos fluids i optimitzats
    – Respostes retardades a problemes com ara inconsistències de dades, errors del servidor, colls d'ampolla
    – No disposar de documentació clara sobre el mapeig de dades, el llinatge de dades i un pla de seguiment

    Com mesurar el ROI de les iniciatives d'orquestració de dades?

    Per mesurar el ROI de l'orquestració de dades:
    – Comprendre el rendiment bàsic
    – Tingueu en compte un conjunt clar d'objectius, KPIs i objectius per a l'orquestració de dades
    – Calcular el cost total de la tecnologia utilitzada, juntament amb el temps i els recursos interns
    – Mesureu mètriques importants com ara el temps estalviat, la velocitat de processament i la disponibilitat de dades, etc.

    BlogInnovazione.it

    Butlletí d'innovació
    No et perdis les notícies més importants sobre innovació. Registra't per rebre'ls per correu electrònic.

    Articles recents

    El futur és aquí: com la indústria naviliera està revolucionant l'economia global

    El sector naval és una veritable potència econòmica mundial, que ha navegat cap a un mercat de 150 milions...

    1 maig 2024

    Els editors i OpenAI signen acords per regular el flux d'informació processada per la Intel·ligència Artificial

    Dilluns passat, el Financial Times va anunciar un acord amb OpenAI. FT autoritza el seu periodisme de classe mundial...

    30 2024 abril

    Pagaments en línia: aquí teniu com els serveis de streaming us fan pagar per sempre

    Milions de persones paguen per serveis de streaming, pagant quotes de subscripció mensuals. És l'opinió comuna que tu...

    29 2024 abril

    Veeam ofereix el suport més complet per a ransomware, des de la protecció fins a la resposta i la recuperació

    Coveware de Veeam continuarà oferint serveis de resposta a incidents d'extorsió cibernètica. Coveware oferirà capacitats forenses i de reparació...

    23 2024 abril