Artikler

Hva er Data Orchestration, utfordringer i Data Analysis

Dataorkestrering er prosessen med å flytte siled data fra flere lagringssteder til et sentralisert depot hvor de kan kombineres, renses og berikes for aktivering (f.eks. rapportering).

Dataorkestrering hjelper til med å automatisere dataflyten mellom verktøy og systemer for å sikre at organisasjoner arbeider med fullstendig, nøyaktig og oppdatert informasjon.

Beregnet lesetid: 7 minutter

De 3 fasene av dataorkestrering

1. Organiser data fra forskjellige kilder

Hvis det er data som kommer fra forskjellige kilder, enten det er CRM, sosiale medier eller atferdsdata. Og disse dataene er sannsynligvis lagret i forskjellige forskjellige verktøy og systemer på tvers av teknologistabelen (som eldre systemer, skybaserte verktøy og datalager o innsjø).

Det første trinnet i dataorkestrering er å samle inn og organisere data fra alle disse forskjellige kildene og sikre at de er formatert riktig for måldestinasjonen. Som bringer oss til: transformasjon.

2. Transformer dataene dine for bedre analyse

Dataene er tilgjengelige i flere forskjellige formater. Det kan være strukturert, ustrukturert eller semi-strukturert, eller den samme hendelsen kan ha en annen navnekonvensjon mellom to interne team. Et system kan for eksempel samle inn og lagre datoen som 21. april 2022, og et annet kan lagre det i numerisk format, 20220421.

For å forstå alle disse dataene, må bedrifter ofte transformere dem til et standardformat. Dataorkestrering kan bidra til å redusere byrden med å manuelt avstemme alle disse dataene og bruke transformasjoner basert på organisasjonens retningslinjer for datastyring og overvåkingsplan.

3. Aktivering av data

En avgjørende del av dataorkestrering er å gjøre data tilgjengelig for aktivering. Dette skjer når rene, konsoliderte data sendes til nedstrømsverktøy for umiddelbar bruk (for eksempel opprettelse av en kampanjepublikum eller oppdatering av et business intelligence-dashbord).

Hvorfor gjøre Data Orchestration

Dataorkestrering er i hovedsak oppheving av siled data og fragmenterte systemer. Alluxio setter pris på at datateknologien gjennomgår store endringer hvert 3.-8. år. Dette betyr at en 21 år gammel bedrift kan ha gått gjennom 7 forskjellige databehandlingssystemer siden oppstarten.

Dataorkestrering hjelper deg også med å overholde lover om personvern, fjerne dataflaskehalser og håndheve datastyring – bare tre (blant mange) gode grunner til å implementere det.

1. Overholdelse av lover om personvern

Personvernlover, som GDPR og CCPA, har strenge retningslinjer for datainnsamling, bruk og lagring. En del av overholdelse er å gi forbrukere muligheten til å velge bort datainnsamling eller å be om at bedriften din sletter alle personlige data. Hvis du ikke har god kontroll på hvor dataene dine er lagret og hvem som får tilgang til dem, kan det være vanskelig å møte denne etterspørselen.

Siden GDPR ble vedtatt, har vi sett millioner av forespørsler om sletting. Det er viktig å ha en solid forståelse av hele livssyklusen til gi for å sikre at ingenting slipper unna.

2. Fjerne dataflaskehalser

Flaskehalser er en kontinuerlig utfordring uten Data Orchestration. La oss si at du er et selskap med flere lagringssystemer som du trenger å spørre etter informasjon. Personen som er ansvarlig for å spørre disse systemene vil sannsynligvis ha mange forespørsler å sile gjennom, noe som betyr at det kan være en forsinkelse mellom lagene som de trenger av dataene og de som er der de mottar effektivt, noe som igjen kan gjøre informasjonen foreldet.

I et godt orkestrert miljø ville denne typen start-og-stopp bli eliminert. Dataene dine vil allerede bli levert til nedstrømsverktøy for aktivering (og disse dataene vil bli standardisert, noe som betyr at du kan stole på kvaliteten).

Nyhetsbrev for innovasjon
Ikke gå glipp av de viktigste nyhetene om innovasjon. Registrer deg for å motta dem på e-post.
3. Bruk datastyring

Datastyring er vanskelig når data er distribuert på tvers av flere systemer. Bedrifter har ikke en fullstendig oversikt over datalivssyklusen og usikkerhet om hvilke data som lagres (f. due) skaper sårbarheter, for eksempel å ikke beskytte personlig identifiserbar informasjon tilstrekkelig.

Data Orchestration hjelper til med å løse dette problemet ved å tilby større åpenhet om hvordan data administreres. Dette lar bedrifter proaktivt blokkere ugyldige data før de når databaser eller konsekvensrapportering og angi tillatelser for datatilgang.

Vanlige utfordringer med Data Orchestration

Det er flere utfordringer som kan oppstå når man prøver å implementere Data Orchestration. Her er de vanligste du bør være oppmerksom på og hvordan du unngår dem.

Datasiloer

Datasiloer er en vanlig, om ikke skadelig, forekomst blant virksomheter. Ettersom teknologistablene utvikler seg og forskjellige team eier ulike aspekter av kundeopplevelsen, er det altfor lett for data å bli kuttet på tvers av forskjellige verktøy og systemer. Men resultatet er en ufullstendig forståelse av bedriftens ytelse, fra blinde flekker i kundereisen til mistillit til nøyaktigheten av analyser og rapportering.

Bedrifter vil alltid ha data som flyter fra flere berøringspunkter til forskjellige verktøy. Men å bryte ned siloer er avgjørende hvis disse selskapene ønsker å få verdi fra dataene sine.

    Nye trender innena Dataorkestering

    De siste årene har det dukket opp noen trender angående hvordan selskaper styrer flyten og aktiveringen av dataene sine. Et eksempel på dette er databehandling i sanntid, som er når data behandles innen millisekunder etter generering. Sanntidsdata har blitt avgjørende på tvers av alle bransjer, og spiller en nøkkelrolle iIOT (for eksempel nærhetssensorer i biler), helsetjenester, forsyningskjedestyring, svindeloppdagelse og nesten umiddelbar personalisering. Spesielt med fremskritt innen maskinlæring og kunstig intelligens, tillater sanntidsdata algoritmer ogkunstig intelligens å lære i et raskere tempo.

    En annen trend har vært skiftet til teknologier basert på sky. Mens noen selskaper har flyttet helt til sky, kan andre fortsette å ha en blanding av lokale systemer og skybaserte løsninger.

    Deretter er det utviklingen av hvordan programvare har blitt bygget og distribuert, som påvirker hvordan dataorkestrering vil bli utført. 

    Relaterte lesninger

    Ofte stilte spørsmål

    Hva er vanlige feil å unngå når du implementerer dataorkestrering?

    – Inneholder ikke datarensing og validering
    – Ikke testing av arbeidsflyter for å sikre jevne og optimaliserte prosesser
    – Forsinkede svar på problemer som datainkonsekvenser, serverfeil, flaskehalser
    – Ikke ha klar dokumentasjon på plass angående datakartlegging, datalinje og overvåkingsplan

    Hvordan måle ROI av dataorkestreringsinitiativer?

    Slik måler du ROI av dataorkestrering:
    – Forstå grunnleggende ytelse
    – Ha et klart sett med mål, KPIer og målsetninger i tankene for dataorkestrering
    – Beregn totalkostnaden for teknologien som brukes, sammen med tid og interne ressurser
    – Mål viktige beregninger som spart tid, prosesseringshastighet og datatilgjengelighet, etc.

    BlogInnovazione.it

    Nyhetsbrev for innovasjon
    Ikke gå glipp av de viktigste nyhetene om innovasjon. Registrer deg for å motta dem på e-post.

    Siste artikler

    Utgivere og OpenAI signerer avtaler for å regulere flyten av informasjon som behandles av kunstig intelligens

    Sist mandag kunngjorde Financial Times en avtale med OpenAI. FT lisensierer sin journalistikk i verdensklasse...

    30 april 2024

    Nettbetalinger: Her er hvordan strømmetjenester får deg til å betale for alltid

    Millioner av mennesker betaler for strømmetjenester og betaler månedlige abonnementsavgifter. Det er vanlig oppfatning at du...

    29 april 2024

    Veeam har den mest omfattende støtten for løsepengevare, fra beskyttelse til respons og gjenoppretting

    Coveware by Veeam vil fortsette å tilby responstjenester for cyberutpressing. Coveware vil tilby kriminaltekniske og utbedringsmuligheter...

    23 april 2024

    Grønn og digital revolusjon: Hvordan prediktivt vedlikehold transformerer olje- og gassindustrien

    Prediktivt vedlikehold revolusjonerer olje- og gasssektoren, med en innovativ og proaktiv tilnærming til anleggsledelse...

    22 april 2024