Analytics zonder het managen van data pipelines, lijkt iets onmogelijks. Dashboards en rapporten beginnen met data. Data moet per definitie gestructureerd worden om tot inzichten te komen. Het opzetten van business intelligence oplossingen begint dan ook met het inventariseren en het ontsluiten van databronnen. Doordat de infrastructuur waarop datawarehouses draaien de afgelopen jaren veel krachtiger is geworden, zijn we tot een punt gekomen waar de traditionele ETL procedures, die de data van een operationele database naar het datawarehouse wegschrijven, langzaam maar zeker aan het veranderen zijn naar een ELT (Extract, Load, Transform in plaats van Extract, Transform, Load). Hoe je dit ook draait of keert, er is een mate van standaardisering nodig om een eenduidige kijk op de data te creëren.
Projecten in business intelligence bestaan vaak uit het uitlijnen van fysieke databronnen, naar iets dat presenteerbaar is voor de business. Dit houdt in dat de data uit de databronnen zo dusdanig gemodelleerd moet worden, dat de manier waarop de business naar de data kijkt, overeen moet komen met hoe de data zich fysiek in het datawarehouse bevindt. Dit is voor een groot deel de T van ETL/ELT. Echter zorgt dit ervoor dat de transformatie die in de ETL/ELT procedure plaatsvindt, ondoorzichtig en onnodig complex is. Eindgebruikers hebben geen toegang tot de transformatie logica en weten hierdoor vaak niet hoe bepaalde waarden tot stand komen.
Enkele jaren terug zijn er enkele slimme ondernemers begonnen met het maken van standaardmodellen voor specifieke databronnen. Hierdoor zijn we een stap dichter bij een eenduidige kijk op de data gekomen. Specifieke kennis van het bronsysteem, vertaald in een laadprocedure en een strak gemodelleerd businessmodel dat duidelijkheid schept voor de eindgebruiker. Bij eventuele wijzigingen in het datamodel van het bronsysteem, worden wijzigingen automatisch opgepakt. Op deze manier ben je dus “upgrade-proof”.
Met de komst van Fivetran is analytics zonder het managen van datapipelines mogelijk geworden. Fivetran heeft standaardconnectors ontwikkeld voor meer dan honderd van de meest gebruikte databronnen. Hierbij kiest Fivetran ervoor om de connectors managed aan te bieden zodat eventuele veranderde velden in het bronsysteem altijd direct beschikbaar gemaakt kunnen worden om te laden. Het voordeel van deze managed datapipelines is dat je geen omkijken hebt naar je laadprocedure en dat je gestandaardiseerde schema’s tot je beschikking hebt. Ook is er uitgebreide documentatie van alle connectors aanwezig zodat je end-to-end het overzicht hebt als het gaat om datamanagement.
WIl je meer weten over Fivetran of hoe DataBright je kan helpen met een moderne analytics setup? Neem contact met ons op.
