Fivetran daarentegen is binnen vijf minuten uit te rollen. Het enige dat je hoeft te doen is het instellen van een connectie naar je data warehouse en vervolgens kun je met een paar klikken connectors naar een grote diversiteit aan bronsystemen toevoegen. In dit voorbeeld gaan we Google Analytics data naar Snowflake laden met Fivetran. Als je een Snowflake datawarehouse hebt is Fivetran direct beschikbaar vanuit Snowflake Partner Connect en andersom kun je vanuit Fivetran ook direct een nieuw cloud data warehouse opzetten.

Image result for fivetran snowflake
Fivetran is verkrijgbaar bij Snowflake Partner Connect

Gegevens laden in Snowflake met Fivetran

In een paar stappen zullen wij laten zien hoe eenvoudig het is om te beginnen met de managed data pipelines van Fivetran vanuit Snowflake Partner Connect.

Eenmaal ingelogd in Snowflake kun je kostenloos een 14-daagse Fivetran trial beginnen via Snowflake Partner Connect. Let op; dit is alleen mogelijk als je de rol ACCOUNTADMIN tot je beschikking hebt.

Kies eerst de rol ACCOUNTADMIN en ga dan naar Partner Connect

In Snowflake Partner Connect heb je de keuze tussen meerdere tools om zowel data te laden als tools waarmee je data kunt visualiseren. Vanuit Partner Connect kun je direct met een paar klikken een trial account aanmaken met een directe verbinding met je Snowflake account. Hierdoor ben je geen tijd kwijt aan het configureren en testen van de verbinding en zijn direct alle permissies ingesteld om gebruik te kunnen maken van database.

Het overzicht van Snowflake Partner Connect

Als je klikt op Fivetran krijg je het volgende scherm te zien. Hierin bevestig je dat je naam en emailadres overgenomen worden door Fivetran om een trial account te maken. Om direct een connectie met Snowflake te maken, maakt Fivetran een Database, een Warehouse, een User en een Role aan in Snowflake. De door Partner Connect aangemaakte objecten zijn hierna te herkennen aan het voorvoegsel PC.

Maak verbinding met Fivetran

Vervolgens wordt je doorverwezen naar de website van Fivetran, hier kunnen we het activeren van de trial afronden en beginnen met het laden van data.

Activeer trial

Fivetran is direct verbonden met je datawarehouse, nu kunnen we dus beginnen met het toevoegen van een connector. Klik op “Create your first connector” om verder te gaan naar het overzicht van connectors.

Het startscherm van Fivetran

Hier krijgen we een overzicht van alle beschikbare connectors in Fivetran, de connectors zijn onderverdeeld in Applications, Databases, Events, Files en Functions.

In de zoekbalk typen we Google, en klikken vervolgens op Google Analytics.

Voeg een connector toe

Het eerste wat we moeten doen om een connector in te stellen is het kiezen van het schema waarnaar de data moet worden weggeschreven in Snowflake en een tabel in dat schema. Hierna kunnen we de connectie naar Google Analytics authoriseren via de Google authorize API. Fivetran krijgt hiermee toegang tot het bekijken van je Google Analytics gegevens.

Definieer schema en tabel

Geef toegang tot je Google Account

Als je authenticatie succesvol is verlopen, kunnen we vervolgens kiezen of alle accounts gesynchroniseerd moeten worden, of dat je een enkele en/of meerdere properties wil selecteren om te synchroniseren. We kunnen nu aangeven welke meetwaarden en dimensies opgehaald moeten worden. Hierna slaan we met een druk op de knop de connector op en testen we of de data kan worden binnengehaald. Als dit lukt begint de initial sync.

Selecteer accounts en eigenschappen

In het laatste scherm krijgen we nu een overzicht van de synchronisatie die plaats vindt en kunnen we zien wanneer er synchronisaties hebben plaatsgevonden. Als de synchronisatie succesvol heeft plaatsgevonden krijgen we hier per email een bevestiging van.

Data aan het synchroniseren

Met een simpele select statement kunnen we nu zien dat de data is geladen in Snowflake. Fivetran voegt hier een eigen Fivetran ID aan toe waarmee de data vanaf nu incrementeel kan worden geladen.

Gegevens beschikbaar in Snowflake

We hopen dat u, net als wij, ongelooflijk enthousiast bent geworden over Snowflake en Fivetran. Wilt u meer weten over Snowflake en Fivetran, of hoe u de gegevens vervolgens gemakkelijk kunt visualiseren? Aarzel dan niet om contact met ons op te nemen