De afgelopen 10 jaar hebben we de ontwikkelingen in deze bedrijven gevolgd en zeer regelmatig worden we na een aantal maanden of jaar toch weer teruggevraagd om mee te denken over Data Warehouse (Automation). In dit artikel delen we de lessen die wij de afgelopen jaren hebben gezien.
Om dit onderwerp direct scherp neer te zetten wil ik je vragen om eens na te denken of je ooit zelf overwogen hebt om zelf je CRM-systeem of je boekhoudprogramma te ontwikkelen. Misschien een tiental jaar geleden nog wel, maar inmiddels is iedereen wel overtuigd van de voordelen van standaardisatie en gebruik maken van tools die beschikbaar zijn. Deze tools zelf ontwikkelen is namelijk tijdrovend, kostenintensief, je hebt schaarse developers nodig en waarschijnlijk kom je gedurende het traject een hoop complexiteit tegen. Nu terug naar het onderwerp, waarom zou je als organisatie wel zelf een Data Warehouse willen ontwikkelen?
Wat is een Data Warehouse?
Een korte introductie voor als je wat minder bekend bent met Data Warehousing. Een datawarehouse is een databeheersysteem dat is ontworpen om business intelligence-activiteiten (BI), met name analytics, mogelijk te maken en te ondersteunen. Datawarehouses zijn systemen die bedoeld zijn om zoekopdrachten en analyses uit te voeren en bevatten vaak grote hoeveelheden historische data. De data in een datawarehouse wordt meestal onttrokken aan een verscheidenheid aan bronnen, zoals logbestanden van applicaties en transactieapplicaties.
Data Warehouse versus Data Lake
Misschien denk je bij een ‘databeheerssyteem’ aan een Data Lake. Vandaar dat we even kort uitleggen wat de verschillen zijn tussen een Data Lake en een Data Warehouse. Beide termen worden veel gebruikt voor het opslaan van big data, maar het zijn geen onderling uitwisselbare termen.
Een Data Lake is een (enorme) verzameling ruwe data waarvan het doel nog niet is gedefinieerd. Een datawarehouse is een opslagplaats voor gestructureerde, gefilterde gegevens die al voor een bepaald doel zijn verwerkt. Een voorbeeld om het verschil concreet te maken is dat een Data Lake is als een voorraad producten in een gebouw. Data Warehouse is hetzelfde gebouw met dezelfde producten maar dan gesorteerd, getagd én opgeborgen.
Op deze manier brengt een Data Warehouse jouw organisatie verder
Gemakkelijker om data te begrijpen en op te vragen - vereenvoudigd enkelvoudig model. Geen dubbele tabellen, verwarrende kolomnamen of mysterieuze waarden meer.
Sneller voor het datateam om te gebruiken. Er is minder tijd nodig om gegevens op te schonen en te transformeren om analyses uit te voeren.
Vriendelijker om mee te werken voor de ‘business users’. Complexe verbindingen zijn verminderd en de juiste kolom is duidelijk.
Betrouwbare, consistente bron van antwoorden. Iedereen genereert inzichten uit dezelfde data; geen wisselende antwoorden meer op dezelfde vraag.
Onderhoudbaar met minder tijd en moeite. Nadat u naamgevingsconventies en een stijlgids heeft aangenomen, kunt u deze onderhouden terwijl u gegevens toevoegt. Gescheiden van het transactiegegevensschema. Query's hebben geen invloed op de app-prestaties en worden niet beïnvloed door snelle wijzigingen in de gegevens.
Waarom zelf geen Data Warehouse ontwikkelen
Ik hoop dat na het lezen van bovenstaande informatie overtuigd bent van de meerwaarde van een Data Warehouse. De organisaties die aangeven zelf een Data Warehouse op te willen tuigen doen dat vaak met de volgende redenen:
- ‘In control’ zijn
- Zelf bouwen lijkt goedkoper
En in beide argumenten zit zeker waarde. Het is goed om ‘in control’ te zijn, zeker als het gaat om data. En als je iemand hebt zitten lijkt het inderdaad goedkoper om het zelf op te pakken. Maar toch is het goed om te volgende scenario’s een langs te lopen. Dit zijn namelijk de resultaten van wat wij zien als bedrijven het zelf oppakken.
Je weet niet wat je niet weet.
Als je nog nooit een BI implementatie hebt gedaan is het lastig om voor te stellen waar je potentieel allemaal tegenaan kunt lopen. Als je besluit om alles zelf te doen betekent dat je ook verantwoordelijk bent voor de hosting, integraties, performance, versie en releasebeheer, etc. Heb je verstand van al deze zaken of leg je alles bij één persoon neer?
Data zonder inzichten is niets
Een datawarehouse biedt echt geen waarde voor ‘de business’, tenzij de gegevens toegankelijk zijn en de besluitvormers de dashboards, rapporten, KPI's, waarschuwingen en inzichten kunnen krijgen die ze nodig hebben om hun werk te doen. Maar degenen die het datawarehouse hebben gebouwd, zijn meestal geen UI-experts of business experts.
Dat betekent dat IT op zoek moet naar visualisatie tools om aan te sluiten op hun datawarehouse. Dit betekent weer extra kosten want zonder visualisatie heb je in feite niets.
Systemen zullen veranderen en software upgrades zijn nodig
Kritische bedrijfsapplicaties zoals ERP en CRM kunnen hun API's wijzigen, systeemupgrades volgen elkaar steeds sneller op en u ontdekt misschien dat de persoon die uw datawarehouse heeft gebouwd, is gepromoveerd of het bedrijf heeft verlaten voor een andere baan. De correcties kunnen moeilijker zijn dan verwacht om te bereiken. Of misschien heeft de database waarin uw gegevens zijn opgeslagen een nieuwe versie nodig om deze aan de beveiliging te voldoen. Of misschien is het volume van uw gegevens zo groot geworden dat back-ups te lang duren of zelfs mislukken. We zien dat klanten die een eigen datawarehouse hebbeen gebouwd alsnog op zoek gaan naar ETL-tools, een DBA en een paar andere kostbare middelen en mensen om de ‘data engine’ in leven te houden.
Kennis maken met BIRDS?
In een maandelijkse sessie van een uur nemen we je mee in de wereld van BIRDS, dé Power BI oplossing voor Microsoft Dynamics. We laten je zien hoe het proces van dataverzameling tot data-analyse werkt en hoe BIRDS out of the box rapportages biedt voor Verkoop, Financiën, Inkoop en Productie.
