Een datawarehouse brengt al je data samen op één plek, maar hoe richt je die data daar eigenlijk in? De medallion structure geeft daar antwoord op. Het is een vaste manier om ruwe data stap voor stap bruikbaar te maken.
Wat is de medallion structure?
De medallion structure bepaalt hoe je de data in je datawarehouse inricht, nadat die is binnengekomen. Ze verdeelt je data in drie lagen, van brons via zilver naar goud. Elke laag maakt de data een stap bruikbaarder dan de vorige.
In de bronzen laag komt je data ruw binnen, met alle details die je voor het uiteindelijke gebruik vaak niet nodig hebt. In de zilveren laag ga je ermee aan de slag. Je koppelt datasets en past rekenregels toe, bijvoorbeeld om datums en valuta gelijk te trekken. In de gouden laag staat de data uiteindelijk in de vorm die je nodig hebt voor een dashboard of rapportage.
Is data in de bronzen laag dan onbruikbaar? Je kunt er al mee rekenen, maar voor een leesbare rapportage is ze nog te ruw. Stel dat je honderdduizend orderregels hebt die je wilt samenvatten in tien grootboeken. In de bronzen laag staan die regels nog allemaal los. Pas in de lagen daarna wordt de data compacter en leesbaarder.
De term komt van Databricks, het bedrijf achter het Lakehouse-platform. Zij gebruikten deze structuur om orde te scheppen in de data van hun klanten, en de naam raakte van daaruit wijdverspreid in het vakgebied.
Moet je altijd tot de gouden laag doorbouwen?
Je wilt in de meeste gevallen tot de gouden laag doorbouwen, al heeft niet elke databron alle drie de stappen nodig. Komt je data al schoon binnen, dan kun je de zilveren laag soms overslaan en direct vanuit brons een gouden laag bouwen.
In de zilveren laag gebeuren de koppelingen en de rekenregels. Is die stap niet nodig, dan sla je hem over.
Van marketingklik naar salescijfer
Neem marketing en sales. Die twee systemen praten vaak niet vanzelf met elkaar.
In de bronzen laag komen beide datasets ruw binnen. Alle kliks op je advertenties uit Google Ads en Google Analytics aan de ene kant, en je salesdata uit het ordersysteem aan de andere kant.
In de zilveren laag ga je ze koppelen. Van de duizend mensen die op een advertentie klikten, vullen er misschien tien een contactformulier in. Dat e-mailadres koppel je aan de e-mailadressen uit je orderdata, zodat je kunt zien welke klik uiteindelijk tot een verkoop heeft geleid.
In de gouden laag maak je daar een rapportageset van, bijvoorbeeld met per dag hoeveel sales er rechtstreeks uit die marketingcampagne kwamen. Die set voedt vervolgens je dashboard of rapportage.
Waarom lineage je tijd bespaart
De lagen geven je lineage. Je kunt op elk moment teruglopen door je data en precies zien wat er in elke stap is gebeurd.
Zie je een cijfer in een rapportage dat niet klopt? Dan ga je laag voor laag terug om te zien of de koppeling in zilver fout ging, of dat de fout al in de brongegevens zat.
Dat werkt niet alleen bij het opsporen van fouten. Komt er een nieuwe collega bij die met je data aan de slag gaat? De stappen in je zilveren laag laten meteen zien hoe je organisatie werkt, bijvoorbeeld hoe je omzet uit je boekhouddata haalt.
Sla je die structuur over, of laat je de lagen door elkaar lopen, dan wordt dat juist lastig te achterhalen.
Kost dit niet gewoon meer opslag?
Een terechte vraag. Je slaat je data nu immers drie keer op in plaats van één keer, en dat kost geld.
In de praktijk valt dat mee. Opslag is tegenwoordig goedkoop; de kosten zitten vooral in de rekenkracht die je gebruikt, en dat loopt met een paar procent op. Zodra er een keer iets misgaat in je data, wil je niet tijdenlang mensen laten uitzoeken waar het fout liep. Die paar procent extra kosten verdien je dan in één keer terug.
Wanneer begin je hiermee?
Zo vroeg mogelijk. Op het moment dat je een datawarehouse opzet, kun je eigenlijk niet te vroeg beginnen met structuur aanbrengen in je data.
Heb je die complexiteit nog niet nodig? Dan hou je de stappen eenvoudig. Begin je er wel vroeg mee, dan bouw je er later simpelweg op verder, in plaats van dat je een bestaande opzet achteraf moet opsplitsen. Dat laatste is vaak een stuk lastiger dan in één keer goed beginnen.
Een structuur die meegroeit
De medallion structure is geen methode die alleen bij grote hoeveelheden data hoort. Het is een structuur die je aanhoudt, ongeacht hoe groot je organisatie is of hoeveel data je binnenkrijgt.
Je krijgt er lineage door je data voor terug, en een fundament waar je op kunt verder bouwen zodra je meer met die data wilt doen.