Intergamma, het bedrijf achter de bekende doe-het-zelf-formules Gamma en Karwei, heeft meer dan 400 bouwmarkten en is een toonaangevende speler in de doe-het-zelfmarkt in Nederland en België. Ze hadden recent een migratie naar Snowflake afgerond, waardoor ze al een hoop informatie centraal beschikbaar hadden in een modern data platform in de cloud. T&T heeft hierna een Semantische Laag gebouwd die alle data definities consistent, begrijpbaar en direct te gebruiken maakt. Dit heeft de basis gelegd voor betrouwbare en geautomatiseerde doe-het-zelf analytics in hun gehele organisatie.
Uitdaging van klant
Hoewel Intergamma na de migratie naar Snowflake beschikte over een technisch goed gemodelleerd data platform, was de data voor de eindgebruikers nog niet direct bruikbaar. Het probleem lag in de naamgeving: tabellen en kolommen hadden een technisch jargon, waardoor de inhoud van de gegevens voor de business en daarmee de daadwerkelijke eindgebruikers niet meteen duidelijk was. De noodzakelijk vertaling naar vertrouwde business termen vond voorheen plaats in de oude BI-tool. Bij de introductie van de nieuwe BI-tool, Tableau, betekende dit dat al dit vertaalwerk opnieuw en handmatig moest gebeuren. Dit zorgde voor onnodig veel werk en vereiste een hogere technische kennis dan gewenst om databronnen beschikbaar te maken.
Intergamma zocht een structurele oplossing om dit te voorkomen en benaderde ons voor de implementatie van een Semantische Laag. Een Semantische Laag in een datawarehouse is een zakelijke representatie van de data. Het fungeert als brug tussen ingewikkelde technische datastructuren en biedt eindgebruikers heldere, begrijpbare definities van de beschikbare data. Verder vroegen zij ons om deze voor de business begrijpbare gegevens als databronnen in Tableau beschikbaar te maken voor Self-service BI, of Doe-het-zelf analytics zoals zij dat noemen.
Visie op probleem
Visie op probleem
Bij een dataplatform met een grote hoeveelheid data uit verschillende bronsystemen, zoals bij Intergamma het geval is, wordt het vastleggen en onderhouden van consistente definities snel een uitdaging. Onze visie is dat de kracht van een centrale Semantische Laag ligt in het feit dat deze vertaling onderdeel wordt gemaakt van het dataplatform zelf en onafhankelijk blijft van specifieke software voor Business Intelligence of Machine Learning. Deze onafhankelijkheid vergroot de wendbaarheid van de organisatie aanzienlijk. Het maakt het eenvoudig om snel van tools te wisselen of nieuwe tools in gebruik te nemen, omdat het opnieuw vastleggen van definities (met mogelijke inconsistenties tot gevolg) wordt voorkomen.
De tweede uitdaging was het beheer van het datalandschap. Het onderhouden van de Tableau-databronnen was in de bestaande situatie een handmatig en tijdrovend proces. Omdat het datawarehouse van Intergamma is opgebouwd in feiten en dimensies (met dimensies die in veel verschillende Tableau-databronnen worden hergebruikt), leidde het toevoegen van een nieuw feit tot veel handmatig en repetitief werk. Instellingen in Tableau, zoals formatting, kleuren en calculated fields, moesten voor elke relevante databron opnieuw worden ingesteld. Onze visie was dat dit proces fundamenteel geautomatiseerd moest worden om het beheer van de Tableau-omgeving duurzaam en kostenefficiënt te maken.
Voordelen van Semantische Laag
- Centrale plek waar definities worden vastgelegd en onderhouden
- Vergtoot wendbaarheid als organisatie om te wisselen van tools
- Eindgebruikers kunnen direct met de data aan de slag
- Interactie met Large Language Models mogelijk
Bij een dataplatform met een grote hoeveelheid data uit verschillende bronsystemen, zoals bij Intergamma het geval is, wordt het vastleggen en onderhouden van consistente definities snel een uitdaging. Onze visie is dat de kracht van een centrale Semantische Laag ligt in het feit dat deze vertaling onderdeel wordt gemaakt van het dataplatform zelf en onafhankelijk blijft van specifieke software voor Business Intelligence of Machine Learning. Deze onafhankelijkheid vergroot de wendbaarheid van de organisatie aanzienlijk. Het maakt het eenvoudig om snel van tools te wisselen of nieuwe tools in gebruik te nemen, omdat het opnieuw vastleggen van definities (met mogelijke inconsistenties tot gevolg) wordt voorkomen.
De tweede uitdaging was het beheer van het datalandschap. Het onderhouden van de Tableau-databronnen was in de bestaande situatie een handmatig en tijdrovend proces. Omdat het datawarehouse van Intergamma is opgebouwd in feiten en dimensies (met dimensies die in veel verschillende Tableau-databronnen worden hergebruikt), leidde het toevoegen van een nieuw feit tot veel handmatig en repetitief werk. Instellingen in Tableau, zoals formatting, kleuren en calculated fields, moesten voor elke relevante databron opnieuw worden ingesteld. Onze visie was dat dit proces fundamenteel geautomatiseerd moest worden om het beheer van de Tableau-omgeving duurzaam en kostenefficiënt te maken.
Hebben jullie ook moeite met uiteenlopende definities of om data beschikbaar te maken in Tableau?
Neem vrijblijvend contact op!
We hebben voor Intergamma een systeem ontwikkeld dat definities en namen centraal vastlegt en automatisch SQL views met semantische vertalingen genereert. Deze views zijn direct toepasbaar voor de business en worden vervolgens volledig geautomatiseerd als databronnen in Tableau klaargezet.
Centrale Semantische Laag en Tableau automatiseringen
Stap 1
Definities centraal vastleggen
Om de Semantische Laag samen te stellen, leggen we de vertaling van technische naar voor de business duidelijke definities centraal vast. Hiervoor lezen we de metadata van de tabellen in Snowflake uit en geven gebruikers de mogelijkheid om de technische veldnamen te voorzien van een andere gebruiksvriendelijke naam en een uitgebreide beschrijving. Bovendien leggen we in deze stap ook de gewenste Tableau-opmaak vast (denk aan een € bij bedragen of % bij percentages), die we later gebruiken bij het volledig automatisch klaarzetten van Tableau-databronnen.
Stap 2
Semantische Laag in Snowflake opnemen
De centraal vastgelegde definities vormen de basis voor onze maatwerk Python-oplossing. Deze oplossing genereert automatisch SQL-code waarmee views in Snowflake worden aangemaakt, inclusief de vertaalde namen en uitgebreide beschrijvingen als comments.
Door de Semantische Laag als SQL views te implementeren, worden alle definities direct als onderdeel van het data platform opgeslagen. Dit gebeurt zonder dat de gegevens worden gedupliceerd, waardoor de opslagkosten ongewijzigd blijven. Vervolgens kunnen alle data consumerende applicaties gebruikmaken van dezelfde gegevens met aansluitende definities.
Het genereren van deze views maakt het mogelijk om wijzigingen in definities en het toevoegen van nieuwe semantische vertalingen volledig te automatiseren, zonder tussenkomst van een Data Engineer.
Stap 3
Automatisch Tableau databronnen maken en publiceren
De gegenereerde views (uit Stap 2) vormen de basis van de Tableau-databronnen. De data is zo gemodelleerd dat de dimensies met een enkele surrogaatsleutel (een unieke, technise ID) aan de feiten kunnen worden gekoppeld.
Onze oplossing in Python herkent alle kopellingen tussen feiten en stelt deze in als relaties in de Tableau-databronnen en publiceert deze vervolgens.
Bij het samenstellen van de bronnen wordt automatisch de juiste formatting ingesteld voor velden. Hierdoor hoeft dit slechts één keer bepaald te worden bij het vastleggen van de definities en is het altijd consistent. De uitgebreide beschrijving van de velden wordt ook in de Tableau databronnen toegevoegd als een comment bij ieder veld, waardoor het voor de eindgebruiker makkelijk is om de exacte definitie van het gebruikte veld te achterhalen.
Stap 4
Stap 5
Impact
Met onze oplossing worden momenteel 76 Tableau-databronnen bij Intergamma automatisch beheerd.
Wanneer een nieuw feit in het datawarehouse wordt opgenomen, is het mogelijk om binnen tien minuten de definities vast te leggen en de desbetreffende Tableau-databron te publiceren zodat de eindgebruikers ermee aan de slag kunnen.
De combinatie van de Semantische Laag bronnen en gerichte Tableau trainingen maakt het Doe-het-zelf analytics voor verschillende afdelingen bij Intergamma een werkelijkheid.
De Semantische Laag bereidt de organisatie bovendien voor op de toekomstige kansen met Large Language Models (LLM's). De consistentie en duidelijke namen en omschrijvingen zijn namelijk direct beschikbaar voor een taalmodel.
Hebben jullie ook moeite met uiteenlopende definities of om data beschikbaar te maken in Tableau?
Neem vrijblijvend contact op!
