Projecten
Data Management System
Een beheertool waarmee een beursgenoteerd technologiebedrijf met meer dan duizend medewerkers grip kreeg op de data die uit alle hoeken van de organisatie binnenstroomt.
Project Overzicht
Controle over een groeiend datawarehouse
Een beursgenoteerd technologiebedrijf centraliseerde data uit alle afdelingen en systemen in een nieuw datawarehouse. De uitdaging: hoe geef je medewerkers controle over dat proces zonder dat ze SQL hoeven te schrijven?
We bouwden de webapplicatie waarmee het datawarehouse beheerd wordt. De tool maakt het mogelijk om databronnen aan te sluiten, imports te configureren en monitoren, persoonsgegevens te detecteren en anonimiseren, en alles vast te leggen in uitgebreide audit logs.
De schaal was aanzienlijk: data uit API's, SQL Server databases, PostgreSQL en diverse andere bronnen, afkomstig uit een organisatie met meer dan duizend medewerkers en miljoenen datapunten.
- ✓
Uniforme configuratie-interface
- ✓
Import monitoring dashboard
- ✓
PII-detectie en anonimisering
- ✓
Uitgebreide audit logging
De Uitdaging
Productiviteitstool voor het datawarehouse
De import tool haalde vanuit alle hoeken van het bedrijf data uit verschillende soorten bronnen. Het beheer hiervan was volledig handmatig: elke nieuwe bron vereiste ontwikkelwerk, monitoring was reactief in plaats van proactief, en privacychecks werden pas achteraf gedaan. De uitdaging was om dit complexe en belangrijke systeem te stroomlijnen en toegankelijk te maken:
Elke bron heeft eigen connectielogica: API's met endpoints en keys, SQL databases met queries, bestanden met specifieke formaten. De interface moest dit uniform aanbieden.
Met data uit alle hoeken van het bedrijf bevat vrijwel elke bron onbedoeld persoonsgegevens. Een ingebouwde PII-detectietool moest deze identificeren en anonimiseren conform AVG-wetgeving.
Bij deze schaal moet elke import traceerbaar zijn. Statusmonitoring, foutmeldingen en waarschuwingen moesten in realtime beschikbaar zijn, met volledige audit logs voor compliance.
Niet elke medewerker mag elke databron zien of beheren. Fijnmazige autorisatie was essentieel.
Onze Oplossing
We ontwierpen en bouwden een centraal beheersysteem dat het datawarehouse toegankelijk maakt voor het hele team:
Uniforme configuratie-interface
Voor het aansluiten van diverse brontypen (API, SQL, bestand)
Import monitoring dashboard
Met realtime status, foutafhandeling en waarschuwingen
PII-detectie en anonimiseringstool
Voor geautomatiseerde privacy compliance
Uitgebreide audit logging
Voor volledige traceerbaarheid van alle acties
Rolgebaseerd accountsysteem
Met granulaire toegangsrechten per bron en functie
Het Resultaat
Centrale interface voor databeheer
De tool werd de centrale interface waarmee het data-team het groeiende datawarehouse beheert. Het aansluiten van nieuwe databronnen ging van een technisch project naar een gestandaardiseerd proces.
Screenshots
Het Data Management System in beeld
Een overzicht van het DMS met het dashboard en de mobiele weergave.
