In onze vorige blog gingen we al wat dieper in op autonomous data engineering en hoe AI steeds verder gaat dan alleen maar assisteren: gespecialiseerde agents kunnen steeds meer taken zelfstandig uitvoeren.
Wordt de data engineer daarmee op termijn overbodig? Het korte antwoord is nee. Maar de rol kan wel behoorlijk veranderen.
Een autonome agent die zelf code kan schrijven en uitvoeren, moet ook weten binnen welke grenzen hij mag werken.
Daarom worden guardrails belangrijker. Tot welke data krijgt de agent toegang? Welke resources mag hij gebruiken? Waar mag hij resultaten opslaan? Welke acties zijn toegestaan? En wanneer moet een mens tussenkomen?
Meer autonomie voor AI betekent dus niet dat menselijke controle verdwijnt. Iemand moet nog steeds bepalen wat een goed resultaat is, binnen welke architectuur de agent werkt en waar menselijke tussenkomst noodzakelijk blijft.
Je hoeft als developer niet meer elke stap voortdurend op te volgen. Je geeft de agent de juiste opdracht en grenzen, waarna hij zelfstandig verder kan werken. De uiteindelijke kwaliteitsbeoordeling blijft wel bij het team.
Emma De Koster, Data Engineer OQuila
Vandaag ligt een groot deel van het werk van data engineers nog bij het zelf onderzoeken, bouwen, testen en corrigeren.
Wanneer agents meer van dat uitvoerende werk zelfstandig kunnen opnemen, verschuift een deel van de aandacht naar:
De vraag wordt daardoor minder: “Hoe schrijf ik de code om dit op te lossen?” En steeds meer: “Wat moet de oplossing bereiken, aan welke voorwaarden moet ze voldoen en binnen welke architectuur moet ze werken?”
Dat maakt kennis van data engineering niet minder belangrijk. Integendeel. Om goede opdrachten, kwaliteitscriteria en grenzen aan een autonome agent mee te geven, moet je nog steeds begrijpen wat een goede data-oplossing is en hoe die opgebouwd wordt.
Hoe meer uitvoerend werk je aan een agent kunt delegeren, hoe belangrijker het wordt om te begrijpen wat je precies delegeert.
Een agent kan bijvoorbeeld code schrijven en een resultaat valideren aan de hand van vooraf bepaalde criteria. Maar iemand moet nog steeds bepalen of die criteria juist zijn.
De technologie kent ook niet automatisch alle businesscontext of architecturale keuzes binnen een organisatie. Een oplossing kan technisch correct zijn en toch niet de juiste oplossing zijn voor de business.
Net daar blijft menselijke expertise cruciaal.
Een data engineer moet begrijpen hoe een goede data-oplossing wordt opgebouwd, maar ook waarom bepaalde keuzes beter zijn dan andere en welke impact ze hebben op de rest van de dataomgeving.
Autonomous data engineering haalt die expertise dus niet uit het proces. Het kan er wel voor zorgen dat ze anders wordt ingezet: minder tijd naar repetitieve uitvoering, meer aandacht voor complexere beslissingen, architectuur en kwaliteit.
Misschien moeten we de vraag daarom omdraaien. Niet: “Welke taken kan AI van een data engineer overnemen?”, maar: “Welke taken willen we als data engineer nog zelf uitvoeren?”
Niet elk onderdeel van data engineering levert namelijk dezelfde toegevoegde waarde op.
Als een agent repetitief onderzoeks-, implementatie- of validatiewerk betrouwbaar kan uitvoeren, kan dat tijd vrijmaken voor vraagstukken waarbij menselijke expertise veel belangrijker is.
Tegelijkertijd betekent autonoom niet automatisch betrouwbaar. Organisaties moeten dus bewust bepalen welke taken ze willen delegeren en waar menselijke validatie noodzakelijk blijft.
Dat roept vandaag al een aantal interessante vragen op:
Welke data-engineeringtaken zouden we willen delegeren?
Welke controles kan een agent zelfstandig uitvoeren?
Waar blijft menselijke validatie noodzakelijk?
Tot welke data en resources krijgt een agent toegang?
Welke guardrails zijn daarvoor nodig?
En waar willen we menselijke expertise bewust behouden?
De interessante discussie gaat dus niet alleen over wat technisch mogelijk wordt, maar vooral over hoe je die mogelijkheden verantwoord inzet.
Project Osmos laat vooral zien hoe de samenwerking tussen data engineers en AI aan het veranderen is.
Van code genereren naar oplossingen bouwen;
van antwoorden geven naar taken uitvoeren;
van assisteren naar delegeren.
Dat betekent niet dat de data engineer verdwijnt. Wel kan er meer tijd vrijkomen voor architectuur, kwaliteit, businesscontext en complexere problemen, terwijl gespecialiseerde agents een groter deel van het uitvoerende werk opnemen.
En misschien is dat wel de interessantste vraag die Project Osmos oproept: niet welk werk AI van de data engineer kan overnemen, maar welk werk we in de toekomst bewust zélf blijven doen.
Want net wanneer AI meer uitvoerend werk opneemt, worden menselijke expertise, architecturale keuzes en kwaliteitsbewaking belangrijker.
Autonomous data engineering gaat niet alleen over nieuwe technologie. Het gaat ook over hoe je taken, verantwoordelijkheid en expertise binnen een datateam organiseert.
Bij OQuila kijken we daarom niet alleen naar wat AI-agents technisch kunnen, maar vooral naar waar ze binnen een dataomgeving op een betrouwbare manier waarde kunnen creëren. Onze experts helpen je om de juiste balans te vinden tussen autonomie, menselijke expertise en controle.