Project Osmos: van AI-assistent naar autonomous data engineering

Wat als AI niet alleen helpt om code te schrijven, maar zelfstandig een complexe data-engineeringopdracht kan onderzoeken, uitvoeren en valideren?

Dat is de ambitie van Project Osmos, aangekondigd tijdens FabCon 2026. Microsoft positioneert de technologie ondertussen als de Fabric Data Engineering agent. Het vernieuwende zit daarbij niet zozeer in AI, maar in de mate van autonomie.

Wat is Project Osmos?

Vandaag gebruiken data engineers AI vooral als assistent. Je vraagt Copilot bijvoorbeeld om PySpark-code te genereren, een transformatie uit te werken of te helpen bij het bouwen van een notebook. Dat versnelt het werk, maar als data engineer blijf je zelf aan het stuur.

De stap naar meer autonomie begon binnen Fabric bovendien niet bij Project Osmos. Met Skills for Fabric beschikt Microsoft al over een framework waarmee AI-agents via onder meer MCP-servers acties kunnen uitvoeren binnen Fabric. Ook bij OQuila werken we vandaag uitgebreid met deze mogelijkheden. Project Osmos bouwt verder op die beweging, maar richt zich specifiek op complexere, langdurige data-engineeringopdrachten.

In plaats van één technische handeling te beschrijven, geef je de agent een complexere data-engineeringopdracht en vertel je welk resultaat je wilt bereiken. Vervolgens kan de agent zelf de beschikbare data en omgeving onderzoeken, een aanpak bepalen, notebooks en PySpark-code creëren, de oplossing uitvoeren én het resultaat valideren.

Klopt het resultaat niet? Dan kan hij terugkeren naar eerdere stappen, zijn aanpak bijsturen en opnieuw proberen.

Een goede vergelijking die tijdens FabCon werd gemaakt, is die van een aannemer. Copilot is de veelzijdige aannemer die je bij allerlei klussen helpt. Osmos is eerder de gespecialiseerde elektricien, met Spark en data engineering als expertise. Het verschil zit dus niet alleen in wat AI kan, maar vooral in hoe je ermee samenwerkt."

Emma De Koster, Data Engineer OQuila

Hoe werkt autonomous data engineering?

De kracht van Project Osmos zit niet simpelweg in het genereren van code. De agent doorloopt verschillende stappen van het data-engineeringproces zelfstandig. 

Een belangrijke nuance: de brondata moet al beschikbaar zijn in Fabric. Het beschikbaar maken van die brondata in de Fabric-omgeving neemt Osmos niet voor zijn rekening. Vanaf de bronze-laag kan de agent er wel zelfstandig mee aan de slag.

Je geeft hem het gewenste resultaat en de grenzen waarbinnen hij mag werken. Vervolgens kan hij:

1. de data en omgeving onderzoeken;

2. een aanpak bepalen;

3. de nodige code en notebooks bouwen;

4. de oplossing uitvoeren;

5. controleren of het resultaat aan de verwachtingen voldoet;

6. zijn aanpak aanpassen wanneer dat niet het geval is. 
   

Vooral die laatste twee stappen zijn interessant. Een AI-model kan relatief snel code genereren. Maar code die zonder foutmelding wordt uitgevoerd, levert niet noodzakelijk het juiste resultaat op. Bij data engineering telt uiteindelijk of de getransformeerde data ook inhoudelijk en technisch correct is.

Project Osmos legt daarom sterk de nadruk op validatie en kwaliteit, niet alleen op snelheid.

Tijdens ons webinar “FabCon Recap: Klaar voor de volgende generatie Data & AI” maakten we die autonomie heel concreet. Het idee is niet dat je Project Osmos vraagt “maak eens een notebook”, maar dat je een complexere opdracht meegeeft waaraan de agent vervolgens zelfstandig verder werkt.

Dat werk wordt binnen Fabric bovendien bijgehouden als een persistent task, een blijvende taak die haar context, status, uitvoeringshistoriek en resultaten bewaart. Je hoeft je terminal of laptop dus niet open te laten terwijl Osmos verder werkt. Komt er later nieuwe data binnen, dan kan je verdergaan op dezelfde taak zonder het volledige probleem opnieuw te moeten uitleggen.

Het interessante is dat de agent niet alleen een oplossing bouwt, maar ook zijn eigen werk valideert en kan teruggaan om tot een betere oplossing te komen.

Emma De Koster, Data Engineer OQuila

Dat hoeft trouwens niet alleen over nieuwe oplossingen te gaan. Ook bestaand data-engineeringwerk kan je aan Osmos delegeren. Denk aan een bestaande pipeline ombouwen naar incremental loading en het rerun-gedrag valideren, Spark-code in bestaande notebooks optimaliseren of de performantie van Delta tables verbeteren.

Met Project Osmos verschuift de interactie naar een hoger niveau: je beschrijft het gewenste eindresultaat en de voorwaarden waaraan het moet voldoen. De agent werkt vervolgens zelf de nodige technische stappen uit. Dat is een heel andere manier van werken.

Samenwerking binnen het team blijft hierbij ook centraal staan. Geautoriseerde teamleden kunnen aan dezelfde Osmos-taak werken, bekijken wat al werd uitgevoerd en bijkomende context of instructies geven. Zo blijft de opgebouwde context behouden wanneer data engineers, architecten en domeinexperts samen aan een oplossing werken.

Van assisteren naar delegeren

Project Osmos is een volgende stap in de evolutie van assisteren naar delegeren. De technologie staat vandaag nog in preview, maar maakt duidelijk welke richting Microsoft met data engineering uitgaat.

En dat roept automatisch een volgende vraag op: als AI steeds meer autonoom kan uitvoeren, wat verandert er dan voor de data engineer?

Daar komen we in onze volgende blog "Autonomous data engineering: wat verandert er voor de data engineer"  op terug.