IoT, Digital Factory, Data & analytics, Azure
Wanneer je al even actief bent in de IoT wereld heb je ongetwijfeld gehoord van of gewerkt met Times Series Insights. Nu Microsoft heeft aangekondigd dat deze service ophoudt te staan, is het tijd voor iets nieuws. En vooral, iets beters!
Een stapje terug…
Azure Time Series Insights (TSI) is een Azure Platform as a Service oplossing die het levenslicht zag om een antwoord te bieden aan de uitdagingen die Internet of Things (IoT) met zich mee brengen. Met de groei van het aantal IoT toepassingen wereldwijd, groeide ook de nood aan oplossingen om de enorme hoeveelheid aan data die zo’n toepassing genereert te capteren, te analyseren en te visualiseren om zo inzichten te genereren uit de data. Ook de nood om correlaties tussen verschillende meetpunten te kunnen onderzoeken of om root-cause analyses uit te voeren nam de laatste jaren toe.
Times Series Insights kreeg dan ook prominent een plaats in de standaard IoT referentie architectuur. Al vrij snel kreeg de eerste TSI generatie een opvolger met betere ondersteunende technologie, nieuwe features en een intuïtievere gebruikersinterface in een moderner jasje. Tevens werden naadloze integraties met andere Azure componenten ondersteund. Nadien bleven nieuwe ontwikkelingen aan de tweede generatie en communicatie rond de TSI roadmap echter uit. Het was dan ook niet helemaal verwonderlijk toen Microsoft begin dit jaar officieel de stopzetting van Time Series Insights (en ondersteuning tot 31 maart 2025) aankondigde. Azure Data Explorer kwam in beeld en werd de gedoodverfde opvolger voor TSI in IoT oplossingen.
-
Kusto, een geoptimaliseerde query taal
Eigenlijk is Azure Data Explorer (afgekort als ADX) niet zo nieuw. Verschillende bekende Azure Services zoals Azure Monitor Logs, Application Insights en zelfs Azure Time Series Insights gebruiken Azure Data Explorer technologie onder de motorkap. Azure Data Explorer wordt door Microsoft gepositioneerd als een managed data analyse service, geoptimaliseerd voor real-time analyse op omvangrijke hoeveelheden data die afkomstig is van streamende applicaties en IoT devices. Met Kusto Query Language (KQL), een bijhorende geoptimaliseerde query taal in open-source en ontwikkeld door Microsoft, kunnen inzichten gegenereerd worden in een mum van tijd. Dit zowel op gestructureerde, semigestructureerde als ongestructureerde data.
-
Samenwerking met andere Azure Services
Sinds ADX officieel deel uitmaakt van de talrijke Azure service catalogus begin 2019, kreeg het al verschillende grote updates, zowel fundamenteel als functioneel. Tot op vandaag worden maandelijks nieuwe functionaliteiten toegevoegd gaande van integraties met andere (niet-) Azure services tot nieuwe query functionaliteiten. Azure Data Explorer bleef groeien waardoor de gelimiteerde TSI service achterop bleef en gebruikers beperkte in hun mogelijkheden. Dat deze technologie een blijvertje is, dat staat vast. Momenteel integreert Microsoft de technologie met Azure Synapse onder de vorm van Data Explorer Pools die naast de gebruikelijke Spark pools opgezet kunnen worden om data te analyseren en transformeren. Zo wordt Synapse de centrale component voor alle data toepassingen.
-
Digital Twin inzetten? Een pak minder complex!
Azure Data Explorer biedt volgens ons vele voordelen én mogelijkheden. Eerst en vooral kan telemetrie data verrijkt worden met contextuele data uit Digital Twins. TSI kon hiërarchische data aan een sensor linken en eventuele extra verrijkingen aan de data toevoegen via tags, maar verder bleef het verder vrij beperkt om deze verrijkingen te gebruiken in visualisaties voor de eindgebruiker. Bovendien is met ADX de combinatie met Digital Twins minder complex. Mocht je met TSI reeds gebruik maken van een Digital Twin instantie, dan was het noodzakelijk om een tussenlaag te voorzien die de twee componenten synchroniseert. In Azure Data Explorer kan men een out-of-the-box library gebruiken om een Digital Twin service aan te spreken en zo telemetrie data te verrijken en context aan te bieden in een dashboard.
-
Telemetrie data, maar ook meta data en business data
Naast IoT telemetrie data en bijhorende contextuele (meta)data is er ook nog typische business data afkomstig uit systemen zoals ERP en CRM. De grote kracht van IoT zit voornamelijk in het combineren van deze verschillende databronnen. Denk bijvoorbeeld aan de vereiste om verkochte producten te kunnen traceren, zodat ze in geval van achteraf vastgestelde productieproblemen opgespoord en eventueel teruggeroepen kunnen worden. Om de oorzaak van het defect terug te vinden heb je zowel klantenorder, productieplanning, contextuele fabrieksinformatie en historische telemetrie data nodig. ADX is sterk geïntegreerd met Azure Datalake en kan zo de business data ophalen en combineren met andere relevante databronnen. Wat vroeger manueel diende te gebeuren in zulk scenario, kan met ADX volledig geautomatiseerd worden, en kan men via een interactief dashboard de brug slaan naar de eindgebruiker. De gebruiker dient dan enkel een ordernummer in te geven en het dashboard zal in een mum van tijd alle nodige informatie op het scherm tonen om de oorzaak van het defect aan te kaarten.
-
Geavanceerde analyses en predicties
Ingebakken Azure Data Explorer functies bieden ook de mogelijkheid aan om anomalieën in de telemetrie data te identificeren of forecasting uit te voeren om atypisch gedrag te herkennen. Zodra de patronen gedetecteerd zijn, kan de Root Cause Analysis opgestart worden. Vaak is het diagnose proces complex en langdurig, maar ook daar probeert Azure Data Explorer een helpende hand te bieden. Concreet zijn er (momenteel) drie Machine Learning plugins ter beschikking gebaseerd op cluster-technieken. De Machine Learning plugins worden eerder gebruikt in interactieve ad-hoc analyse scenario’s en in real-time monitoring services.
Conclusie
Azure Data Explorer biedt een waaier aan mogelijkheden om diepgaandere analyse uit te voeren op grote hoeveelheden data. De meer-dan opvolger van Azure Time Series Insights is dankzij zijn krachtige technologie hét centraal element om tijdsgebonden data te analyseren en te verrijken. Maandelijkse updates zorgen er bovendien voor dat er steeds meer deuren open gaan. Wij zijn alvast fan!
Wil je weten of jouw Azure Data Explorer een goede kandidaat is voor jouw data project? Plan een vrijblijvend intake gesprak
