Tyto průtokové systémy nijak nenahrazují trendovou analytiku založenou na velkém objemu uložených dat, pouze přidávají možnost reagovat na aktuální situaci. Jejich primární nasazení je v oblasti senzorů, měřičů, výrobních dat, dat ze sociálních sítí, návštěvnosti webu (clickstream) a internetu věcí.

Několik konkrétních příkladů využití:

• Vytvoření varovného systému pro výrobní senzory s upozorněním, když průměr naměřených hodnot za poslední minutu přesahuje stanovený práh
• Telekomunikace a detekce podvodů se SIM kartami – firma může reagovat na hovory přicházející se stejnou identitou ve shodnou dobu z různých lokací a tyto hovory ukončit
• Aktuální reakce na nákupní košík zákazníka může vyústit ve slevový kupón, který odpovídá preferencím zákazníka (nenabízím obecnou, ale konkrétní slevu)
• Reakce na zvýšený počet příspěvků na sociálních sítích. Možno kombinovat s analýzou sentimentu a vytvořit varování při konkrétním počtu negativních příspěvků za posledních několik minut.
• Zpracování dat ze senzorů napojených na pacienty umožní lékařům rychleji předpovědět a léčit nebezpečné infekce.

Azure Stream Analytics

Na trhu je v současné době dostupných několik systémů, které podporují práci s proudy dat. Namátkou Amazon Kinesis, InfoSphere Streams, Oracle Event Processing, Google Dataflow, StreamInsight, Apache Storm. Texto text blíže popisuje Azure Stream Analytics, což je cloudová služba pro zpracování proudů dat v reálném čase od Microsoftu.

Její cena se odvíjí podle využívaných zdrojů a je kalkulována dle objemu zpracovaných dat (v GB) a podle proudových jednotek (streaming units). Proudová jednotka je kombinace množství zpracovávaných událostí a jejich velikosti. Jedna jednotka umožní zpracování do objemu 1 MB/sek. Platba za spotřebovaný výkon umožňuje ekonomicky smysluplně provozovat i menší aplikace. Pokud mají nízké kapacitní požadavky bude jejich celoměsíční provoz stát ve stovkách korun.

Vytvoření analytické aplikace přitom může být otázkou několika minut. Stream Analytics je možné ovládat pomocí SQL syntaxe. V Azure portálu se vytvoří nový Stream Analytics job, kterému se určí název a geografické umístění. Samotná služba se pak sestává ze třech částí:

• Vstupy mohou být proudové povahy, nebo vystupovat jako referenční data (číselníky, které obsahují doplňkové informace). Vstupní data mohou být uložena v textových souborech nebo vstupují přes Event Huby (viz slovníček).
• Transformace vstupů na výstupy se zapisuje v SQL dialektu. Detailněji je zápis dotazů popsán v kapitole o dotazování. Součástí transformace může být využití prediktivních algoritmů v Azure Machine Learning. V telekomunikačním nasazení mohu nějak se vymykající telefonát prohnat algoritmem, který určí pravděpodobnost škodlivosti hovoru (na základě předchozích hovorů se stejnými atributy). Nebo při analýze sociálních médií mohu příspěvky obohatit o sentiment a mohu tak získat aktuální vývoj popularity mé značky.
• Výstupy definované transformací se ukládají do několika typů úložišť cloudového charakteru: Azure SQL database, blob storage, no-sql databáze. Poslední možnost je posílat výsledky do PowerBI datasetů, které nabízí možnost real-time dashboardů a další analýzy, včetně mobilního zobrazení. 

Obr. 1: Schéma toku události v systému Azure Stream Analytics

Dotazování

Jednou z nejdůležitějších vlastností Stream Analytics je zápis transformačních pravidel ve formě SQL dotazů. Pro lepší představu si zde dovolím uvést příklad pro identifikaci potenciálně podvodných hovorů, které odcházejí ze stejného čísla, ale z jiné lokality během posledních 5 sekund:

Čas

V aplikacích, které zpracovávají události v reálném čase, je běžně potřeba současně zpracovávat skupinu událostí, které spadají do stejného časového rámce. Koncept času je podstatnou náležitostí CEP systémů a je nezbytné, aby existoval snadný způsob, jak s časem pracovat. Je nutné také odlišovat aplikační čas a čas, kdy záznam vstoupil do systému. Tyto dva časy se mohou lišit, zejména, pokud pracujeme s úložištěm v sql databázi. Ve Stream Analytics se události dají seskupovat do časových oken. Okno umožní pracovat naráz se všemi událostmi, které se vyskytly v zadaném časovém intervalu. Existují tři typy oken:

• Navazující – je to série navazujících, nepřekrývajících se, stejně dlouhých intervalů. Ve chvíli, kdy se předchozí okno uzavírá, automaticky startuje další. Příklad: za sebou jdoucí pětiminutové intervaly.
• Skákavé – série stejně dlouhých, překrývajících se intervalů. Na rozdíl od navazujících oken se skákavé mohou překrývat. Příklad: okna startující co pět minut a měří hodnoty za poslední hodinu
• Klouzavé – série stejně dlouhých, překrývajících se intervalů. Okno se neotvírá ve stanovenou dobu, ale s každou novou událostí. Příklad: při každém použití čipové karty mohu pomocí klouzavého okna zjistit počet použití stejné karty během předchozích např. 60m (předcházím tím použití duplikátu karty)

Další konkrétní použití, pro klouzavé okno s ukázkou jednoduchosti dotazu – máme mýtnou bránu se sledováním SPZ a chceme zjistit, přes kterou bránu v posledních 5 minutách projelo méně než 3 auta:

Shrnutí

Analýza proudů dat je vhodná tam, kde je potřeba reagovat na aktuální dění. Nejčastější vstupní data jsou události generované čidly, měřiči, internetovou návštěvností, sociálními sítěmi. Vhodné oblasti použití jsou v energetice, vodárenství, maloobchodu, ecommerce, telekomunikacích a výrobě. Výsledek analýzy toku dat směřuje ke konkrétní akci, je to varování, upozornění na překročení limitu, souběh událostí, na nárůst množství nebo hodnot měření. Řešení ve formě cloudové služby nabízí jednoduchou platformu pro rychlý vývoj analytických aplikací i bez znalosti sofistikovaných programovacích jazyků

Radim Hampel Autor článku je technickým ředitelem společnosti Intelligent Technologies.