Kde se vzala velká data?

Data vždy rostla a vždy se tedy hodily výkonnější systémy a vždy bylo málo diskové kapacity, paměti a procesorového výkonu pro jejich zpracování. Kdysi se velká data měřila v kilobytech, pak v megabytech, gigabytech, terabytech, teď mluvíme o petabytech, exabytech a zetabytech. Uvádí se, že od osmdesátých let, ve kterých se počítačové technologie dnešního typu začaly masově šířit, se na světě množství dat vyprodukovaných na hlavu zdvojnásobuje každých čtyřicet měsíců. A v roce 2012 bylo každý den vytvořeno odhadem 2 700 000 000 000 000 000 bytů. Tedy 2,7×1018, čili 2,7 exabytů. Celkem za rok to činí zhruba jeden zettabyte (1021 – sextilion čili tisíc miliard miliard). Očekává se, že v roce 2020 to bude už 35 zettabytů. To už není jen tak obyčejný a poklidný růst. To je datová revoluce, protože s takovými čísly jsme byli zvyklí běžně pracovat pouze v astronomii. Zasvěcení říkají, že big data ve skutečnosti nemusí být zase tak moc velká, stačí jen, když z důvodu jejich množství, různorodosti či rychlosti změn máme problémy je se stávajícími prostředky zpracovávat. A to je díky množství kanálů, kterými se data šíří, čím dál tím častější jev, se kterým se potýkají firmy o různé velikosti (a ne vždy nezbytně té největší). V dosavadní historii počítačového zpracování představovala výzvu snaha získat všechny informace, které by se nám hodily, které bychom potřebovali a které bychom mohli použít. V počátečních dobách rozvoje IT se to dařilo samozřejmě pro malé informační ostrůvky, většinou pro dílčí podnikové agendy pracující s omezenou škálou informací. Postupem doby výpočetní systémy obsluhovaly větší a větší oblasti života – nejprve podniků a organizací a později i „normálních lidí“. Jinak řečeno – ve stále větší míře pokrývaly celkovou potřebu použitelných informací. Nehrálo tu už roli, je-li firma velká, střední či malá. Každá z nich potřebovala data nejprve shromažďovat a později je organizovat a spravovat. Jde o to, aby se v nich bylo možno vyznat, aby byly jednoznačné, spolehlivé a kvalitní, aby byly zabezpečené – tedy aby byly co nejlépe využity.

Vývoj se ale samozřejmě nezastavil a systémy, které podporují stále více činností každodenního života jakkoli velké společnosti, společně s možnostmi komunikace a spoustou nových elektronických agend vytvářejí stále více dat. V jistém okamžiku (stalo se to nedávno – podle různých zdrojů někdy kolem roku 2008) začaly elektronické systémy na celém světě vytvářet více dat, než které je možno efektivně zpracovat. Od této chvíle začala výrazně nabývat na významu potřeba extrahovat z dat právě ty informace, které jsme schopni efektivně použít. Začala éra velkých dat.

Výzva nejen pro velké podniky

Ačkoliv se dnes může stále zdát, že je to záležitost těch „velkých“, střední i menší podniky se čím dál častěji potýkají se stejným problémem. Jak z množství dat získat užitečné informace? Spousta informací představuje pouhé „záblesky“, některé z nich však mohou být významné. Nebo nabudou významu až v souhrnu a při určitém pohledu. V důsledku to znamená, že aby firma z těchto informací něco měla, musí se smířit s tím, že je nebude zpracovávat „až se to bude hodit“, respektive až bude mít k dispozici volnou kapacitu. To už mohou být tisíckrát změněny, nebo nemusí vůbec existovat. Informaci, její změnu, trendy či změnu těchto trendů je třeba zachytit a vyhodnotit nejlépe okamžitě po jejím vzniku. To firmě také umožní reagovat, když to ještě má smysl. Vývoj jde dál. Výpočetní výkon je třeba alokovat v čase a mít k dispozici metody pro okamžité zachycení, analýzu a následnou akci. Tuto potřebu budou mít společnosti stále více a více. Na život s velkými daty si velká, střední i malá organizace zvykne. Stejně jako si před lety zvykla na mobilní telefony a internet.

Mnohé organizace si dnes začínají uvědomovat, jak důležitou roli mohou pro dosažení jejich business cílů hrát big data. Různé známé a více či méně úspěšné koncepty, jako identifikace faktorů ovlivňujících rozhodnutí zákazníků o nákupu, vzorců chování ukazující na podvody, neefektivností zpomalujících business procesy, mohou díky sběru a analýze big dat nabýt nového charakteru a podstatně větší účinnosti. Kvalitativně nové informace, získané takovou analýzou, mohou organizacím pomoci zlepšit vlastní fungování a identifikovat příležitosti pro nové produkty a služby, které by si jinak neměly šanci všimnout. V zásadě se dá říci, že analýza big dat je dnes onou volbou, jež ukazuje cestu k získání konkurenční výhody a růstu výnosů.

Na druhé straně představuje zpracování big dat pro mnoho organizací náročnou výzvu. Big data bývají skutečně hodně velká a mají tendenci rychle měnit svůj obsah i strukturu, takže nakládání s nimi je stále složitější a také je stále obtížnější se k těm pravým informacím už jen dostat. Dostupné nástroje schopné zpracovávat big data jsou obvykle složité a náročné na používání a většina podniků nemá k dispozici dostatečnou odbornost, jež by jim umožnila s nimi efektivně nakládat a poskytovat takové analýzy, které by přinášely skutečný efekt. Společně s obtížností samotné správy a zpřístupnění big dat je nedostatek znalostí a zkušeností v této oblasti považován za nevýznamnější problém.

Většina existujících technik pro zacházení s big daty vyžaduje spoustu nepříjemné ruční práce. Většina softwarových nástrojů pro práci s big daty dnes zdaleka není na takové úrovni, aby je mohli bez problémů masově využívat business uživatelé. Pokud se nejedná zrovna o organizace jako Google nebo Facebook, jež zaměstnávají tisíce specialistů pro práci s big daty, je pro ně velmi obtížné jejich informační potenciál využít. To, co potřebuje „normální“ podnik, jsou nástroje, jež by mu umožnily big data analyzovat jednoduše, účinně a s relativně malými náklady. I pracovníci, kteří nejsou experti na data (data scientists) by měli být schopni na základě svého odborného zaměření formulovat dotazy a snadno a rychle se dobrat výsledků – například nalézat vzorce chování, identifikovat nekonzistence a anomálie, či dokonce získat odpovědi na otázky, jež je do té doby ani nenapadlo položit. V opačném případě bude přínos z úsilí a nákladů vynaložených pro sběr a správu big dat velmi nejistý. A pokud se nepodaří nalézt odpovědi na důležité otázky, jež jsou ukryty v jejich datech, budou příslušné společnosti čelit riziku ztráty důležitých business příležitostí.

Demokratizace dat

Proč jsou některé společnosti schopny proměnit využívání big dat ve svou výhodu, zatímco jiné stále znova zabředávají do stohů informací, jež jim přinášejí jen omezený užitek? U těch, kterým se v tomto směru podařilo uspět, je ve většině případů klíčovým faktorem schopnost doručit a prezentovat data tak, aby uživatelům poskytly pro ně srozumitelnou a smysluplnou informaci. Podstatnou stránku tohoto procesu představuje vizualizace dat a informací. Podle publikovaných výzkumů mezi organizacemi, které už více či méně ve zpracování big dat pokročily, již více než polovina z nich implementovala řešení pro vizualizaci dat a skoro všechny ostatní se k tomu chystají. Jinak řečeno, pro všechny, kdo se big daty efektivně zabývají, je účinná vizualizace na pořadu dne. Kromě klasického sdílení informací a reportingu slouží v absolutní většině případů vizualizace jako prostředek pro odhalování nových informací v datech (data discovery). Naproti tomu mezi organizacemi, které ve zpracování velkých dat příliš nepokročily, je takových, jež řešení pro vizualizaci dat implementovaly, méně než jedna pětina. Je zřejmé, že v prostředí big dat jsou nástroje pro pokročilou vizualizaci klíčovým prvkem, a to především proto, že minimalizují čas potřebný pro porozumění datům a informacím. Důležité je, aby současně s dostupností a jednoduchostí použití umožňovaly využívat i pokročilých analytických metod.

Právě kombinace s analytickými metodami činí z vizualizačních technik řešení, jež umožňuje rychlou a snadnou exploraci dat i pro businessově orientované uživatele. V praxi to znamená, že práce s big daty nevyžaduje po konkrétních pracovnících, aby se do hloubky orientovali v problematice analytického zpracování. Naopak, mohou uplatnit svou odbornost v jejich vlastních oborech, jako marketing, finance zásobování apod., tak, že budou schopni formulovat a zadávat dotazy, které přinesou srozumitelné a okamžitě použitelné odpovědi relevantní pro jejich business. Dostanou tak do ruky silný nástroj, jenž jim umožní snadno sledovat a predikovat trendy, rozeznávat závislosti a nepravidelnosti, odhalovat vzorce chování zákazníků, konkurentů, produktů, případně včas zjistit, že některý proces nefunguje dobře. Vizuální forma sdělení je přitom velmi důležitá, umožňuje snadno pracovat s informacemi vyprodukovanými pomocí tradičních analytických metod, jež v „surovém“ stavu nevypadají pro běžné uživatele příliš přátelsky, nebo jsou dokonce „nečitelné“. Tím, že je současně možno pracovat se všemi daty organizace, se navíc otvírá mnoho dalších možností, ať už prostřednictvím nových pohledů nebo přesnějších a detailnějších výstupních informací vedoucích ke kvalitnějšímu rozhodování. Kombinace účinné vizualizace a pokročilých analytických metod navázaná na odbornost v daném oboru se ukazuje jako velmi efektivní cesta ke skutečnému zlepšování chodu podniku a vytváření nových iniciativ. Je to jako vytěžení zlaté informační žíly z masivu datové horniny. Motivuje přemýšlet o realitě a příležitostech novým způsobem. A je to nejpřirozenější cesta, jak uživatelům představit potenciál informačního bohatství ukrytého v datech.

Ve většině organizací jsou pracovníci IT zaplavováni požadavky business uživatelů a analytiků na nejrůznější datové výstupy, ad-hoc reporty, informace na jedno použití. S využitím řešení, které se soustřeďuje na vizualizaci big dat, může IT poskytnout uživatelům přístup k více informacím než kdykoliv dříve, a co je ještě důležitější, umožnit jim postupovat při analýze jejich vlastním tempem. Při všech těchto požadavcích je pro současnou obsluhu velkého počtu uživatelů, kteří dynamicky vytvářejí reporty a zkoumají data, ideální s využitím technologie zpracování analýz přímo v paměti (in-memory analytics). Ta přináší navíc důležitý „vedlejší“ efekt – možnost jednoduchého a efektivního sdílení informací. A konečně, umožňuje to IT uvolnit si ruce a soustředit se na jiné důležité projekty.
 

Big data mýtů zbavená

Kombinace analytických metod a vizualizace, jež uživatelům umožní přímou interakci s daty, by měla být integrovanou součástí jakékoliv iniciativy v oblasti business inteligence. To, že snadno a rychle získají srozumitelnou a businessově smysluplnou informaci, kterou si sami zkonstruují, jim umožní okamžitě konat a podniknout akce ke zlepšení chodu businessu. Mezi klíčové charakteristiky pokročilé vizualizace dat patří zejména:

• Vysoce interaktivní grafické prostředí – řešení by mělo být schopno zobrazovat data automaticky tak, aby jejich grafická reprezentace odpovídala jejich typu, poskytovat zobrazení na mapových podkladech, vyznačit a vysvětlit vztahy mezi proměnnými, poskytovat širokou škálu pokročilých, ale srozumitelných analytických vizualizací, jako například korelace, boxplots, heatmaps apod.
• Integrované intuitivní a snadno dostupné analytické funkce – řešení by mělo netechnické uživatele odstínit od komplexity datových struktur a umožnit jim jednoduše hledat vztahy v datech, navigovat (slice and dice) v multidimenzionálních kostkách, aplikovat filtry na všech úrovních hierarchií, vytvářet nové kalkulované proměnné. Definovat a zobrazovat předpovědi využívající zabudovaných pokročilých prediktivních metod.
• Snadné vytváření reportů – řešení by mělo mít integrované webové rozhraní pro snadné vytváření dynamických reportů a práci s nimi včetně navigace (drill-down/up), samplování, filtrování, parametrizace atd.
• Snadná distribuce analýz a reportů na mobilní zařízení a webové portály – podpora spolupráce a sdílení informací je dnes jedním z klíčových atributů úspěšného a účinného řešení.

 

Kromě toho by nástroje pro vizualizaci dat měly mít relativně malé nároky na provoz a správu a být použitelné v návaznosti na existující praxi, postupy a standardy pro nakládání s daty a jejich zabezpečení.

Business intelligence ze své podstaty umožňuje získat informaci v pravý čas a v takové formě, aby na jejím základě bylo možno okamžitě a s důvěrou ve vlastní rozhodnutí konat. Pokročilá vizualizace dat, jež má v zádech účinné analytické metody, dělá z business inteligence skutečně mocný nástroj. Žijeme ve vysoce kompetitivním světě. Zda se nám podaří dostatečně rychle a snadno rozeznat příležitost nebo hrozbu – či ji kompletně pominout – rozhodujícím způsobem ovlivní naši možnou konkurenční výhodu, nebo dokonce limituje možnost přežití. Ztráta výnosů, podílu na trhu, hodnoty akcií, či dokonce právní dopady – k tomu všemu může vést omezená schopnost nalézat a vyhodnocovat vztahy, anomálie či skryté poklady v datech.

S využitím pokročilých analýz a vizualizace dat si mohou podniky sáhnout na skutečnou hodnotu ukrývající se v big datech, akcelerovat svou efektivitu a dosáhnout vyšší návratnosti investic. A ti, kdo vizualizaci dat využívají, si mohou být jisti, že jim pomůže získat nejlepší odpovědi z big dat, ztratit minimum obchodních příležitostí a soustředit se na podstatné věci.

Vladimír Kyjonka
Autor působí jako business intelligence advisor ve společnosti SAS.