Jak vzniká datová bažina?

Datové bažiny vznikají velmi snadno. Na začátku obvykle stojí nějaká idea, jak budeme s daty lépe zacházet, lépe je spravovat a na co všechno je využijeme. Problém vzniká v další fázi, kdy buď nesprávně zvolený nebo příliš naivní přístup k data managementu dokáže snadno vyrobit datovou bažinu z libovolně kvalitní datové základny. Při analogii s klasickou bažinou prostě nefunguje nebo přestalo fungovat datové proudění a vzniká datové bahno.

Některé typy datových platforem jsou díky rigidnějším výstavbovým principům odolnější než jejich flexibilní obdoby. Příkladem může být klasický datový sklad (data warehouse), který má velmi jasně definována pravidla sestavovaná po desetiletí celou řadou teoretiků a praktiků. Jeho sešněrovanou a utaženou architekturu je v porovnání s mnohem modernějšími a flexibilnějšími řešeními typu data lake nebo data lakehouse obtížné v datovou bažinu změnit. Ale ani data warehouse se vždycky nedokáže ubránit. Jakmile vznikne datová bažina, je už jedno, jestli se původně jednalo o data warehouse, data lake nebo data lakehouse.

Data z ní nelze dál efektivně využívat. Původně čistě technický problém se stává obecným, byznysovým problémem s přímými dopady na fungovaní organizace. Datové bahno je hutné, analytické nástroje do datového bahna zapadají až se v něm začnou přímo topit. Cenné informace mizí v datovém chaosu a rizika nekontrolovaně rostou.

Co s datovou bažinou dělat?

Tady bahenní analogie končí. Přírodní bahno má, narozdíl od datového bahna, řadu využití: na léčebné koupele, balneoterapie, kosmetiku, detoxikaci, hojení ran, zemědělství, stavitelství nebo dokonce umění. Oproti tomu, užitečnost bahna z datové bažiny se limitně blíží nule a je potřeba s tím něco dělat.

Někoho možná napadne, že se stačí vrátit ke kořenům data warehousingu a aplikovat všech tisíc základní pravidel. Bohužel takto snadné to není. Datovou bažinu je potřeba buď vysušit nebo přeměnit v soustavu propojených datových rybníků. Oba přístupy vyžadují zásadní stavební prvek a tím prvkem je data governance. Bez data governace se z datové bažiny vyhrabat nelze.

Data governance zatočí s datovým bahnem

Pokud nemáte datovou bažinu, patříte mezi šťastné organizace, které zvládly umění data governance. Je možné, že této vaší schopnosti takto vůbec neříkáte, ale data governance to prostě je. Pokud jste se rozhodli řešit datové odbahnění, je potřeba si data governance osvojit v celé šíři, od technologií, přes procesy a lidi až po samotné standardy.

Základním východiskem data governance je datová strategie, která popisuje proč a jak chce organizace používat data a hlavně jak z nich chce získat nějakou hodnotu. Bohužel datová strategie je málokdy jasně definovaná. Proto doporučujeme, abyste jí věnovali velkou pozornost.

Na dobrou datovou strategii lze již navázat data governance. V minulosti se data governance často zaměňovala za řízení datové kvality, většinou v čistě reaktivní režimu. V praxi se někdy také stává, že je data governance zredukována z aktivní schopnosti řídit data na pasivní, velmi dlouhý, vševědoucí dokument. Ten často funguje jako falešná modla s formálními přínosy, např. když zrovna přijde auditor. Tudy cesta nevede. V dnešní digitální době nelze používat zastaralé nástroje na nové problémy.

Dobrou data governance poznáme podle toho, že dokáže sys­te­ma­tic­ky přinášet přidanou hodnotu. A hlavně pokrývá již zmíněnou čtveřici oblastí: standardy, technologie, procesy a lidi. Správně pojatá data governance zásadně zlepšuje a zefektivňuje data management. Životní cyklus dat je s ní plně řízený. Odpovědnosti jsou jasně vymezené a pokrývají všechna témata od datové architektury, metadata managementu, bezpečnosti dat, řízení master dat, provozu, datové integrace, datové kvality a technologií.

Odhalování datových bažin

Základním pravidlem je se do datové bažiny vůbec nedostat. Jak ale odhalit, že se datová bažina blíží? Zkuste si odpovědět na následujících deset otázek:

1. Máte představu, co a jak chcete se svými daty dělat?
2. Víte, jak a k čemu se data používají, případně i kdo tato data používá?
3. Je časově náročné získat data v požadované struktuře?
4. Víte, jak data vznikají a jaký je jejich význam?
5. Máte aktuální dokumentaci datové architektury?
6. Máte metadata popisující datové množiny a datové transformace?
7. Lze vaše data ad-hoc prohledávat a analyzovat?
8. Jsou vaše data integrovaná, konsolidovaná a kompletní?
9. Dokážete určit, které datové procesy vytvářejí hodnotu pro koncové uživatele nebo zákazníky nebo pomáhají řídit rizika?
10. Jsou vaše data dostatečně kvalitní s ohledem na vaše potřeby?

Pokud jste si na většinu otázek odpověděli záporně, datové bahno už bublá. S velkou pravděpodobností už nefalšovanou datovou bažinu máte, jen o ní ještě nevíte. Bez ohledu na hloubku bažiny je potřeba začít jednat.

Jak vysušit datovou bažinu?

Plán k vysušení je jasný a přímočarý:

1. Najděte sponzora a vytvořte radu pro data governance (Data Governance Board)
Bez sponzora je každý program data governance odsouzen k zániku. Kromě zdrojů musí mít data governance i strategický rozměr a její přínosy je třeba komunikovat.

2. Vytvořte svůj vlastní data governance tým
Data governance board řeší celkovou strategii, fakticky se jedná o hlavu celé data governace. Hlava ale nic nezmůže bez svalů. Tyto svaly tvoří specialisté z data governance týmu, kteří zajistí taktické a operativní úrovně řízení data governance od tvorby standardů až po koordinaci datových aktivit přes celou organizaci.

3. Definujte datové domény a jejich vlastníky
Definujte a popište vaše datové domény včetně jejich účelu a obsahu. Najděte vlastníky dat na straně byznysu. Pouze vlastníci dat jsou schopni říct, jak mají data vypadat a jakou mají mít kvalitu, aby vůbec mohla být použita pro další zpracování jako jsou analýzy, reporty a jiné výstupy.

4. Sbírejte a integrujte metadata
Metadata jsou kritickým prvek data governance, který umožňuje po­pi­so­vat data. Kromě struktury dat dokážou metadata popsat i jejich kvalitu, celkovou dynamiku z pohledu zpracování, časových závis­los­tí nebo trendy. Stále populárnějším tématem je celkový pohled na datové toky v podobě data lineage. Metadata také dokážou defi­no­vat kontext dat ve vazbě na byznysová pravidla. Doba, kdy šlo řešit metadata management pouze pomocí Excelů, dávno skončila. Používejte na správu metadat odpovídající moderní nástroje.

5. Katalogizujte data
Katalogizace se provádí pomocí nástrojů označovaným jako datové katalogy. Popisy dat v katalogu dávají uživatelů jasnou představu, jaká data organizace má a s čím lze v organizaci datově pracovat. Když je máte, mohou uživatelé místo úmorného a často pokoutného shánění dat trávit více času analýzami s přidanou hodnotou. Katalogizovaná data umožňují také jasnější vymezení odpovědností.

6. Zajistěte bezpečnost dat včetně přístupových práv
Zabezpečení dat je nutno vždy řešit s jejich vlastníkem s přihlédnutím k celkové strategii datové bezpečnosti a využití těchto dat. Zajišťuje, aby definovaný bezpečnostní model umožnil zpřístupnění datových aktiv pouze oprávněným osobám a procesům. V rámci bezpečnosti vyřešte i to, jak vaše organizace přistoupí k řízení soukromí dat. Nesmíte zapomenout ani na technologickou stránku věci, která je zásadní pro realizaci a má i velký vliv na efektivitu odbahnění.

7. Automatizujte data i metadata
Každá rutinní manuální činnost je nejen únavná, ale postupem času má tendenci zhoršovat svoji kvalitu nebo zpomalovat. Cílem by měla být maximální automatizace dat a data governance, a to nejen v tradičních oblastech zpracování dat a metadat. Zcela revoluční přístupy pak přináší využití technologií jako umělá inteligence (AI) a strojové učení (machine learning), s jejichž pomocí lze auto­ma­ti­zo­vat i velmi komplexní problémy spojené např. s dokumentací datové modelu, dotazování dat pomocí datového jazyka nebo detekci datových položek podléhajících různým regulacím typu GDPR.

8. Nevymýšlejte kolo a nezapomeňte na správnou údržbu
Není žádnou ostudou při vysoušení nebo přestavbě datových bažin použít zkušenosti někoho jiného ať v podobě data governance frameworků nebo externích data governace specialistů, kteří už pár bažin viděli a hlavně řešili. Po vyřešení datové bažiny je nutné věnovat maximální pozornost údržbě a dodržování všech pravidel, aby se bažina nevrátila. Vynaložené úsilí a náklady se ve srovnání s dalším vysoušením nové bažiny bohatě vyplatí.

Pracuje s daty, ne s datovým bahnem

Z každé datové bažiny se dá uniknout. Otázkou jen je, o jakou a jak nákladnou únikovou cestu se jedná. Nečekejte, až do bažiny zcela zapadnete. Data jsou regulérní majetek a je jim potřeba věnovat odpovídají péči, kterou zastřeší data governance. Tato péče se vám násobně vrátí v podobě kvalitnějšího rozhodování založeného na datech, spokojenějších zákazníků, nižších nákladů, lépe řízených rizik nebo vyšších tržeb. Řízená, kvalitní data jsou tím největším bohatstvím organizací.

Martin Bém Autor článku působí ve společnosti Adastra, kde se přes 10 let věnuje data managementu a data engineeringu.