Postavit Big Data platformu jde za pár měsíců. Ale aby plnila svoji roli a vyspěla, to chce svůj čas. Několikrát jsme si to ověřili na reálných realizacích v bankách, telekomunikacích i ve výrobních společnostech. Přestože jsme datovou platformu v jedné bance postavili už v roce 2015, stále ještě na svou maturitu čeká. Pořád je totiž co vylepšovat a rozvíjet. A stále přibývají další a další data.

Projekty na Big Data bývají komplexní a dají se realizovat pomocí několika různých technologických a architekturních řešení. Jak postupovat, abyste ve svém snažení uspěli?

1. Odbourejte datová sila

Často se setkáváme s malou ochotou sdílet v rámci organizace data s někým jiným. Ve velkých organizacích stále přetrvává majetnický vztah a udržování datových sil. Lidé si sice uvědomují, že data potřebují, ale nechtějí se o ně dělit.

2. Postavte datové jezero

Mnoho našich zákazníků buduje Data Lake nebo Big Data platformu, aby odstranili tradiční přístup, tj. rozptýlená data ve velkém množství sil: databází, souborových systémů, aplikací a dalších míst. Datová jezera mají jednu nespornou výhodu: pojmou ohromné objemy dat, strukturovaných i nestrukturovaných. Můžete si na ně ukládat nejen data, ale i obrázky, zvuky, videa a realizovat nad nimi zajímavé analytické úlohy. Datová jezera, jako Hadoop nebo obdobné systémy provozované v cloudu, pomohou vyřešit problém s oddělenými daty a umožní kooperaci. Bohužel ale vzniknou tím problémy nové.

3. Myslete na Data Governance

Už od samého začátku je vhodné se zaměřit na klasická datová témata s nimiž se pojí obtíže se zajištěním datové konzistence, datové čistoty, dohledatelnost, srozumitelnost, jaké informace data obsahují a jak vznikla. Často pracujeme v prostředí, kde chybí datové katalogy a byznysové glosáře. Centralizovaný datový katalog by měl poskytovat přehled o datovém portfoliu a současně by měl podporovat zajištění přístupových práv a jejich správu. Jde o to, aby i byznysoví uživatelé viděli, co je ve firmě za data, a věděli, jak získat přístup k tomu, co potřebují. Aby se mohli správně rozhodovat a měli podklady pro inovace.

4. Umožněte datovou demokratizaci

Ačkoli se zákazníci v našich projektech velmi snaží demokratizovat přístup uživatelů v rámci celkové modernizace datového ekosysté­mu, stále se vyskytuje dost bariér, které to limitují – především z oblasti bezpečnosti dat a GDPR. Různé skupiny uživatelů, jako datoví analytici, datoví inženýři, datoví vědci, mohou pracovat s větším rozsahem dat a mají celou řadu možností, jak je využít.

5. Promyslete i anonymizaci

Z důvodu ochrany soukromí zákazníků je nutné dbát na korektní práci s daty v anonymním módu. A tak je na místě vypracovat postup, jak to zajistit – bezpečně, automatizovaně a spolehlivě. Vytvoření sekundárního datového prostředí, kde budou výhradně anonymizovaná data, je dnes nutností.

6. Využívejte různé datové zdroje a integrujte je

Při zajišťování dat na datovou platformu si dejte pozor na to, abyste nevybudovali datovou bažinu. Integrace dat, pro něž není v řádu několika měsíců konkrétní analytické nebo byznysové využití, zakládá na tvorbu datové bažiny. Proto doporučujeme budovat Data Lake postupně, podle byznysových zadání. Primárně by měl poskytnout výsledky v jedné konkrétní oblasti. Teprve potom začněte postupně přidávat další a další zdroje dle případů použití.

7. Od začátku počítejte s velkou datovou platformou

Projekt na Big Data nemusí být hned od začátku obrovský. Nicméně je vhodné, aby architektura řešení byla navržena tak, aby se dala snadno škálovat a v budoucnu rozšířit. Mějte také na paměti výhody a nevýhody on-premového řešení a cloudu. A nezapomínejte pravidelně vyhodnocovat svoje potřeby. Např. jak rychle jste schopni zareagovat na stoupající množství dat vaší společnosti a rostoucí počet uživatelů? Díky cloudu, který eliminuje investice do hardwaru, mohou organizace navyšovat výpočetní výkon ze dne na den. Na druhou stranu protlačit přes internetovou linku vaší společnosti petabyty dat nemusí být vždy úplně jednoduché.

8. Strategií se vyhnete spoustě problémů

Rozhodně se vyplatí mít pro budování datového ekosystému strate­gic­ký záměr, který podporuje silný enterprise architekt a který je pokrytý i z finančního hlediska. Vyhnete se tak mnoha nepříjemnos­tem a problémům. Ale překážky na cestě budou neustále. S funkční strategií jsme v celé řadě našich projektů na Big Data odstranili bariéry, které by bránily byznysovým uživatelům v přístupu k datům. Ačkoli se pohybujeme v agilním světě, bez strategie a fázování vývoje se neobejdeme.

Dagmar Bínová Autorka článku se celou svou profesní dráhu věnuje datům, jejich analýze a byznysovému využití. Ve společnosti Adastra vede tým Big Data a Data Science.