Pro firmu, která chce v dnešním informačně náročném světě mezi konkurencí obstát, začíná být nedílnou součástí obchodní strategie vybudování datového skladu. Bez jednotné a konzistentní datové základny, kterou pro podnik představuje, si snad ani nelze představit kvalifikované analýzy minulosti, fakty podložené rozhodování v přítomnosti a profesionální plánování budoucího vývoje. Firmy, jejichž manažeři se zamýšlejí nad tím, jak podpořit obchodní procesy důležité pro danou oblast podnikání, definují ukazatele a sledují jejich vývoj v čase, což jim umožňuje reálný pohled na sebe sama, včasné zásahy při zhoršujících se trendech, či podporu perspektivního odvětví podnikání. Moderní Customer Relationship Management nebo Balanced Scorecard je bez datového skladu nemyslitelný.

Budování datového skladu
Realizace datového skladu však není jednoduchou záležitostí. Informace pro rozhodování na nejvyšší úrovni jsou často čerpány z různých navzájem neprovázaných informačních systémů. Úkolem datového skladu je tyto systémy zkonsolidovat, doplnit chybějící data, přepsat nebo vyloučit chybné údaje a vyřešit údržbu dat v čase. Přesto, že dnes je již oblast datových skladů poměrně dobře prozkoumána a je definována metodika řešení nejčastěji se vyskytujících problémů, zůstává budování datového skladu pro firmu závažným rozhodnutím, které ji spojí s dodavatelem řešení datového skladu v mnoha případech na několik let, kdy se postupně sklad rozšiřuje a doplňuje o další a další oblasti.

Technologie - nezbytná podmínka
Faktorem, který může dobu budování datového skladu a úspěch celého projektu výrazně ovlivnit, je volba vhodných technologií. Podrobný rozbor databází, CASE nástrojů, OLAP serverů i klientských aplikací zobrazujících multidimenzionální data je námětem na celou knihu a platí, že co zákazník, to jiné priority a jiná volba z dostupného portfolia. Obvykle je k dispozici několik variant, jejichž počet se řídí Gaussovou křivkou - v hlavním proudu si lze skutečně vybírat, čím je však velikost projektu extrémnější, tím se počet možných řešení snižuje. A extrémem mohou být jak malé projekty trvající jen několik týdnů, tak i práce pro nejnáročnější zákazníky vyžadující prvotřídní kvalitu a spolehlivost.

Oblastí, ve které se při implementaci datového skladu stráví nejvíce času, je vytváření datových pump, neboli ETL skriptů, které přesouvají data z primárních informačních systémů do datového skladu. Z několika důvodů nelze pro tvorbu těchto skriptů využít pouze jazyka SQL. Za prvé, dotazovaná data se často nacházejí v různých databázích, dokonce na různých platformách. Za druhé, transformace potřebné pro výpočty obchodních ukazatelů jsou často natolik složité, že konstrukty SQL na ně nestačí a je nutné použít procedurálního jazyka s proměnnými, cykly a rozhodovacími příkazy. Za třetí, je nutné dohledávat cizí klíče v číselníkových tabulkách, generovat umělé klíče tabulek a zpracovávat chybějící a nesprávná data. Všechny výše uvedené důvody a mnohé další vedly k vytvoření specializovaných nástrojů pro extrakci, transformaci a ukládání dat (Extraction, Transformation and Loading - ETL).

Ab Initio - kontroverzní špička v oboru ETL
V prvopočátcích datových skladů byl citelně znatelný nedostatek nástrojů ETL. Nejčastějším řešením bylo dávkové nahrání vstupních dat do zvoleného databázového stroje s následným použitím procedurálního jazyka tohoto serveru. Jiným ne zcela uspokojivým přístupem bylo vytváření vlastních ETL aplikací s použitím ODBC konektivity. Postupem času se začala mezera trhu zaplňovat nástroji jako je Datastage firmy Ardent (nyní Informix) nebo Data Junction stejnojmenné firmy. Našim čtenářům jistě nejsou neznámé ani produkty PowerMart a PowerCenter firmy Informatica nebo u nás velmi oblíbené DTS firmy Microsoft.

Produktem ETL, o kterém jsme v našich zemích doposud neměli možnost příliš slyšet, je Ab Initio. Jedná se o nástroj velmi zajímavý, protože v každém směru extrémní. Například WWW stránka, kterou se většina firem snaží vyšperkovat posledními hity multimediální techniky, aby přilákala co nejvíce zákazníků, obsahuje schematický zelený strom na modrém pozadí spolu s několika lakonickými větami a kontaktem (viz obrázek). Nenechme se však zmýlit prvním dojmem. Zákazníci Ab Initia jsou ty největší společnosti, výkon a škálovatelnost Ab Initia je díky paralelnímu zpracování vynikající i pro velká data. Cena produktu je také výjimečná.

Bližší informace o již pět roků starém, přesto tajuplném produktu, se mohli dozvědět účastníci 6. ročníku Annual Leadership Conference Datawarehouse Institutu v San Diegu začátkem loňského listopadu.

Tentokrát si přes 700 účastníků z celého světa vyslechlo praktické zkušenosti implementátorů datových skladů, dodavatelů technologií i teoretičtěji zaměřených odborníků jako Kimball nebo Inmon. Ab Initio bylo ze všech ETL produktů daleko nejčastěji zmiňováno. Zde je několik zaznamenaných názorů:

. drahý nástroj, ale ne v prostředí, pro které je určen
. extrémně zajímavý produkt (architektura, výkon, škálovatelnost)
. limitovaný počet zdrojových a cílových databázových systémů
. poměrně omezený produkt (není ODBC konektivita, chybí integrace s nástroji třetích stran, ...)
. předdefinovaná řešení nemohou splnit velká očekávání

Je potřeba dodatečného vývoje. Naproti tomu v Ab Initiu není předdefinováno téměř nic, všechno však lze vyvinout přímo v nativním prostředí - funkcionalitu ETL není nutno rozšiřovat pomocí externích nástrojů.

Shodou okolností se autorovi tohoto článku podařilo dostat se k práci s tímto nadmíru zajímavým produktem a v dalších odstavce tedy mohou obsahovat základní technické shrnutí Ab Initia podepřené konkrétními zkušenostmi.

GDE - Uživatelské prostředí
Uživatelské prostředí se příliš neliší od nástrojů Microsoft DTS nebo PowerMart. Uživatel vytváří orientované grafy znázorňující toky dat od zdrojů dat k cílům. Uzly tohoto grafu jsou transformace různých typů. Uživatel myší přetáhne zvolenou komponentu do grafu, napojí ji vstupními a výstupními porty k ostatním komponentám a zkonfiguruje transformaci.

Na obrázku je uveden příklad grafu s třemi zdroji, ze kterých jsou nejdříve vyfiltrována požadovaná data, poté spojena komponentou Join, ztransformována a uložena do tří různých cílových souborů. Při trasformaci je využita dohledávací lookup tabulka (v dolní části grafu bez napojení na zbytek grafu).

Komponenty
Seznam komponent Ab Initia je podobný ostatním ETL nástrojům, obsahuje však několik specialit. Mezi standardní komponenty patří například:

. Join
. Agregace
. Normalizace a denormalizace
. Třídění
. Lookup
. Spuštění spustitelného souboru

Mezi specifika Ab Initia patří komponenty pro tranzitivní uzávěr, které umožňují např. nalezení všech listových vrcholů daného podstromu. Zcela zvláštní kapitolou jsou komponenty pro paralelní zpracování, tj. rozdělení dat a slévání dat (viz dále). Ab Initio tvoří otevřený systém, kdy si uživatel může vytvářet vlastní komponenty. Uživatel může vytvářet obdoby procedur, kdy se jedna komponenta skládá z několika dalších.

Data manipulation language
Transformace v komponentách se popisují jazykem Data Manipulation Language, DML. Ab Initio má vlastní datové typy, nezávislé na zdrojové nebo cílové platformě. Má také svůj vlastní transformační jazyk, který je plnohodnotným programovacím jazykem, obsahujícím proměnné, rozhodovací příkazy, cykly, vestavěné i uživatelem definované funkce. Kromě jednoduchých typů obsahuje i typy složené, jako záznam a pole, které se mohou dále kombinovat (např. pole záznamů).

Shell
Ab Initio je úzce integrováno s prostředím (ko)operačního systému. Při konfiguraci komponent lze používat proměnné shellu, výsledný graf se v konečné fázi exportuje do shellu (Ab Initio podporuje několik různých shellů) a je také možné grafy nepříliš komplikovaně v shellu přímo definovat.

Kooperační systém a paralelismus
Bezesporu největším kladem Ab Initia je jeho elegantní podpora paralelního zpracování. Paralelismus je definován pomocí multisouborových (multifile) systémů. Multisoubor je soubor, který je rozdělen na několik částí uložených na několika uzlech paralelního MPP sytému. Operace prováděné na multisouboru se automaticky interpretují jako paralelní provádění operací nad jednotlivými částmi multisouboru. Při přenosu z obyčejného souborového systému do multisouborového systému je třeba použít komponentu pro rozdělení dat (existuje několik způsobů, např. rozdělení podle výsledu výrazu, podle hešovací funkce, cyklické rozdělení....), pro opačný přenos komponentu pro slévání dat.

Kooperační systém je nadstavba operačního systému, která definuje základní operace nad multisoubory, například operace m_ls, m_rm, m_mv atd. Tyto operace je možno používat přímo z příkazové řádky.

Klady a zápory
Největší zbraní Ab Initia proti jeho konkurenci je obrovská škálovatelnost. Zvýšení výkonu lze zajistit jednoduše dokoupením dalších uzlů MPP systému. Škálovatelnost je tímto prakticky neomezená. Vícevláknová architektura zajišťuje až desetinásobnou rychlost přenosu dat oproti konkurenci. Dalším kladem je otevřenost Ab Initia, která umožňuje spojit Ab Initio s ostatními nástroji v jeden celek. Dosud v tomto článku nezmíněným aktivem, které plyne z dostupnosti produktu jen největším zákazníkům, je úzká spolupráce s klientem. Požadavky klienta jsou vyřizovány velmi rychle, chyby se na přání zákazníka opravují a opravy jsou promptní, doprogramování nových rysů nebo komponent na zakázku není výjimkou.

Mezi největší nedostatky patří slabá konektivita. Prakticky existuje jen napojení na Informix, Oracle, DB2 a textové soubory. ODBC není podporováno, nativní připojení je možno vyvinout na zakázku, případně si jej musí zákazník doprogramovat. Propojení s ostatními částmi datového skladu (CASE nástroje, OLAP) na úrovni metadat je možno doprogramovat, není ale přímo podporováno.

Nástroj pro náročné
Ab Initio není nástrojem pro malá, ani střední řešení. Jeho kvalita se projeví na velkých objemech dat, s konkurenčními produkty jen těžko zvládnutelnými. Neobyčejný výkon je dán vestavěnou podporou masivních paralelních systémů, tj. kooperačním systémem.
Marketingově není produkt příliš znám, firma volí nenápadnou strategii orientovanou na zákazníka, kdy preferuje přímý kontakt a dlouhodobou spolupráci před jednostranným proudem informací směrem k zákazníkovi.

Závěr? Pokud plánujete budovat datový sklad s enormním objemem dat, máte vysoké nároky na rychlost jejich zpracování, uvítáte od dodavatele technologie osobní přístup, a máte dostatečně vysoký rozpočet, je Ab Initio nástroj pro vás. Pokud ne, nezoufejte. Ab Initio zkrátka není pro každého.

Pozn.: Autor pracuje jako senior konzultant ve společnosti ADASTRA, která je předním dodavatelem řešení datových skladů na českém trhu.