- Přehledy IS
- APS (25)
- BPM - procesní řízení (23)
- Cloud computing (IaaS) (10)
- Cloud computing (SaaS) (31)
- CRM (52)
- DMS/ECM - správa dokumentů (20)
- EAM (17)
- Ekonomické systémy (68)
- ERP (75)
- HRM (28)
- ITSM (6)
- MES (33)
- Řízení výroby (36)
- WMS (28)
- Dodavatelé IT služeb a řešení
- Datová centra (25)
- Dodavatelé CAD/CAM/PLM/BIM... (41)
- Dodavatelé CRM (38)
- Dodavatelé DW-BI (50)
- Dodavatelé ERP (66)
- Informační bezpečnost (48)
- IT řešení pro logistiku (51)
- IT řešení pro stavebnictví (26)
- Řešení pro veřejný a státní sektor (27)


















![]() | Přihlaste se k odběru zpravodaje SystemNEWS na LinkedIn, který každý týden přináší výběr článků z oblasti podnikové informatiky | |
![]() | ||
Terabytový datový sklad na platformě Microsoft SQL Server 2000


Nebývá zvykem, abychom se v prosincovém čísle ještě vraceli k veletrhu Invex. Tentokrát ale uděláme výjimku. Chtěli bychom vám totiž připomenout projekt, který se stal hlavním magnetem expozice firmy Microsoft na letošním Invexu a podle našeho názoru patřil bezesporu mezi nejzajímavější exponáty celého veletrhu. O jaký projekt se jedná? To už napovídá samotný název článku. Jde o společný projekt firem Microsoft, Dataware a HP - vybudování terabytového datového skladu na platformě Microsoft SQL Serveru s přístupem z tenkého klienta přes webový prohlížeč a mobilním přístupem z PDA počítače nebo WAP telefonu.
Projekt TeraByte, jak jej nazval realizační tým, měl tři hlavní cíle. Především měl za úkol demonstrovat, že platforma SQL Serveru 2000 je dostatečně výkonná a robustní pro vybudování tak velkého datového skladu s velmi příznivým poměrem cena-výkon. Dalším cílem bylo prezentování pokročilých funkcí OLAP analýzy a dolování dat, které jsou přímo součástí SQL Serveru, což ani řada jeho uživatelů netuší.
Třetím cílem bylo ukázat manažerům možnosti, které přináší moderní technologie na poli mobilního přístupu k podnikovým informačním systémům. Podle ohlasů, který "terabytové" řešení na Invexu vyvolalo a kterých jsem byl sám svědkem, je možné bez váhání konstatovat, že se záměr realizátorů tohoto unikátního projektu zdařil.
|
Obsah datového skladu
Vlastní SQL databáze datového skladu měla velikost 1,1 TB a byla tvořena simulovanými daty o prodeji fiktivní firmy za 70 měsíců. V databázi byly zaznamenány prodeje 5000 produktů na 1000 prodejních místech a údaje o 3000 klientech. Každý měsíc byl tvořen tabulkou s 240 miliony řádků o velikosti zhruba 16 GB. Celkově se jednalo o 16,5 miliard záznamů na úrovni detailů den-zákazník-produkt-prodejní místo.
Na výkonné platformě se vygenerování uvedeného množství dat do textových souborů vešlo do 53 hodin, natažení do Microsoft SQL Serveru do 19 hodin a vytvoření multidimenzionální kostky z těchto dat s pomocí Microsoft SQL Server Analysis Services trvalo 50 hodin.
Hardwarová platforma
O výpočetní výkon se starala dvojice serverů. První z nich, HP NetServer LT6000r se 6 procesory Xeon-700 MHz, 4 GB RAM a operačním systémem Microsoft Windows 2000 Advanced Server, byl využit pro relační datový sklad. Druhý, HP NetServer LXr8500DC s 8 procesory Xeon-700 MHz, 4 GB RAM a operačním systémem Windows 2000 DataCenter server, měl za úkol vytvářet multidimenzionální analytické datové kostky a interakci s uživateli.
Použité diskové pole HP SureStore XP512 bylo připojeno k uvedené dvojici serverů dvěma páry Fiber Channel. Použité diskové pole bylo osazeno 32 disky s kapacitou 18 GB pro aplikace vyžadující maximální rychlost přístupu k datům a dalšími 32 disky s kapacitou 73 GB pro aplikace vyžadující maximální kapacitu. Celková hrubá kapacita tedy byla 2,8 TB. Z důvodu ochrany před selháním byly z disků vytvořeny RAID-5 svazky, takže čistá disková kapacita dosahovala 2 TB. Pro ještě náročnější aplikace je možné HP SureStore nakonfigurovat až na hrubou kapacitu 92,6 TB při použití disků o velikosti 181 GB.
|
Využití dat
Důležité není pouze data uložit, ale též přinést koncovému uživateli. V souladu s vizí "informací kdekoliv, kdykoliv a na jakémkoliv zařízení" vytvořil "TeraByte tým" několik typů uživatelským rozhraní, z nichž si návštěvníci Invexu a posléze HP Solution Centra mohli on-line v reálném čase vyzkoušet analýzy datové kostky nad terabytovou databází:
. z prostředí Office XP
. z tenkého klienta - Internet Exploreru
. z PDA počítače s aplikací VIP Mobile Office.
. z WAPového mobilního telefonu prostřednictvím Mobile Information Serveru 2001.
Zároveň si mohli návštěvníci v praxi vyzkoušet provádění on-line analýzy pomocí manažerských nadstaveb Panorama View a Panorama E-BI od společnosti Panorama Software.
Zřejmě nejzajímavějším typem rozhraní byl PDA počítač s aplikací VIP Mobile Office od Dataware.
Kapesní počítače nyní zažívají boom a jejich použití pro mobilní přístup do podnikového informačního systému se stává velmi populárním. PDA počítače nabízí velmi efektivní řešení mobilního přístupu pro obchodní zástupce a manažery. Jejich schopnosti (výkon, kapacita pamětí, konektivita, výdrž apod.) se přitom neustále zlepšují. Řešení terabytového datového skladu bylo na Invexu prezentováno na dnes asi nejatraktivnějších PDA počítačích iPaq od Compaq. Použitá aplikace VIP Mobile Office je originálním řešením firmy Dataware, které umožňuje oboustrannou komunikaci mezi uživatelem, manažerem firmy, a jeho informačním systémem. Manažer dostává pomocí hlášení, Alertů oznámení o vzniku předem definovaného stavu aniž musí sám tento stav analyzovat. Na takto vzniklou situaci může přímo z PDA reagovat.
Proč tolik superlativ?
V čem je uvedené řešení natolik unikátní a zajímavé? Posuďte sami z následujících řádků.
Ve světě byl obdobný projekt řešen pouze v laboratorních podmínkách na zařízení T3, umístěném v Microsoft Executive Briefing Centru v Redmondu. Proto fakt, že projekt 1 TeraByte byl představen a prezentován přímo na výstavišti na Invexu, je možno brát jako veřejnou premiéru, navíc vylepšenou o prvky mobilních zařízení. Věru nestává se každý den, že by se v našich podmínkách realizoval tak výjimečný projekt a srdce každého patriota potěší, když vidí šikovnost, troufalost a s trochou nadsázky i zdravou drzost českých inženýrů a programátorů. Specialisté z Microsoftu ČR provedli implementace a ladění SQL serveru 2000, zástupci HP připravili a provozovali servery a diskové pole, přípravu a plnění dat, stejně jako vývoj uživatelského rozhraní provedla firma Dataware.
Pro lepší představu o velikosti řešení je potřeba si uvědomit dobu čistého strojového času, která byla potřebná pro celou operaci. Při prvních testech a výpočtech odhadů doby generování dat, loadování do databáze a následně času pro tvorbu OLAP struktur se pohyboval realizační tým v desítkách dní.
Optimalizací pořadí procesů, vyladěním konfigurace datového skladu a napsáním speciálních procedur pro tvorbu a generování OLAP se podařilo dobu odezvy zkrátit.
Zajímavostí je, že v průběhu budování řešení byly servery nainstalovány v prostorách testovacího centra Microsoft@HP zatímco například specialisté z firmy Dataware pracovali v Ostravě. To znamená, že ladění probíhalo pomocí vzdáleného přístupu pomocí služeb MS terminál serveru. První fyzický kontakt s počítačem na kterém, probíhalo ladění a budování datového skladu měli specialisté z Dataware až v sobotu před veletrhem přímo na výstavišti v Brně.
|
Závěr a hodnocení
Produkty Microsoftu jsou ve všech oblastech komerčně velmi úspěšné, ale doposud panoval mezi IT odborníky zažitý názor, že nejsou příliš vhodné na realizaci velkých projektů. Aniž bychom chtěli terabytové řešení představené na Invexu nějak idealizovat, je zřejmé, že zmíněný projekt vcelku jasně demonstroval schopnost platformy Microsoft Windows 2000 a SQL Server 2000 obstát i ve velkých projektech. Přestože struktura použité databáze byla relativně jednoduchá, není u nás příliš mnoho datových skladů, které by se pohybovaly v objemu terabytů. MS SQL Server 2000 podle mého názoru tímto projektem zboural další z mýtů, který v IT oblasti panoval.
Systém instalovaný na Invexu a poté v Solution Centru HP dosahoval velmi působivé odezvy v řádu několika sekund i na složitější dotazy, které nebyly v žádném případě předpřipraveny, o čemž se mohl přesvědčit každý návštěvník Invexu položením svého vlastního dotazu do terabytové databáze. Datový sklad navíc prokázal výtečné samoučící schopnosti, když automaticky optimalizoval svoji strukturu podle převládajícího způsobu kladení dotazů, a tak po týdnu provozu na brněnském výstavišti byla odezva systému výrazně rychlejší (u některých typů dotazů až několikanásobně).
Zajímavou vlastností a nespornou výhodou SQL serveru 2000 je fakt, že Microsoft přímo do tohoto produktu "přibalil" řadu nástrojů, které z něj dělají velmi komplexní řešení pro budování datových skladů. Jedná se o nástroje pro datové pumpování - Data Transformation Services a nástrojů pro OLAP a Data Mining analýzu - Analyst Services. Všechny tyto základní funkce pro datové sklady jsou přítomny v jednom produktu, což přináší dobrou provázanost a vysokou funkcionalitu při zachování příjemné ceny. Jediné, co tedy SQL Serveru citelněji chybí je komfortnější nástroj pro prezentaci dat. Na Invexu byly proto použity již zmíněné nástroje Panorama View a Panorama E-BI od firmy Panorama Software.
Ta je mimochodem také tvůrcem OLAP nástrojů SQL Serveru, které v roce 1996 odprodala Microsoftu. Produkty Panorama Software si na Invexu odbyly jakousi předpremiéru před lokalizací a vstupem na český trh.
Někteří zasvěcení s trochou nadsázky tvrdí, že uvedené transformační a analytické nástroje SQL Serveru (Data Transformation Services a Analyst Services) jsou kvalitnější než samotná relační databáze a poukazují přitom na některé projekty, kde jsou transformační a analytické nástroje Microsoftu nasazeny na jiné relační databáze. Já sám bych kvalitu relační databáze SQL Serveru 2000 tolik nepodceňoval, i když si umím dost dobře představit, že zkušený implementátor dokáže skloubit jednotlivé komponenty od různých výrobců, pokud si to zákazník přeje a z nějakých důvodů to vyhovuje jeho informační strategii. Ostatně zástupci firmy Dataware, která se na projektu podílela, tvrdí, že takový postup není ničím výjimečný a několikrát jej už v praxi realizovali.
|
Proč vlastně tolik dat?
Možná se někdo pousměje nad projektem terabytového skladu jako nad zbytečným megalomanským řešením s domněnkou, že zřejmě nebude mít v praktickém životě využití. Opak je pravdou. Dnes v době elektronického obchodování, bankovnictví a vůbec elektronického života vznikají data "jak po drátku" - rychle a hojně.
Jednoduchým přiblížením je dnes již běžné objednávání zboží přes internet. Značná část těchto obchodů zaznamenává vaše surfování po jejich stránkách až do doby uskutečnění objednávky. Touto cestou vzniká nepřeberné množství záznamů o vás, vašem chování. Při uzavření objednávky se navíc nestáváte jen anonymním návštěvníkem, ale máte jméno, adresu, preferujete určitý způsob platby, doručování a často i vyplníte dotazník s dalšími důležitými daty.
Cílem takového to sběru dat je nutkání tato data zužitkovat v informace. Informace slouží k poznání chování podnikatelského světa kolem nás. Nejvyšší stupeň při úspěšném budování projektů Business Intelligence je vědění. Jestliže víte na základě analýzy informací, co bude konkrétní zákazník, partner, nebo konkurent dělat v nejbližší době, jaké rozhodnutí podnikne, jaký produkt koupí, jaké informace jej nejvíce ovlivňují při vlastním rozhodování, pak můžete udělat okamžité rozhodnutí, které může velice efektivně ovlivnit další běh vašeho podnikání.
Využití znalostí o zákaznících jako klíčového faktoru pro úspěch podnikání přitom není nic nového. Znalosti o zákaznících hráli pochopitelně důležitou roli již dávno v kamenných obchodech, kde obchodník přesně dokázal objednat zboží dle přání zákazníků a když uviděl pana Nováka ve dveřích, tak jej zdravil svým oblíbeným: "Jako obvykle pane Novák?". Snahou v dnešní době je tento osobní (personalizovaný) kontakt zavést do podnikání, kde není jen několik málo konkrétních zákazníků, ale kde počet zákazníků je obrovský a není v lidských schopnostech mít všechny znalosti "v hlavě".
19.6. | ITeuro Solution Day 2025 |
23.9. | PragVue 2025 |
1.10. | Cyber Attacks 2025 |
21.10. | Bezpečnosť a dostupnosť dát 2025 |
11.11. | Umělá inteligence v IT infrastruktuře 2025 |
Formulář pro přidání akce
18.6. | Webinář: Jak optimalizovat nákupní procesy s Odoo? |
29.9. | The Massive IoT Conference |