Turbo BI pod strzechy

Technologia in-memory zapowiada przełom w rozwiązaniach Business Intelligence. Według Gartnera, do 2012 roku 70% największych firm na świecie będzie wykorzystywać BI przetwarzających dane w pamięci operacyjnej. Przede wszystkim jednak nowa, tańsza technologia powinna spopularyzować rozwiązania BI w sektorze małych i średnich firm.

Rynek systemów Business Intelligence rozwija się szybko. Kryzys nie ogranicza tego wzrostu, gdyż dzięki narzędziom BI firmy mogą optymalizować działalność i zmniejszać koszty. Według analizy CIMA (Chartered Institute of Management Accountants), rozwiązania Business Intelligence stają się jednymi z najważniejszych systemów wspomagających analizowanie, raportowanie i podejmowanie decyzji menedżerskich. Doskonale służą niwelowaniu różnych rodzajów ryzyka. W ciągu najbliższych pięciu lat, nawet jeśli recesja się pogłębi, rynek rozwiązań BI będzie jednym z najbardziej dynamicznych segmentów rynku oprogramowania. Według Gartnera, systemom Business Intelligence nadaje się najwyższy priorytet. IDC szacuje, że jego wzrost utrzyma się na świecie na poziomie 10 - 12% rocznie. Także w naszym regionie rynek ten rośnie: w ub.r. jego wartość w całej Europie Środkowo-Wschodniej szacowano na 210 mln USD.

Mam cię w pamięci

Rosną wymagania użytkowników wobec systemów BI. Firmy chcą otrzymać narzędzie do jak najszybszej analizy możliwie największej ilości danych. Oficjalnie nie było to problemem, jednak już od dwóch lat analitycy przyznawali, że zapotrzebowanie na moc obliczeniową ze strony tych aplikacji rośnie w tempie wykładniczym. Potrzebna była nowa technologia wykorzystywania zasobów przez aplikacje i systemy BI.

Zobacz również:

Opracowana w końcu 2007 r. technologia in-memory spełnia te oczekiwania. Umożliwia ładowanie i przetwarzanie podstawowych bloków danych w pamięci operacyjnej. Oznacza to, że opracowane w niej rozwiązania analityczne można użytkować szybciej niż tradycyjne aplikacje. Są one wydajne i łatwe w administrowaniu i obsłudze. Naturalnym środowiskiem technologii in-memory wydają się więc organizacje, w których wymagana jest analiza dużej ilości danych, np. punktów sprzedaży czy etykiet RFID. Trend wykorzystania pamięci operacyjnej do analizy i tworzenia raportów wpływa znacząco na architekturę BI. Ogranicza bowiem potrzebę budowania relacyjnych baz danych oraz używania kostek OLAP.

Kurs na MSP

W wymiarze rynkowym nowa technologia może się przyczynić do popularyzacji narzędzi analitycznych w sektorze MSP. Przez lata sektor MSP, ale też spora grupa dużych firm, nie mogły sobie pozwolić na Business Intelligence. "Po pierwsze, inwestycja przerastała możliwości budżetowe sponsora. Po drugie, gwarancje powodzenia projektu były małe, gdyż według IDC tylko 30 - 35% wdrożeń BI w technologii OLAP kończy się sukcesem i w pierwotnie założonym czasie" - mówi Marek Grzebyk, dyrektor Departamentu QlikView w firmie Hobart.

Nowa technologia jest nie tylko tańsza, ale też pewniejsza. Aż 98% wdrożeń jest udanych. Firmy wdrożeniowe twierdzą także, że z reguły nie są wymagane większe zmiany w urządzeniach IT. Współcześnie dostępny sprzęt 64-bitowy, architektura wielordzeniowa i możliwość wyposażenia serwerów w pamięci rzędu kilkunastu do kilkudziesięciu GB pozwalają na swobodną analizę nawet miliardów elementarnych dokumentów. "Rozwiązania in-memory są idealne dla sektora MSP. Przede wszystkim obniżają barierę wejścia w rozwiązania BI dzięki niższej cenie wdrożenia, licencji, możliwości skalowania nawet od poziomu jednego użytkownika, niższym kosztom szkoleń, utrzymania i sprzętu" - podsumowuje Marek Grzebyk.

Dostawcy w blokach startowych...

Mimo tych zalet koszty ładowania dużych ilości danych detalicznych do pamięci nadal mogą być zbyt duże dla wielu firm. Burzliwy rozwój aplikacji BI w technologii in-memory ruszy prawdopodobnie wtedy, gdy pamięć jeszcze potanieje. Na to z kolei nie trzeba będzie długo czekać. Średnia cena gigabajta pamięci DRAM spadła z ponad 1000 USD w 2000 r. do poniżej 100 USD w 2005 r. Gartner przewiduje, że gigabajt DRAM w 2012 r. będzie kosztował poniżej 10 USD. Jednak do momentu dużej obniżki cen pamięci tylko niewielu dostawców będzie oferować i promować architekturę in-memory. Wśród nich można wymienić Appli (obecnie Cognos przejęty przez IBM), Panaratio Database Images, QlikTech, Oracle i Spotfire (zakupione w 2007 r. przez TIBCO). Oracle od lat inwestuje w technologie in-memory i posiada w portfolio kilka rozwiązań w tej kategorii. Najważniejsze to Oracle Coherence - rozwiązanie klasy data grid, które pozwala przechowywać i przetwarzać dane w rozproszonej pamięci operacyjnej. Drugim produktem tej klasy jest Oracle TimesTen - narzędzie wspomagające pracę relacyjnych baz danych, przeznaczone do buforowania danych oraz do zarządzania nimi na bieżąco w pamięci systemu.

"Narzędzia te zostały zaprojektowane z myślą o systemach transakcyjnych, jednak nierzadko wspierają systemy pokrewne BI, takie jak systemy podejmowania decyzji lub analizy ryzyka w czasie rzeczywistym (np. ‘decyzja kredytowa w 10 minut’). Przeniesienie do pamięci operacyjnej typowego przetwarzania BI wymaga zupełnej zmiany podejścia do technologii hurtowni danych i będzie jednym z głównych kierunków rozwoju oprogramowania analitycznego" - mówi Michał Kuratczyk, Enterprise Solution Architect w Oracle Polska.

Jak twierdzą analitycy, dla IBM technologia in-memory jest jednym z kierunków rozwoju produktowego. Przykład stanowi baza TM1, przodująca w rankingach wydajności baz wielowymiarowych i stanowiąca silnik bazodanowy dla rozwiązań Performance Management.

...chirurdzy przy operacyjnych stołach

Jednym z rynkowych liderów wykorzystania technologii in-memory jest QlikTech, oferujący QlikView, reprezentowany na polskim rynku przez Hogart. QlikTech osiągnął w 2008 r. 50-proc. wzrost przychodów. Przykładem wdrożenia QlikView jest szwedzki szpital Sahlgrenska (jeden z największych w Europie Północnej). Co ciekawe, wdrożenia na własny użytek dokonał chirurg Daniel Stålhammar. System został tak zaprogramowany, aby analizować karty pacjentów pod kątem powikłań, jakie mogą wyniknąć w następstwie operacji chirurgicznej czaszki. Jeszcze w czasie wdrożenia 10 na 100 pacjentów cierpiało na infekcje pooperacyjne. Trzy miesiące później Stålhammar wyeliminował wszystkie tego typu przypadki praktycznie do zera, a szpital mógł zaoszczędzić w ciągu roku 750 tys. euro, które pochłaniało wcześniej leczenie powikłań. Jest to najbardziej nietypowe wdrożenie BI na świecie. Doskonale dowodzi, że rozwiązania w technologii in-memory mogą znaleźć zastosowania na zupełnie nowych polach, na ktorych nie przewidywano ich wykorzystania …

RAMKA

BI wpisujący się w trendy

Piotr Stopczyński, IBM Cognos Advisory Specialist

Technologia in-memory staje się szczególnie popularna w ramach rozwiązań wspomagających zarządzanie wydajnością przedsiębiorstwa (Performance Management). Wiąże się to z łatwością w przystosowaniu do procesów, w których potrzebny jest szybki zapis danych do bazy analitycznej (np. systemy wspierające procesy planowania, budżetowania, prognozowania), a następnie ich łatwe wykorzystanie przez użytkowników biznesowych, którzy chcą dokonywać szerokich transformacji danych w czasie rzeczywistym (np. analizy what-if). Na popularyzację technologii będą także wpływać rozwój technologii sprzętowej i przystępność cenowa pamięci DRAM w porównaniu do pamięci na dyskach twardych oraz rosnących wymagań biznesu. To ostatnie wiąże się z potrzebą realizacji w czasie rzeczywistym zaawansowanych funkcji analitycznych, wprowadzania danych, budowy scenariuszy. Uważam, że te potrzeby odegrają kluczową rolę.

Różnice w poziomie raportowania pomiędzy tradycyjnymi aplikacjami BI a aplikacjami wykorzystującymi technologię ładowania do pamięci DRAM będą odczuwalne dla użytkowników, którzy zamierzają korzystać z zaawansowanych technik analitycznych, takich jak modelowanie scenariuszy. Dzięki możliwościom budowy skomplikowanych silników finansowych w takich narzędziach oraz szybkości zapisu i przeliczania danych użytkownicy mogą badać scenariusze what-if w czasie rzeczywistym, co w tradycyjnych systemach trwałoby za długo z punktu widzenia przydatności w bieżących procesach decyzyjnych i obciążenia zasobów analitycznych Myślę, że to nie wielkość klienta będzie decydować o stosowanej technologii, a raczej model biznesu, w którym funkcjonuje, a za tym idzie, wymagania użytkowników. Trzeba dodać, że rozwiązania in-memory nie muszą być droższe od rozwiązań tradycyjnych.

RAMKA

Dlaczego mówię: rewolucja?

Marek Grzebyk, dyrektor Departamentu QlikView, Hogart

Porównując szybkość rozwoju dostawców, widać wyraźnie, że technologie ładowania danych do pamięci stanowią obecnie najważniejszy trend. Ten właśnie kierunek rozwoju obiecuje największą wartość dodaną dla użytkowników BI.

Koncepcja analizy danych w pamięci istnieje już ponad 10 lat. Co najmniej od 4 lat widzimy, jak rewolucjonizuje rynek. Z jednej strony wzrasta wolumen danych, zwiększa się liczba źródeł danych, potęgują się potrzeby analityczne biznesu. Z drugiej strony rozwój technologii 64-bitowej i spadek cen pamięci powodują, że powstały warunki do adaptacji tej technologii na rynku. Tradycyjna architektura BI oparta na hurtowniach, sztywnych strukturach OLAP staje się niewydolna. Producenci będą przebudowywać dotychczas rozwijane linie aplikacji BI pod kątem in-memory.

Na jednym biegunie mamy rzeczywistą próbę adaptacji tej technologii lub rozszerzanie oferty o pewne formy dodatków posługujących się bazami danych typu in-memory, czego przykładem są firmy Cognos (przejęcie Aplixa), Microstrategy, które oferują rozwiązania przechowujące pewien bufor danych w pamięci jako dodatek do tradycyjnego modelu, lub też SAP (tzw. BI Accelerator), który próbuje "zanurzyć" SAP BW w dużych ilościach pamięci. Innym przykładem jest Oracle, które w 2005 r. przejęło w Stanach Zjednoczonych firmę Times Ten, specjalizującą się w BI in-memory. Na drugim biegunie znajdziemy przedsiębiorstwa, które, widząc, z jakim odzewem spotyka się koncepcje nowej generacji BI i BI 2.0, stosują rebranding swoich rozwiązań bez ich rzeczywistej przebudowy.

Siła nowej technologii nie jest tylko zasługą baz danych w pamięci operacyjnej. Do pełnego sukcesu potrzeba kilku składników. Po pierwsze wzrost możliwości pamięci operacyjnej serwera. Przy technologii 64-bitowej może być ona rozszerzana do kilku czy kilkunastu gigabajtów niewielkim nakładem kosztów, co pozwala na analizę ogromnych pokładów danych. Po drugie nowoczesna baza danych oparta na modelu asocjacyjnym. Motor bazy danych analizuje dane, koncentrując się na zapamiętaniu powiązań między załadowanymi wartościami, a nie wyłącznie na relacjach między tabelami. Po trzecie prostota na wszystkich poziomach: użytkownika, projektanta, administratora. Dopiero połączenie tych trzech elementów uzasadnia nazwanie rozwiązań BI in-memory "rewolucyjnymi". Połączenie baz asocjacyjnych z ich zanurzeniem w pamięci powoduje, że nawet gigantyczne ilości danych (setki milionów transakcji) w postaci niezagregowanej mieszczą się w pamięciach liczących poniżej 10 GB. Asocjacyjny model powoduje, że dane zajmują mniej niż 10% pierwotnej objętości, a ich postać jest zoptymalizowana do obliczeń i kalkulacji potrzebnych przy analizach wielowymiarowych.

Nowa technologia ma mniejsze wymagania sprzętowe i daje większe możliwości analityczne. Główną barierą jest przyzwyczajenie rynku, który przez wiele lat skazany był na OLAP.

RAMKA

Cechy nowej technologii ładowania danych do pamięci

- Prosty model danych, wystarcza proste odwzorowanie relacji źródłowych

- Bardzo szybkie zasilanie modelu analitycznego

- Model asocjacyjny = ogromna kompresja danych + wizualizacja zależności

- Wszystkie agregaty i wyrażenia wyliczane "na żądanie"

- Sekundowe czasy odpowiedzi systemu

- Najlepszy stosunek kosztów do wydajności

- Często znika konieczność budowy hurtowni danych

- Radykalne skrócenie czasu wdrożenia

- Eliminacja większości ograniczeń starej technologii OLAP

Źródło: Hogart

RAMKA

Zalety w raportowaniu nowych rozwiązań

- Możliwość analizy danych na najniższym poziomie szczegółowości (do poziomu pojedynczej transakcji);

- Czas załadowania danymi całego modelu (skrócenie o rząd wielkości);

- Szybkość reakcji systemu liczona w sekundach lub ułamkach sekund;

- Mniejsze wymagania sprzętowe;

- Krótsze szkolenia lub nawet brak konieczności przeprowadzenia szkoleń dla użytkowników końcowych;

- Brak ograniczeń na liczbę wymiarów podlegających jednoczesnej analizie (nawet 600 - 800 wymiarów bez spadku wydajności);

- Krótszy czas tworzenia aplikacji i wdrożenia;

- Mniejsze wymagania w zakresie znajomości SQL, bazy danych, języków programowania.

Źródło: Hogart