Wielka e-migracja

W ciągu 9 kwartałów PKO Bank Polski przeprowadził najbardziej skomplikowaną operację infrastrukturalną w Polsce i jedną z najtrudniejszych w Europie. Budowa od podstaw Centralnego Ośrodka Przetwarzania Danych, później zaś migracja do niego wszystkich systemów były poważnym wyzwaniem, realizowanym przez setki specjalistów i dziesiątki firm, obarczonym sporym ryzykiem. Andrzej Leszczyński, dyrektor Pionu Eksploatacji i Infrastruktury w PKO Banku Polskim został przez jury konkursu CIO Roku 2016 uhonorowany za jej dokonanie tytułem Diament CIO 2016 „Perfekcjonista infrastrukturalnej zmiany”.

Do budowy własnego data center bank przymierzał się od kilkunastu lat. Największy bank w Europie Środkowo-Wschodniej dotychczas użytkował utworzone w latach 90. data center z adaptowanych pomieszczeń biurowych, ale zaczynał „dusić” się w tych ośrodkach. Rozwój banku, zwiększenie liczby eksploatowanych systemów IT, wzrost liczby sprzętu wymagały zmiany. Na czele wielkiej e-migracji stanął Andrzej Leszczyński, dyrektor Pionu Eksploatacji i Infrastruktury w PKO Banku Polskim. Jego dokonania jury konkursu CIO Roku 2016 uhonorowało tytułem Diament CIO 2016 „Perfekcjonista infrastrukturalnej zmiany”.

Budowa będzie tańsza

Początkowo bank rozważał wynajem data center, ale powierzchni spełniającej oczekiwania organizacji po prostu nie było. „Należy pamiętać o specyfice bankowych ośrodków przetwarzania. W modelu amerykańskim dwa data centers są zlokalizowane blisko siebie, trzecia lokalizacja służy jako DRC. W Polsce banki przyjęły inny model. Ośrodek centralny i zapasowy są oddalone od siebie o 20–30 km, łączone kablami światłowodowymi” – wyjaśnia Andrzej Leszczyński, bezpośrednio odpowiedzialny za kompleksową realizację projektu COPD. „Nasze dotychczasowe data center znajduje się na północy Warszawy, a większość lokalizacji do wynajmu znajduje się na południu miasta. Zatem decydując się na wynajem, musielibyśmy dzierżawić tam dwa obiekty, na ośrodek główny i zapasowy. To generowałoby niepotrzebne koszty, ponieważ nasz ośrodek doskonale nadawał się na centrum zapasowe i tak chcieliśmy go wykorzystać. Zapadła więc decyzja o budowie, która była podparta analizami i wyliczeniami finansowymi” – dodaje. Analiza finansowa wykazała, że przy wieloletnim użytkowaniu dużego ośrodka budowa jest tańsza od wynajmu, a dodatkowo umożliwi w przyszłości rozbudowę potrzebnej powierzchni.

Zobacz również:

  • 9 cech wielkich liderów IT

Północ–południe, wschód–zachód

Każdy z etapów powstawania COPD stanowił wyzwanie. Przede wszystkim należało znaleźć działkę, która będzie odpowiadała wymogom banku. Poszukiwania w kierunku północnym ograniczała Puszcza Kampinoska, kierunek na wschód oznaczał przechodzenie ze światłowodami przez Wisłę, dodatkowo inwestycję na terenie zalewowym, południe to drogie inwestycyjnie śródmieście. Pozostawał kierunek zachodni. „W tej fazie przygotowawczej przejrzeliśmy oferty ponad 100 działek, wybierając na koniec z kilku najbliższych naszym oczekiwaniom” – mówi Andrzej Leszczyński. „Czego chcieliśmy? Działki z drogami dojazdowymi, zasilanej dwiema niezależnymi liniami energetycznymi z dwóch niezależnych GPZ, z dobrą i łatwą możliwością poprowadzenia światłowodów. W III kwartale 2014 r. zakupiliśmy 1,4-hektarową działkę spełniającą nasze kryteria. Kolejnym wyzwaniem był wybór firmy wyspecjalizowanej w budowie data center. Do rozmów zaprosiliśmy największych wykonawców i przedstawiliśmy im nasze wymagania” – mówi Andrzej Leszczyński. „Znając od strony praktycznej pracę z serwerowniami, usiedliśmy w gronie pracowników banku i zastanawialiśmy się, czego oczekujemy od data center. Chcieliśmy określonej redundancji, pomieszczeń technicznych, komór bez słupów, które łatwiej będzie zagospodarować, nie tracąc miejsca. Chcieliśmy mieć zasilanie 2N, co wynikało z analizy dotychczasowych doświadczeń w data center, chcieliśmy mieć dobre zabezpieczenie dostawy prądu – dwa zdwojone niezależne systemy, podtrzymywanie awaryjne, możliwość tankowania agregatów w trakcie pracy” – wylicza. Jak zaznacza dyrektor, inspiracją dla niektórych rozwiązań zastosowanych w nowym COPD były najnowsze praktyki z europejskiego rynku. Eksperci zaangażowani w projekt śledzili wzorce z rynków hiszpańskiego czy niemieckiego, zapamiętując te warte zastosowania. Na przykład serwerownia Della w Łodzi zainspirowała ich sposobem uporządkowania i poprowadzenia okablowania. „Banki konkurują o klienta ofertą, ale ściśle współpracują między innymi w dziedzinie cyberbezpieczeństwa. Na poziomie rozwiązań technologicznych również następuje wymiana informacji, poprzez przepływ ludzi, kontakty osobiste, konferencje, na poziomie zarządów. To często wiedza niekonkurencyjna. Podam prosty, ale wart uwagi przykład, o którym opowiedzieli mi koledzy z innej organizacji. W serwerowni, zgodnie z przepisami przeciwpożarowymi, na ścianie znajdował się wyłącznik odcinający zasilanie, osłonięty szybką z pleksi. Podczas wnoszenia tam urządzeń, pracownik opiera się łokciem o cienką szybkę i wyłącza serwerownię… Choć ta historia może wydawać się banalna, ale dla nas była źródłem wiedzy – musimy u siebie lepiej zabezpieczyć wyłącznik…” – opowiada z uśmiechem Andrzej Leszczyński.

Budują ludzie, nie logo

Podstawowe założenie było takie, że nowe centrum ma być budowane ze sprawdzonych elementów, w technologiach, które są dostępne na polskim rynku i są to już sprawdzone rozwiązania. „Ośrodek miał być przede wszystkim niezawodny. Na przykład jeśli wybieraliśmy agregaty, to nie dwa gigantyczne, ale cztery mniejsze. Takie, które są na polskim rynku, ktoś je serwisuje, ma do nich części, wie, jak naprawiać. I tak ze wszystkimi elementami. Celem budowy tego ośrodka była dostępność systemów. Inwestycja nie była robiona po to, by zastosować najdroższe, ‘najmodniejsze’ rozwiązania, ale po to, by zapewnić skuteczną, ciągłą pracę. To swoisty wół roboczy, który ma nas nie zawieść. To podejście widać choćby w prozaicznych elementach wyposażenia takich jak umywalki. Wybieraliśmy trwałe, a nie designerskie, ponieważ wszystko musiało być po prostu użytkowe. Tak jest też z symetrią budynku – z boku znajduje się część użytkowa, część techniczna jest symetryczna, prostokątna, każde miejsce w środku zostało rozsądnie wykorzystane, korytarze są szerokie, umożliwiające sprawne relokowanie sprzętu. Dostęp do systemów energetycznych i chłodu znajduje się poza serwerownią, mamy więc większą szansę, że np. serwisant energetyczny przypadkowo czegoś nie uszkodzi” – opowiada szef projektu. „Przetarg ogłosiliśmy na budowę razem z wyposażeniem. Postawiliśmy wymagania dotyczące chłodzenia, energetyki, okablowania. Większość wartości budynku jest w urządzeniach, okablowaniu, a nie w murach, które stanową 1/3 wartości inwestycji. Odpowiedzialność musiała więc spoczywać na całości wykonania” – tłumaczy.

Przetarg na realizację COPD wygrała firma Qumak, budująca serwerownie od kilkunastu lat, co gwarantowało odpowiedni poziom profesjonalizmu. „Podobnie podeszliśmy do sprawy projektu budynku. Zatrudniliśmy ludzi, którzy zaprojektowali już dużo podobnych obiektów i uczenie się na błędach pierwszych projektów mają za sobą. Stawiając im rozsądne wymagania, dostaliśmy przemyślany projekt” – podkreśla Andrzej Leszczyński. „Serwerownia jest podobna do budynków przemysłowych, dlatego oczekiwaliśmy, że w realizację planów zaangażowane zostaną firmy z doświadczeniem w dużych instalacjach chłodu, energetyki, przy czym mogło to być doświadczenie zdobyte przy budowie budynków przemysłowych. Chcieliśmy, by w pracach nad naszym ośrodkiem uczestniczyły konkretne osoby z wieloletnią praktyką, ponieważ to one, a nie logo ich firm, potrafią realizować zlecone projekty. Starannie tego przestrzegaliśmy, nie godząc się na zmiany osobowe w trakcie realizacji projektu” – dodaje.

Wielka e-migracja

Andrzej Leszczyński, dyrektor Pionu Eksploatacji i Infrastruktury w PKO Banku Polskim. Jego dokonania jury konkursu CIO Roku 2016 uhonorowało tytułem Diament CIO 2016 „Perfekcjonista infrastrukturalnej zmiany”.

Sylwetka zawodowa

Najważniejsze etapy kariery zawodowej:

Dyrektor Pionu Eksploatacji i Infrastruktury w PKO Banku Polskim:

• kierowanie 400 osobowym zespołem;

• odpowiadanie m.in. za: poprawne działanie informatycznych systemów bankowych dla 9 mln klientów, wsparcie 26 tys. użytkowników (pracowników organizacji) i całość sprawy telekomunikacyjnych dla 2,2 tys. placówek i 3 tys. bankomatów.

Ekspert w Ventures Hub:

• ocenianie i kwalifikowanie projektów Start-up-ów.

Dyrektor Zarządzający Pionem Eksploatacji i Infrastruktury w Inteligo Financial Services:

• kierowanie 65 osobowym zespołem;

• odpowiadanie m.in. za: poprawne działanie informatycznych systemów bankowych dla kilkuset tysięcy klientów, poprawne działanie kanałów elektronicznych bankowości ipko.pl, ipkobiznes.pl, pocztowy24.pl, pzuonline.pl dla kilku milinów klientów.

Architekt Rozwiązań w Hewlett-Packard Polska:

• zarządzanie architekturą infrastruktury IACS, rządowego projektu dopłat bezpośrednich dla rolników. (Ogólnokrajowy projekt dotyczący kilkuset lokalizacji, złożonego środowiska data center, wykonywany przy dużym zainteresowaniu mediów, w otoczeniu politycznym);

• zarządzanie projektem „Dowody i Paszporty” i odpowiadanie za część rozproszoną – 2500 lokalizacji. (Projekt wykonany w wyjątkowo krótkim czasie w złożonym otoczeniu medialnym i politycznym. System jest nadal eksploatowany);

• wymyślenie i zaplanowanie pierwszego w Polsce systemu monitorującego poprawność pracy systemów informatycznych z punktu widzenia biznesu dla ERA/T-Mobile.

IT Manager dla Shell Polska i Shell Baltics:

• odpowiadanie m.in. za: całość spraw IT i telekomunikacji spółek w Polsce, Litwie, Łotwie Estonii;

• wdrożenie jednego z pierwszych w latach 90-tych programu lojalnościowego opartego o karty chipowe skutkującego wzrostem sprzedaży.

Wykształcenie

Fizyk z ukończonym Executive MBA nadal poszukujący inspiracji do pracy swojego zespołu w innych dziedzinach: Fixing Healthcare Delivery University of Florida, An Introduction to Operations Management University of Pennsylvania, Game Theory Stanford University & The University of British Columbia, Cryptography Stanford University.

Nagrody

• IBM Champion 2013, jeden z 25 menedżerów nagrodzonych na świecie za najlepszy projekt oparty o technologię IBM;

• Nagroda Veritas 2015, za wdrożenie w PKO Banku Polskim największego klastra rozproszonego w Polsce opartego o technologię info scale.

Dotknąć wszystkiego

Na koniec 2015 r. budynek był gotowy do formalnych odbiorów. W I kwartale 2016 r. nowe data center zostało wyposażone w rozwiązania niezbędne do rozpoczęcia migracji systemów z dotychczasowych serwerowni. Trwała ona rekordowo krótko: rozpoczęła się w lutym, a zakończyła w sierpniu ub. r. Zaczynał się etap najbardziej obciążony ryzykiem.

„Największym była utrata danych klientów podczas migracji systemów, dlatego włożyliśmy ogromny wysiłek w przygotowanie projektu migracji oraz niezbędnej dokumentacji” – mówi Andrzej Leszczyński. Proces migracji odbywał się w 33 transzach relokacyjnych rozłożonych na 15 weekendów. Wzięło w nim udział 400 pracowników banku i 22 firmy zewnętrzne. Przenieśliśmy ponad 1400 serwerów, macierzy, routerów, przełączników, bibliotek taśmowych i innych urządzeń. W komorach serwerowych położono ponad 100 kilometrów kabli. Każda z transz relokacyjnych posiadała dokładny, minutowy plan relokacji, oszacowanie wpływu na ciągłość działania banku, listy aplikacji, sprzętu, połączeń LAN/SAN, warunki wstępne uruchomienia, plan powrotu, rejestr ryzyka i przypisany zespół projektowy odpowiedzialny za jej realizację” – wylicza.

„W praktyce migracja oznaczała przeniesienie i dotknięcie każdego systemu w banku, łącznie z rdzeniem sieci LAN. Gdyby coś się nie udało, bank mógłby stanąć. To był projekt naprawdę wysokiego ryzyka. Mieliśmy trzy planowane przerwy – przy systemach kartowych niezbęde były dwie czterogodzinne przerwy, przy przenoszeniu systemu centralnego z wymianą sprzętu jedna dwunastogodzinna. Reszty prac klienci nie zauważyli, ponieważ były przeprowadzone w weekendy, w porze nocnej i nie wpływały na dostępność systemów” – tłumaczy dyrektor.

Andrzej Leszczyński wspomina migrację jak mrówczą pracę, wypełnioną sekwencjami ruchów, powtarzalną, synchronizowaną między zespołami, które od siebie zależały. „Na rynku nie ma zbyt wielu firm z doświadczeniem w migracji systemów, szczególnie tak rozległych jak naszego banku, ale udało się taką znaleźć. Natomiast sposób, jak to zrobić, wymyśliliśmy sami, rozważając różne scenariusze realizacji” – wspomina. „Zbudowaliśmy sieć LAN o jednolitej adresacji IP we wszystkich ośrodkach, przyjęliśmy, że cały czas mamy mieć nieruszane dane w dwóch ośrodkach. By przenieść macierz, musieliśmy postawić nową macierz tymczasową, dołączyć ją do replikacji asynchronicznej, a tydzień wcześniej dosynchronizować. Gdy byliśmy gotowi, odłączaliśmy macierz i przełączaliśmy replikację na drugą. Takich ruchów z pozoru nadmiarowych, ale dających nam pełne bezpieczeństwo, było dużo. Gdyby coś się zdarzyło, klienci mieli tego nie zauważyć. To było jedno z podstawowych założeń” – dodaje.

Czynnik ludzki to rzeczywistość

Jak zaznacza menedżer projektu COPD, jednym z kluczowych faktorów przy budowie, a potem migracji danych do nowego centrum był czynnik ludzki. „Bez odpowiedniego zespołu niewiele udałoby się osiągnąć. Andrzej Nowicki, Piotr Murawski, Daniel Sosiński, Piotr Żak, Marcin Dąbrowski i kilku innych ekspertów potrafiło ze mną siąść do stołu i opracować założenia naszego data center. Na każdym etapie realizacji inwestycji musiałem mieć właściwych ludzi na właściwym miejscu, niejako związanych osobowościowo z konkretnym etapem” – mówi Andrzej Leszczyński. „Na przykład do nadzorowania procesu budowy obiektu potrzebny był Marcin Dąbrowski, osoba dbająca o szczegóły, z dużą wiedzą techniczną, twarda i zdecydowana, potrafiąca jasno komunikować swoje oczekiwania wobec wykonawcy i utrzymać budowę w ryzach. Przy migracji, którą w większości wykonywaliśmy własnymi siłami, wspierał mnie Michał Kucybała – umiejętnie zarządzał zespołami, motywował je i płynnie prowadzał je przez realizację poszczególnych transz przeprowadzki.. Po zakończeniu projektu nabrałem przekonania, że mówienie o wadze czynnika ludzkiego nie jest tylko uprzejmością wobec kolegów, ale potrzebą” – dodaje.

Coś się kurczy, coś się rozwija

Jesienią 2016 r. PKO Bank Polski eksploatował już w nowym ośrodku wszystkie swoje systemy informatyczne. Centralny ośrodek będzie służył bankowi oraz firmom z grupy kapitałowej. Obecnie jest w nim zajęte około 70% powierzchni, ale projekt przewiduje możliwość dobudowania dodatkowych dwóch komór do dwóch już istniejących.

Andrzej Leszczyński zauważa, że zajętość powierzchni w poprzednim data center rosła w tempie 3–4% rocznie. Zakładając, że nie będzie to przyrost liniowy, miejsca powinno wystarczyć na kilkanaście lat. „Dlaczego ten przyrost roczny jest tak mały? Mamy do czynienia z dwoma trendami. Fakt, że jest coraz więcej systemów, ale też pojawiają się coraz mocniejsze serwery. Jestem w stanie sobie wyobrazić, że za 20 lat, zakładając liniowy rozwój technologii, kompleksowy system IT w banku pomieści jeden komputer. Nie wiem, gdzie będzie jakaś bariera w tym rozwoju. Czasem z uśmiechem wspominam swój pierwszy komputer, który miał częstotliwość zegara 8 mHz. Czy dziś ktokolwiek robi jeszcze tak wolne procesory, które umiałyby obsługiwać taki sprzęt? Odnoszę wrażenie, że najprostsze urządzenia w domu mają mocniejsze procesory” – mówi.

„Wracając do przyszłości, banki coraz bardziej będą się otwierać na chmurę, cześć rzeczy będzie więc wynoszona na zewnątrz. Zabezpieczanie jakichś ogromnych powierzchni pod serwerownię to mrożenie pieniędzy. Tu ważniejsza jest elastyczność. Przez ileś jeszcze lat banki nie wymienią systemów centralnych na chmurowe, rozumiane jako pracujące na wielu węzłach i mało czułe na wahania wydajności. Dziś jeszcze nie, ale kto wie, co będzie kiedyś? Systemów przybywa, przyspiesza ich rozwój, więc jest coraz więcej środowisk testowych, deweloperskich. Cykl życia oprogramowania jest krótszy, co szczególnie widać w oprogramowaniu mobilnym. W aplikacjach mobilnych też kiedyś dojdziemy do ściany, ponieważ i tu permanentny rozwój liniowy nie jest możliwy. Ale dziś wygląda to tak, że możemy coraz więcej, mamy przecież całą bankowość w telefonie komórkowym. W latach 80. polski pisarz Janusz Zajdel w książce „Limes inferior” opowiadał o kluczu, który posiada człowiek i w którym jest wszystko: portfel, zegarek, kalkulator, czytnik linii papilarnych. To przecież dzisiejszy smartfon… Możliwe, że prędzej czy później zamiast ekranu telefonu będziemy mieć wyświetlane komunikaty w okularach albo soczewkach. A potem? Nie wiem, ale rozwój jest nieunikniony” – stwierdza Andrzej Leszczyński.

Andrzej Leszczyński. Najważniejsze sukcesy i osiągnięcia

1. sześciokrotna redukcja całkowitego czasu niedostępności podstawowych systemów informatycznych w PKO Banku Polskim przy jednoczesnym zachowaniu wysokich wskaźników zaangażowania i zadowolenia pracowników;

2. terminowe zakończenie projektu „Dowody osobiste i paszporty”. Projekt prowadzony był przy dużym zainteresowaniu mediów i polityków, terminy realizacji były wyjątkowo krótkie. Projekt zakończył się pełnym sukcesem firmy Hewlett-Packard, a wprowadzone dowody osobiste i stworzony system są nadal używane;

3. wykonanie w ciągu 6 miesięcy migracji do nowego data center wszystkich systemów informatycznych PKO Banku Polskiego w sposób niezauważalny dla klientów, bez zakłócenia normalnej pracy banku i rozwoju systemów informatycznych przy zachowaniu niezmienionego poziomu bezpieczeństwa danych.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200