Jak broń matematycznej zagłady kreuje rzeczywistość

Każdy z nas, podejmując decyzje, wykorzystuje do tego celu, zwykle nieświadomie, algorytmy i modele matematyczne. Cathy O'Neil, matematyk i analityk danych ujawnia, że wiele z nich opiera się na złych, niedopracowanych założeniach, wprowadza w błąd firmy i krzywdzi ludzi. Co zrobić, by nie stać się ofiarą modeli matematycznych i bezwiednie nie poddawać się matematycznej zagładzie?

FOTO

Cathy O’Neil na TED, The era of blind faith in big data must end | źródło: YouTube

Wbrew pozorom, Big Data to niebezpieczne narzędzie. Jego analiza i praktyczne wykorzystanie, jak również kryjące się w tym zjawisku niebezpieczeństwa zostają obszernie przedstawione w książce Cathy O’Neil „Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji”. Cathy O’Neil, doktor nauk matematycznych (tytuł uzyskany na Harvardzie), były wykładowca w Barnard College, autorka książki „Doing Data Science”, od lat zajmuje się analizą danych i budową modeli matematycznych. Pracowała dla funduszu hedgingowego D.E. Shaw, a także w różnych start-upach, gdzie tworzyła modele przewidujące zakupy i zachowania użytkowników. Zainicjowała tzw. Lede Program In Data Journalism, podyplomowy kurs dziennikarski dotyczący analizy danych. Obecnie jest analitykiem danych, prowadzi bloga MathBabe.org, który powstał, żeby popularyzować wiedzę na temat Beemzetów. „Moim celem było zmobilizowanie kolegów matematyków do sprzeciwiania się wykorzystywaniu niedopracowanych statystyk i pełnych niesprawiedliwych założeń modeli, tworzących toksyczne pętle sprzężeń zwrotnych”. W tym miejscu warto wspomnieć, że Beemzety to wymyślona przez Cathy O’Neil nazwa, a raczej skrót szkodliwych odmian modeli, która brzmi: Broń Matematycznej Zagłady.

Choć może się wydawać, że algorytmy i modele matematyczne powinny być obiektywne, pozbawione uprzedzeń, to jednak tak nie jest. Można powiedzieć, że sprzyjają głównie elitom.

Dlaczego tak się dzieje? Jak stwierdza Cathy O’Neil: „Sprawy jednostek uprzywilejowanych są załatwiane przez ludzi, a sprawy mas przez maszyny”. Słowem, to maszyny tworzą Beemzety, które często decydują za ludzi i firmy. „Bazujące na błędnych założeniach modele matematyczne obecnie mikrozarządzają gospodarką, od reklamy po więziennictwo”.

Zobacz również:

  • 9 cech wielkich liderów IT
  • GenAI jednym z priorytetów inwestycyjnych w firmach

Groźne algorytmy

Dlaczego tak się dzieje? To proste, jak pisze autorka: „Jakiś algorytm przetwarza furę statystyk i generuje informację, która wskazuje na prawdopodobieństwo, że pewna osoba może być złym pracownikiem, ryzykownym kredytobiorcą, terrorystą lub niekompetentnym nauczycielem. To prawdopodobieństwo urzeczywistnia się w punktacji, która może wywrócić człowiekowi życie do góry nogami”.

To ludzie tworzą algorytmy, które często są naginane pod przekonania ich autorów, nie zawsze obiektywnych. W praktyce algorytmy zamiast opisywać świat, kreują rzeczywistość.
I na to właśnie kładzie nacisk autorka, skupiając się w swojej książce na ciemnych stronach Beemzetów.

Jak broń matematycznej zagłady kreuje rzeczywistość

Wydaje się, że każdy ma prawo do obrony, może udowodnić swoje racje, ale nie w przypadku algorytmu, ponieważ: „Kiedy taka osoba podejmuje walkę, kontrdowody o charakterze jedynie ‘przekonującym’ okazują się niewystarczające. Aby istniały szanse na powodzenie, nieprawidłowość musi zostać udowodniona ponad wszelką wątpliwość”. No cóż, jak pisze autorka, „od ludzkich ofiar Beemzetów wymaga się o wiele większej staranności dowodowej niż od algorytmów”. Dzieje się tak dlatego, że algorytmy i modele matematyczne czają się wszędzie: w szkołach, wyższych uczelniach, sądach, miejscach pracy, restauracjach, bankach, lokalach wyborczych. Beemzety faworyzują bogatych kosztem biednych, wpływając na samoocenę i zwiększając nierówności. Jak to wygląda w praktyce? Cathy O’Neil pisze: „Młody człowiek z bogatych przedmieść, korzystający z wszelkich udogodnień – elitarnej edukacji szkolnej, osobistego coachingu przed egzaminami wstępnymi (…) – nadal jest przekonany, że to jego umiejętności, ciężka praca oraz zdumiewająca zdolność rozwiązywania problemów wyniosły go do świata uprzywilejowanych. Pieniądze eliminują wszelkie wątpliwości”.

Jak się tworzy modele matematyczne?

Odpowiedź jest prosta. Oto definicja modelu i jego przetwarzania, którą podaje autorka książki: „to nic innego jak abstrakcyjne przedstawienie jakiegoś procesu, niezależnie od tego, czy dotyczy baseballu, łańcucha działań obcych rządów czy widzów oglądających film w kinie. Przetwarzany komputerowo lub w naszych głowach model wykorzystuje to, co wiemy, w celu prognozowania rozmaitych efektów w różnych sytuacjach”. Z tego wynika, że każdy człowiek ma w głowie tysiące takich modeli, które podpowiadają, co może nastąpić, i w ten sposób kierują decyzjami.

Najprostszym przykładem jest gotowanie obiadu. Każda pani domu stara się nie tylko uwzględnić podniebienia domowników, ale także kwestie dietetyczne, zdrowotne itp. Dochodzą też kwestie dostępnych składników, ceny produktów, poziomu energii, ilości czasu, jaki może na tę czynność przeznaczyć, a nawet ambicji. Obiad gotowy, ale to jeszcze nie koniec, bo sprawdzając, czy wszyscy są zadowoleni, ile zostaje zjedzone itp., udaje się wciąż aktualizować przyjęte wcześniej modele, aby w przyszłości jeszcze ulepszyć kuchnię. „Takie aktualizacje i poprawki składają się na coś, co statystycy nazywają modelem dynamicznym”.

Inny przykład to jednostkowy rasizm, który nieraz traktowany jest jako model predykcyjny i dotyczy milionów ludzi na świecie. „Jest tworzony w oparciu o błędne, niekompletne lub nazbyt ogólne dane (…) jego podstawą jest zbiór danych mówiących o tym, że pewne kategorie ludzi zachowują się w sposób niewłaściwy. Dane te prowadzą do zero-jedynkowej prognozy, że wszyscy ludzie należący do danej rasy będą zachowywać się w taki sam sposób”.

Podobnie dzieje się w bankach, przedsiębiorstwach, oświacie, w firmach. Prosty przykład: organizacja daje ogłoszenie, że potrzebuje pracownika. Zgłasza się wielu kandydatów, więc osoba odpowiedzialna za rekrutację robi wstępną selekcję kandydatów za pomocą modelu matematycznego. I tak odsiewa osoby, które w kwestionariuszu nie podały właściwej motywacji, co może oznaczać, że dana osoba cierpi na depresję. Tu działa pętla sprzężenia zwrotnego, często występująca w modelu matematycznym firm konsultingowych.

Dochodzi nawet do tego, że wykorzystując modele, których podstawą są zmienne pośrednie, sprawdzają korelacje choćby pomiędzy kodami pocztowymi a cechami charakteru, co skutkuje tym, że osoby z biednych dzielnic zgodnie z modele są „mniej pracowite”.

Podobnie też działają firmy ubezpieczeniowe, które uzyskując informacje o bardziej ryzykownych klientach, podnoszą im stawki, a w skrajnych przypadkach nawet odmawiają ubezpieczenia. „Takie podejście daleko odbiega od pierwotnego celu ubezpieczeń, którym było wsparcie społeczeństwa w zbilansowaniu ryzyka. W stargetowanym, spersonalizowanym świecie nie płacimy już średnich stawek, lecz jesteśmy kontrolowani z przewidywanymi kosztami naszych działań”. Kto najmocniej odczuje skutki? Oczywiście ci, których nie będzie stać na większe opłaty.

Przykłady można mnożyć. Jak widać, zjawisko jest groźne. Ale czy można z nim walczyć?

Pogoda (wyłącznie) dla bogaczy?

„Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji” to książka dedykowana wszystkim przegranym. Skoro jednak zjawisko jest już znane i została odkryta machina, która nim zarządza, to chyba można przed nim chronić kolejne ofiary. Zwłaszcza że wykorzystywanie Big Data staje się wszechobecne. Jak zatem walczyć z niesprawiedliwością modeli i sprawić, żeby były tworzone z uwzględnieniem maksymalnej liczby zmiennych? Zdaniem Cathy O’Neil badacze danych, tak jak lekarze, powinni składać wypracowany rodzaj przysięgi Hipokratesa, biorącej pod uwagę potencjalne nadużycia i błędne interpretacje ich modeli. Przytacza propozycję takiej przysięgi opracowaną po załamaniu rynku w 2008 r. przez Emanuela Dermana i Paula Wilmotta, specjalistów od inżynierii finansowej (patrz ramka).

Przysięga składana przez badaczy danych, opracowana przez Emanuela Dermana i Paula Wilmotta

• Będę pamiętał, że to nie ja stworzyłem świat oraz że nie musi on dopasowywać się do moich wyliczeń.

• Będę śmiało używał modeli do określenia wartości, nie będę jednak ulegał nadmiernej fascynacji matematyką.

• Nigdy nie będę dążył do elegancji modeli kosztem zgodności ze stanem rzeczywistym bez wytłumaczenia, dlaczego tak postąpiłem.

• Nie będę stwarzał wobec klientów korzystających z moich modeli fałszywego poczucia pewności co do jego trafności. Zamiast tego będę wyraźnie informował o ich założeniach oraz brakach.

• Rozumiem, że moja praca może mieć ogromny wpływ na społeczeństwo oraz ekonomię, a którego w znacznej części mogę sobie nie zdawać sprawy.

Źródło: Cathy O’Neil, „Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji”, Wydawnictwo Naukowe PWN SA, Warszawa 2017, s. 277

Problem jednak w tym, że to dopiero początek drogi, podstawa filozoficzna. Sprawa bowiem nie jest tak prosta. Trzeba pamiętać, że przysięga ta nie uwzględnia wielu czynników, takich jak naciski na badaczy w miejscu pracy. Jak radzi autorka: „Aby skutecznie wyeliminować Beemzety, musimy wyjść poza utrwalanie dobrych praktyk w naszym cechu analityków danych. Zmiany wymagają także przepisy prawne. By to uczynić, musimy przede wszystkim dokonać ponownej ewaluacji naszego systemu oceny sukcesu”.

Trzeba pamiętać, że Big Data i ich wykorzystanie to narzędzia przyszłości, na których będziemy się opierać, zarządzając instytucjami, lokując zasoby czy kierując swoim życiem. Jak pisze autorka,

nasze wybory „nie wiążą się jedynie z zagadnieniami logistyki, zysków i wydajności. Mają charakter dogłębnie moralny”. To nakłada na wszystkich, zwłaszcza na rządzących państwami czy kierujących firmami, dużą odpowiedzialność. Należy zatem „połączyć siły i obejmować takie Beemzety nadzorem po to, by je okiełznać i rozbrajać”.
Dzięki temu mogą się stać reliktami nowej rewolucji, bo „matematyka zasługuje na coś lepszego niż Beemzety, podobnie zresztą jak demokracja”. Jeśli już znajdzie się skuteczna broń na Beemzety, skorzystają na niej wszyscy, a zwłaszcza przegrani.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200