Modelowanie dla biznesu. Regresja logistyczna, regresja Poissona, survival data mining, CRM, credit scoring - No author - ebook

Przedmowa Czytelnikowi na rynku polskim została udostępniona publikacja Czwarta rewo­lucja przemysłowa autorstwa prof. Klausa Schwaba, założyciela i prezesa Świato­wego Forum Ekonomicznego We wstępie do publikacji, w rekomendacjach, znani ludzie biznesu i innych środowisk, w tym naukowych, zamieścili swoje wypowie­dzi. Dalej zostały przedstawione wybrane dwie z nich. "Ludzkość stoi na progu największej w dziejach rewolucji, która zmiecie większość obo­wiązujących zasad naszego życia i pracy. Toczący się wykładniczo technologiczny rozwój świata jest już nie do zatrzymania" (Sebastian Kulczyk, CEO Kulczyk Investment).

"Najnowsze technologie, łączące świat cyfrowy, fizyczny i biologiczny, radykalnie zmie­niają naszą cywilizację. Nowe możliwości w medycynie, edukacji czy biznesie popra­wiają bytowanie człowieka na Ziemi i przyczyniają się do mądrzejszego korzystania z jej naturalnych zasobów. Zarazem okazują się potencjalnie bardzo niebezpieczne, otwierając ogromne przestrzenie do cyberprzestępczości czy przyczyniając się do dal­szej polaryzacji społeczeństw. Z tego powodu jednym z najpoważniejszych wyzwań dzisiejszego świata jest to, by dobrze i mądrze przeprowadzić czwartą rewolucję prze­mysłową" (Aleksandra Przegalińska, Akademia Leona Koźmińskiego). We wstępie do swojej książki Czwarta rewolucja przemysłowa profesor Klaus Schwab pisze m.

in. : "Znajdujemy się na początku przewrotu, który w sposób fundamentalny zmienia sposób, w jaki żyjemy, pracujemy i utrzymujemy kontakty. Spośród różnorakich i fascynują­cych wyzwań, które w związku z tym stoją dzisiaj przed nami, największym i naj­ważniejszym zadaniem jest zrozumieć nową rewolucję technologiczną i odpowiednio ukierunkować jej przebieg. (...) Jesteśmy świadkami ogromnych zmian we wszystkich branżach; wyłaniają się nowe technologie biznesowe, pojawiają się przełomowe zakłócenia w istniejącym porządku, które rewolucjonizują systemy produkcji, konsumpcji, transportu i dostaw. Na froncie społecznym zachodzi zmiana paradygmatu określającego, jak pracujemy i komunikujemy się, a także jak się wyrażamy, jak przekazujemy informacje i jakich szukamy rozrywek. Przekształceniom ulegają zarówno rządy i instytucje, jak i systemy edukacji, opieki zdrowotnej, transportu oraz wiele innych.

Nowe sposoby posługiwania się technolo­gią wpływają na nasze zachowania oraz systemy produkcji i konsumpcji, stwarzają także możliwości wspierania, regeneracji i ochrony środowiska naturalnego, zamiast tworzenia ukrytych kosztów w formie efektów zewnętrznych. Zmiany te pod względem rozmiaru, tempa i zakresu, nie mają sobie równych w historii". Zmiany te charakteryzują się dużą szybkością, szerokością i głębią oraz wpły­wem na transformację wszystkich systemów. Przed tym procesem stoją uczelnie wyższe, uniwersytety i środowiska akademickie, aby w porę podjąć stosowne dzia­łania i włączyć się w potężną zmianę systemową. Obecnie modele są podstawą większości, jeśli nie wszystkich, decyzji bizne­sowych.

Coraz częściej firmy poszukują analityki jako kluczowego, strategicznego wyróżnika, który umożliwia kierowanie ogromną liczbą decyzji operacyjnych każ­dego dnia. Jednocześnie firmy identyfikują zagrożenia. Według SAS White Paper 2018 jednym z istotniejszych czynników hamujących sukces analizy jest opóź­nienie między tworzeniem a wdrażaniem modeli. Głównym powodem opóźnień we wdrożeniu modeli jest to, że firmy produkują i wdrażają je w dwóch oddziel­nych środowiskach: biznesowym i informatycznym (IT).

Analitycy z różnych jed­nostek biznesowych budują modele, a działy IT je wdrażają. Obie grupy polegają innym zestawom procesów, kodów programowania i języków, które utrudniają szybką reakcję na zmieniające się warunki biznesowe. Jeśli firmy chcą usprawnić produkcję modeli, lepszym pomysłem jest automatyzacja powtarzalnych aspek­tów pracy i migracja modeli do procesu ciągłego podejmowania decyzji. Odpo­wiedzią jest fabryka analityczna, czyli połączone dwa środowiska i automatyzacja procesów oraz decyzji. Znaczącą część analityki dla biznesu stanowią modele predykcyjne.

Ocena dokładności predykcyjnej jest ważnym aspektem oceny i porównywania modeli, algorytmów lub technologii, które generują prognozy. Prognozy i projekcje stały się istotną częścią każdego przedsięwzięcia biznesowego i naukowego. Monografia Modelowanie dla biznesu przedstawia istotę i modelowanie z zakresu analityki biznesowej w wybranych obszarach zastosowań. Autorami lub współ­autorami kolejnych rozdziałów są pracownicy Zakładu Analizy Historii Zdarzeń i Analiz Wielopoziomowych, nasi magistranci lub absolwenci Podyplomowych Studiów "Analizy Statystyczne i Data Mining w Biznesie", za które merytorycznie odpowiada Zakład. Monografia rozpoczyna cykl publikacji Modelowanie dla biz­nesu, serii, która będzie prezentować różnorodne przykłady modelowania bizne­sowego z wykorzystaniem różnych metod analizy, włączając za każdym razem modelowanie predykcyjne.

Rozdział pierwszy jest rozdziałem o regresji logistycznej, modelowaniu, które jest wykorzystywane w sześciu rozdziałach niniejszej monografii. Odpowiedziano w nim na następujące pytania: 1. Jaka była geneza regresji logistycznej i opartego na niej modelowania$5 2. Jakie są podstawowe różnice pomiędzy regresją liniową a regresją logistyczną$6 3. Jak przebiega estymacja modelu regresji logistycznej (na przykładzie regre­sji binarnej)$7 4.

Jak interpretuje się wyniki estymacji parametrów regresji liniowej i regresji logistycznej oraz jakie są różnice$8 5. Jakie są inne rodzaje modelowania regresji logistycznej poza modelem binarnym$9 6. Jakie znaczenie w modelowaniu regresji logistycznej ma kodowanie zmien­nych jakościowych$10 7. Co składa się na proces wnioskowania w modelach regresji logistycznej$11 8. Co oznacza predykcja i model predykcyjny z wykorzystaniem regresji logi­stycznej$12 9.

Jakie mierniki i testy wykorzystuje się do oceny zdolności predykcyjnej modelu opartego na regresji logistycznej$13 W rozdziale drugim zamieszczono przegląd podstawowych testów i miar do oceny zależności zmiennych jakościowych, których dane empiryczne można zestawić w postaci tablic kontyngencji. Analiza tablic kontyngencji stanowi czę­sto wstępny etap wielu bardziej zaawansowanych analiz, w tym modeli regresji logistycznej. Przegląd testów i miar obejmuje: testy służące do weryfikacji hipotez o niezależności dwóch cech jakościowych (testy asymptotyczne i dokładne) oraz test Cochrana-Mantela-Haenszela i jego różne postacie, w zależności od celu ana­lizy. Kolejno omówiono podstawowe miary asocjacji pomiędzy cechami jakościo­wymi.

Konstrukcja tych miar zależy od rodzaju skal pomiarowych, stąd opis miar zależności dotyczy: zmiennych dychotomicznych, nominalnych i porządkowych. Ostatnia część rozdziału ma charakter aplikacyjny, zamieszczono przykłady obliczeń i interpretacji wcześniej opisanych testów i miar na przykładach tablic kontyngencji z zastosowaniem oprogramowania SAS. Proces budowy modelu regresji logistycznej z binarną zmienną objaśnianą jest tematem rozdziału trzeciego. W pierwszej jego części zaprezentowano model deskryptywny, którego celem jest zrozumienie i poznanie zależności w badanej próbie.

Następnie opisano model predykcyjny, który ma na celu możliwie najlepsze różnicowanie obserwacji spoza zakresu danych wykorzystanych do budowy modelu. Omówiono zbiór danych oraz wykorzystane procedury i autorskie makra SAS. Przeprowadzono jednowymiarową analizę zmiennych objaśniających, w tym analizę braków danych oraz sprawdzono moc dyskryminacyjną poszczególnych zmiennych. Przedstawiono algorytm podziału zbioru danych na próbę uczącą i walidacyjną. Przeprowadzono analizy korelacji i współliniowości.

Opisano algo­rytm doboru predyktorów do każdego modelu w celu zmniejszenia wymiarowości. Zaprezentowano analizę obserwacji wpływowych i odstających. Finalne modele zostały poddane interpretacji ekonomicznej oraz gruntownej weryfikacji staty­stycznej. Przeprowadzone testy statystyczne uzupełniono o przedstawienie gra­ficzne w stosownych przypadkach. Rozdział czwarty dotyczy modelowania z wykorzystaniem modelu regresji binarnej i uporządkowanej.

Celem analizy było określenie czynników pozwala­jących przewidzieć końcowy wynik meczu piłkarskiego na przykładzie danych z dwóch pełnych sezonów lig angielskiej. Wykorzystując SAS Enterprise Guide 7. 1, zbudowano modele regresji binarnej i uporządkowanej zbioru danych liczącego 760 obserwacji. Zaprezentowano kody tworzące modele oraz najważniejsze kody etapu przetwarzania danych. W modelowaniu wykorzystano 119 zmiennych zawierających statystyki meczowe drużyn gospodarzy i gości, statystyki zagrego­wane z całego sezonu poprzedzającego daną obserwację, statystyki zagregowane z meczów u siebie dla gospodarza i z meczów wyjazdowych dla gości oraz atrybuty finansowe i geograficzne.

Zaprezentowano statystyki dopasowania oraz jakości predykcyjnej modeli. W modelu binarnym liczba goli strzelonych przez gospo­darzy u siebie w ubiegłym sezonie oraz przewidywania bukmacherów dotyczące danego meczu okazały się najsilniejszymi predyktorami. W modelu uporządko­wanym stracone bramki przez gości w meczach wyjazdowych w ubiegłym sezo­nie oraz typy bukmacherów miały największy wpływ na zmienną odpowiedzi. W rozdziale piątym do modelowania wykorzystano model regresji Poissona. Pierwszą część rozdziału stanowi wstęp teoretyczny do rozkładu i regresji Poissona oraz opis podstawowej składni procedury GENMOD wykorzystanej do estyma­cji modelu.

W kolejnych podrozdziałach są zaprezentowane przykłady estymacji i analizy liczby infekcji. Rozdział zawiera również informacje dotyczące problemu nadmiernej dyspersji często występujących w rzeczywistych zastosowaniach oraz dwa sposoby rozwiązania tego problemu: korekcja wariancji za pomocą parame­tru skali oraz model ujemny dwumianowy. Dokonano porównania obu metod modelowania, wskazując podobieństwa i różnice w estymacji. Uzupełnieniem rozdziału jest analiza obserwacji wpływowych i odstających oraz ich znaczenia w procesie estymacji.

Tematykę zastosowania modeli predykcyjnych j ako narzędzia umożliwiającego zwiększenie efektywności kampanii marketingu bezpośredniego podjęto w roz­dziale szóstym. Pierwsza jego część to wprowadzenie do dziedziny marketingu, w którym zawarto opis podstawowych pojęć i definicji dotyczących podejmowa­nej tematyki. Następnie opisano rolę modeli predykcyjnych w marketingu oraz znaczenie wskaźnika otwarcia dla sukcesu kampanii marketingowych. Przedsta­wiono również podstawy teoretyczne zastosowanych metod - regresji logistycz­nej, sztucznej sieci neuronowej oraz drzewa decyzyjnego. Opisano wykorzystany do modelowania zbiór danych, jak również całościowy proces budowy poszcze­gólnych modeli predykcyjnych, ich porównania oraz wyboru najlepszego pod względem zdolności predykcyjnych.

Rozdział zakończono prezentacją praktycz­nego zastosowania finalnego modelu. W rozdziale siódmym skupiono się na analizie churnu, czyli zjawiska odej­ścia klienta, które jest związane z zakończeniem korzystania ze świadczonej przez firmę usługi, oraz na przykładowych dwóch podejściach stosowanych do jego badania. W części teoretycznej przedstawiono charakterystykę zjawiska churnu, a także możliwe do zastosowania podejścia analityczne, ze szczególnym uwzględnieniem modelu regresji logistycznej oraz modelu survival data mining. W ramach części praktycznej utworzone zostały, na podstawie danych dotyczą­cych churnu w firmie telekomunikacyjnej, dwa modele: model regresji logistycz­nej oraz model survival data mining z perspektywą roczną.

Na podstawie części aplikacyjnej dokonano podsumowania uwzględniającego możliwości oraz ogra­niczenia dwóch utworzonych modeli. Rozdział ósmym zawiera opis procesu implementacji metod credit scoringu w obszarach związanych z zarządzaniem relacjami biznesowymi z klientem kor­poracyjnym oraz motywowaniem pośrednich struktur sprzedaży. Business case, opisany w rozdziale, dotyczy polskiej branży farmaceutycznej, a środowisko dla niego stanowią czasy czwartej rewolucji technologicznej. Klasyczny credit scoring opiera się na mechanizmie transformacji szacowanego prawdopodobieństwa zaj­ścia zdarzenia sukcesu lub porażki do postaci łatwo interpretowalnych punktów scoringowych. Ponadto algorytm umożliwia jednoznaczne wskazanie najistotniej­szych, a przez to najbardziej predyktywnych atrybutów modelowanego zjawiska i podzielnie ich na kategorie określające stopień ryzyka wystąpienia prognozo­wanego zdarzenia.

Suma punktów otrzymanych w ramach każdej zmiennej sta­nowi o przynależności podmiotów do określonej grupy ryzyka. Podejście to od dawna wykorzystywane jest z sukcesem w bankowości dla procesów kredytowych, w instytucjach ubezpieczeniowych do wykrywania oszustów oraz w ocenie efek­tywności kampanii marketingowych. Rozdział ósmy składa się trzech głównych części. Pierwsza stanowi repozytorium wiedzy na temat podstaw teoretycznych i mechanizmów credit scoringu. Wyjaśnione są w nim między innymi pojęcia default, punkt obserwacji, wskaźnik Giniego i tabela ABT.

Część druga dedyko­wana jest problematyce segmentacji i optymalizacji strategii biznesowych dla sieci aptecznych. Przedstawiono w niej tradycyjne i ogólnodostępne metody segmen­tacji klientów sieciowych, proponowane przez firmy analityczne zajmujące się rynkiem farmaceutycznym, oraz podejście innowacyjne. Innowacyjność alterna­tywnego sposobu profilowania sieci aptecznych pozwala na wielowymiarowe usze­regowanie klientów według skłonności do zajęcia określonej pozycji w rankingu efektywności dochodowej per apteka. Równolegle w tej części poruszone zostały kwestie związane z jakością i mocą predykcyjną modelu scoringowego w warun­kach skąpej liczby rekordów w modelowanej populacji. Część trzecia poświę­cona została modelowaniu szansy na osiągniecie co najmniej 100% realizacji celu sprzedażowego przez przedstawiciela handlowego, w szczególności przedstawi­ciela medycznego.

Opisano w niej aspekt wykorzystania wiedzy o przyszłym roz­kładzie wyników sprzedażowych do celów budowania strategii i ustalania celów taktycznych dla zespołów sprzedażowych na kolejny okres rozliczeniowy. Ponadto wskazano na rolę narzędzi credit scoringu w motywowaniu pracowników. Auto­rzy podkreślili trudną rolę kierownika regionalnego w wyjaśnieniu przypadków, w których model się myli. W rozważanym zastosowaniu konieczność przedysku­towania każdego aspektu uzyskanych ocen cząstkowych stanowi wyzwanie w pra­widłowej interpretacji i aplikacji wyników modelowania zjawiska.