W skrócie
- Dwa zjawiska rosnące razem mogą tylko iść w parze, a ich wspólną przyczyną bywa trzeci czynnik, na przykład pora roku.
- Średnia jest czuła na pojedyncze duże wartości, dlatego przy niej warto sprawdzić też typową wartość i liczbę przypadków.
- Kilka zamówień albo kilka opinii to za mało, żeby ogłosić trend, bo przypadek potrafi zmienić wynik.
- AI można poprosić o szukanie błędów, ale pytanie trzeba zadać tak, żeby nie dostać tylko potwierdzenia Twojej tezy.
- Przed wnioskiem sprawdź wykres, okres, definicje i to, czego w danych brakuje, a każdą odpowiedź AI zweryfikuj.
Dwie linie idą w górę, ale jedna nie pcha drugiej
Wyobraź sobie, że prowadzisz mały sklep z pamiątkami nad morzem i zestawiasz w arkuszu dwie kolumny: liczbę sprzedanych koszulek z nadrukiem oraz liczbę zamówionych zestawów lodów z lokalnej lodziarni, którą polecasz klientom. Na wykresie obie linie rosną razem przez cały lipiec. Czy klienci kupują koszulki, bo jedzą lody? Raczej nie. Obie rzeczy rosną, bo na wakacje przyjeżdża więcej turystów i jest ciepło.
Takie zjawisko nazywa się korelacją: dwie wartości zmieniają się w tym samym kierunku. Korelacja mówi tylko, że coś idzie w parze. Nie mówi, co na co wpływa ani czy w ogóle jedno wpływa na drugie. Dwie osoby, które zawsze przychodzą na przystanek o tej samej porze, też stoją razem, ale żadna z nich nie jest przyczyną obecności drugiej.
To ważne, bo wykresy i odpowiedzi AI podają takie zależności w bardzo przekonującej formie. Gładka linia i pewny ton nie dowodzą jednak, że za wynikiem stoi przyczyna.
Trzeci, ukryty czynnik, czyli ten, którego nikt nie wpisał
W statystyce takiego czynnika mówi się zmienna zakłócająca. Brzmi groźnie, ale to po prostu coś trzeciego, co napędza oba wyniki naraz. W przykładzie z pamiątkami tym czynnikiem jest pogoda i sezon. Jeśli o nim nie wiesz, łatwo uznać, że między dwiema kolumnami jest bezpośredni związek.
Podobny przypadek to sklep z kosmetykami. Załóżmy, że w czerwcu rośnie sprzedaż kremów z filtrem i liczba wejść na stronę. Wniosek, że strona sprzedaje kremy, może być prawdziwy, ale równie dobrze obie liczby rosną, bo zbliżają się wakacje i ludzie szukają produktów przed wyjazdem. Zanim zmienisz strategię i wydasz pieniądze, sprawdź, czy z zewnątrz nie popycha obu wskaźników.
Bywa też odwrotnie, bo kierunek związku jest niejasny. Sklep, który zrobił promocję, widzi wzrost sprzedaży, ale sprzedaż mogła już wcześniej rosnąć, a promocja była odpowiedzią na ten ruch. Pytanie, co na co wpływa, bywa więc ważniejsze niż sama liczba.
- Zapytaj, czy coś mogło wpłynąć na oba wskaźniki jednocześnie, na przykład sezon, promocja konkurencji albo zmiana cen.
- Zapytaj, która rzecz wydarzyła się pierwsza, a która później.
Średnia, która wygląda dobrze, a myli
Średnia to suma podzielona przez liczbę składników. Jest wygodna, ale ma jedną słabość: jedna bardzo duża albo bardzo mała wartość mocno ją przesuwa, nawet jeśli reszta danych wygląda zupełnie inaczej.
Weźmy przykład. Załóżmy, że w ciągu pięciu dni sklep miał pięć zamówień o wartości 40, 45, 50, 45 i 1200 złotych. Średnia wartość zamówienia wynosi 276 złotych. Gdybyś pokazał ją komuś jako typową wartość, uznałby, że klienci wydają w Twoim sklepie prawie trzysta złotych. Tymczasem cztery z pięciu zamówień to około 40 do 50 złotych, a jedno duże zamówienie od firmy zrobiło całą resztę.
Co zrobić? Sprawdź typową wartość, czyli medianę, która w tym przykładzie wynosi 45 złotych. Proste wyjaśnienie tego pojęcia znajdziesz w osobnym poradniku o statystyce na co dzień. Poproś też AI o listę zamówień powyżej określonego progu, żeby zobaczyć, czy wynik zależy od kilku wyjątków.
- Przy każdej średniej zapytaj o medianę albo o wartość typową.
- Sprawdź, czy kilka największych lub najmniejszych wartości nie robi całego wyniku.
- Porównuj średnie tylko wtedy, gdy grupy są podobnej wielkości i mają podobny charakter.
Mała próba: dwa zamówienia to jeszcze nie trend
Próba to dane, na których opierasz wniosek. Im mniej przypadków, tym łatwiej o wynik, który wygląda jak zasada, a jest tylko przypadkiem.
Wyobraź sobie rzut monetą. Dziesięć rzutów może dać siedem orłów i nic to nie znaczy, bo przy tak małej liczbie rzutów taki wynik zdarza się zwyczajnie. Podobnie jest ze sprzedażą. Załóżmy, że nowe zdjęcie produktu w jednym tygodniu dało sześć zamówień, a w poprzednim były cztery. Czy zdjęcie działa? Nie wiadomo. Różnica dwóch zamówień może wynikać z dnia tygodnia, pogody, jednej polecajki od znajomego albo zwykłego szczęścia.
Ta sama logika dotyczy opinii klientów. Trzy pozytywne recenzje nie dowodzą, że produkt jest świetny, a trzy negatywne nie przesądzają, że jest zły. AI, które streszcza takie opinie, potrafi napisać pewnie, że klienci są zadowoleni, choć z trzech osób nie da się wyciągnąć takiego wniosku.
- Zapisz, ile masz przypadków, zanim wyciągniesz wniosek.
- Nie traktuj pojedynczych tygodni jako dowodu na zmianę, tylko porównuj dłuższe okresy.
- Jeśli liczby są małe, sformułuj wniosek ostrożnie, na przykład jako „być może”, i zbierz więcej danych.
Jak pytać AI o możliwe błędy
AI bardzo chętnie podaje odpowiedzi, które brzmią pewnie. Dlatego najlepiej używać go nie jako wyroczni, tylko jako drugiej pary oczu, która szuka dziur w Twoim rozumowaniu. Najważniejsza zasada brzmi: nie pytaj o potwierdzenie.
Jeśli napiszesz „potwierdź, że nowa reklama zwiększyła sprzedaż”, dostaniesz tekst, który to potwierdzi, bo tak ustawiłeś rozmowę. Lepiej zapytać: „jakie inne wyjaśnienia mogą tłumaczyć ten wzrost?”. Dobrze działa też podanie kontekstu: okresu, liczby przypadków i tego, co zmieniło się w sklepie w tym czasie.
Poniżej kilka pytań, które możesz wkleić obok swojej tabeli lub wykresu. Zamiast nawiasów wpisz własne dane i pamiętaj, żeby nie wklejać danych osobowych klientów.
- „Oto dane z ośmiu tygodni sprzedaży. Wskaż trzy możliwe wyjaśnienia wzrostu w ostatnim miesiącu, poza tym, że reklama zadziałała. Dla każdego napisz, czego brakuje, żeby to sprawdzić.”
- „Czy ten wniosek opiera się na korelacji? Jaka trzecia zmienna, na przykład sezon albo promocja, mogłaby wyjaśniać oba wyniki?”
- „Podaj średnią i medianę wartości zamówień. Czy jedno lub dwa zamówienia zniekształcają wynik?”
- „Ile przypadków minimalnie potrzebuję, żeby ta różnica była czymś więcej niż zwykłą losowością? Odpowiedz prostym językiem i zaznacz, czego nie jesteś pewien.”
- „Wypisz, czego w tych danych brakuje, zanim wyciągnę wniosek.”
Pułapki na wykresie i w raporcie
Nawet poprawne liczby można pokazać tak, że prowadzą do złego wniosku. Wykres to skrót, a skrót wybiera, co widać. Zanim uwierzysz w stromą linię, spójrz na oś i opis.
Najczęstsza pułapka to oś, która nie zaczyna się od zera. Wzrost z 980 do 1020 zamówień może wyglądać na gwałtowny skok, jeśli wykres jest przycięty. Druga pułapka to porównywanie okresów różnej długości: miesiąc z 31 dniami nie jest równy miesiącowi z 28 dniami, więc przeliczenie na dzień bywa uczciwsze. Trzecia to zmiana definicji, na przykład raz liczysz zamówienia, a raz opłacone płatności.
Osobno uważaj na wybiórcze dane. Raport, w którym pokazano tylko udane kampanie albo tylko tygodnie z dobrą pogodą, może być prawdziwy w każdym zdaniu i mimo to wprowadzać w błąd. Wykresy i sposób ich opisywania omawiamy szerzej w osobnym poradniku o wykresach z AI.
- Sprawdź, czy oś zaczyna się od zera albo czy skala jest jasno opisana.
- Porównuj okresy tej samej długości albo przeliczaj wyniki na jeden dzień.
- Upewnij się, że każda kolumna oznacza to samo, zanim zestawisz je obok siebie.
- Zapytaj, czy ktoś wykluczył jakieś dane i z jakiego powodu.
Lista kontrolna przed wnioskiem
Zanim powiesz komuś albo sobie samemu, że coś działa, przejdź przez kilka pytań. Nie musisz być analitykiem. Wystarczy zapisać odpowiedzi w zwykłym zeszycie albo w komórce obok tabeli.
Jeśli po przejściu listy nadal masz wątpliwości, potraktuj wniosek jako hipotezę i zaplanuj, jak ją sprawdzić w kolejnych tygodniach. Taki zapis zabiera kilka minut, a często oszczędza pomyłek na kilka miesięcy.
- Ile przypadków stoi za tym wnioskiem i czy to więcej niż kilka?
- Czy dwie zmienne mogą rosnąć razem dzięki trzeciemu czynnikowi, na przykład sezonowi?
- Która rzecz wydarzyła się pierwsza, a która później?
- Czy średnia jest zbliżona do mediany i czy jedna wartość jej nie zniekształca?
- Czy porównywane okresy i grupy mają tę samą długość i podobną wielkość?
- Czego nie wiem o tych danych i jak zmieniłaby się ocena, gdybym to wiedział?
Bezpieczeństwo danych i sprawdzanie odpowiedzi AI
Zanim wkleisz tabelę do AI, zastanów się, co w niej jest. Imiona, adresy, numery telefonów i dane płatności klientów nie powinny trafiać do żadnego narzędzia, jeśli nie wiesz, jak są przetwarzane. Jak usunąć takie dane przed analizą, opisujemy w osobnym poradniku o anonimizacji. Ogólne zasady ochrony danych osobowych znajdziesz w oficjalnych źródłach, na stronach polskiego urzędu zajmującego się ochroną danych.
Druga zasada: odpowiedź AI to hipoteza, a nie wynik. Model potrafi pomylić sumę, pominąć wiersz albo podać liczbę, która brzmi wiarygodnie, ale nie istnieje w Twoich danych. Sprawdź kilka wyliczeń ręcznie na małej próbce. Jeśli AI podaje liczbę, której nie widzisz w tabeli, potraktuj to jako sygnał alarmowy.
Jeśli sprzedajesz na allee.pl, prawdziwe liczby o zamówieniach znajdziesz w panelu sprzedawcy. To dobry punkt wyjścia, bo analiza zaczyna się od danych, które naprawdę istnieją, a nie od tego, co wydaje się prawdopodobne.
Najcenniejszy nawyk, jaki możesz wynieść z tego poradnika, to pytanie, co jeszcze mogłoby być prawdą. Zadawaj je przy każdym raporcie, również przygotowanym przez AI. Pogłębienie tematu znajdziesz w osobnych poradnikach: o tym, czy można ufać liczbom z AI, oraz o ocenie wiarygodności wniosków.
Najczęstsze pytania
Czy korelacja oznacza, że jedno zjawisko powoduje drugie?
Nie. Korelacja pokazuje tylko, że dwie wartości zmieniają się razem. Może być przypadkowa, może wynikać z trzeciego czynnika, na przykład pory roku, albo przyczyna może być odwrotna. Żeby ustalić, co na co wpływa, potrzeba czegoś więcej niż jednego wykresu.
Dlaczego średnia jest myląca w sprzedaży?
Jedno duże zamówienie albo jeden bardzo mały wynik potrafi mocno przesunąć średnią, więc nie pokazuje typowej sytuacji. Sprawdź medianę, czyli wartość typową, i zobacz, ile zamówień mieści się w poszczególnych przedziałach. Przy kilku przypadkach średnia może zmieniać się przy każdym nowym zamówieniu.
Ile danych potrzeba, żeby wyciągnąć wniosek?
Nie ma jednej liczby, która działa we wszystkich sytuacjach. Przy kilku zamówieniach wniosek jest bardzo wstępny, bo przypadek może zmienić wynik. Im dłuższy okres i więcej przypadków, tym wiarygodniej wygląda zależność. Wnioski z małej próby traktuj jako hipotezy do sprawdzenia.
Jak poprosić AI, żeby znalazło błędy w moich danych?
Nie pytaj, czy Twój wniosek jest prawdziwy, bo dostaniesz potwierdzenie. Zapytaj, jakie inne wyjaśnienia są możliwe, jaka trzecia zmienna może wpływać na wyniki i czego brakuje w danych. Podaj kontekst: okres, liczbę przypadków i to, co zmieniło się w sklepie. Odpowiedzi AI zawsze sprawdź samodzielnie.
Czy mogę wkleić dane sprzedaży do AI?
Zbiorcze liczby, na przykład sumy sprzedaży za tydzień, nie zawierają danych osobowych, ale i tak sprawdź, jak narzędzie przetwarza wgrane pliki. Imiona, adresy i dane płatności klientów usuń wcześniej. Zasady ochrony danych osobowych są opisane w oficjalnych źródłach.