W skrócie
- AI dobrze grupuje podobne odpowiedzi w tematy, ale liczenie wyników zostaw arkuszowi, a nie rozmowie z czatem.
- Zanim zaufasz podsumowaniu, przeczytaj losową próbkę kilkudziesięciu odpowiedzi i porównaj ją z etykietami AI.
- Przed wklejeniem danych usuń imiona, adresy, telefony i numery zamówień, także te ukryte w treści wypowiedzi.
- Dobre tematy mają wyraźne granice; zbyt ogólna kategoria typu „obsługa” zamienia analizę w zgadywanie.
- Częstość tematu pokazuje, ile razy coś padło, a nie, jak ważne jest dla Twojej firmy. Tych dwóch rzeczy nie mieszaj.
Czym AI jest dobre w analizie ankiet, a czym nie
Odpowiedzi w ankietach są krótkie, pisane w pośpiechu i często chaotyczne: „dostawa super, paczka po trzech dniach”, „kurier nie oddzwonił”, „nic mi nie pasuje w rozmiarze”. Człowiek czytający sto takich zdań po kolei szybko się męczy i zapamiętuje te najbardziej emocjonalne. Model językowy, czyli program, który rozumie tekst i wykonuje polecenia, przeczyta wszystkie wpisy bez zmęczenia i przypisze każdy do tematu, na przykład dostawy, rozmiaru czy obsługi.
Porównaj to do segregowania korespondencji przez doświadczoną pracowniczkę poczty. Szybko rozpozna, które listy dotyczą reklamacji, a które zapytań o ofertę. Może się jednak pomylić przy listach niejasnych albo napisanych ironicznie. Z AI jest podobnie: zwykle trafia, ale potrafi przeoczyć sarkazm, źle odczytać skrót albo przypisać wypowiedź do tematu, który tylko brzmi podobnie.
Nie oczekuj od AI, że policzy wyniki bez błędów i oceni, co jest najważniejsze dla Twojego sklepu. Liczenie lepiej zrobi arkusz, a ocena zależy od Twojej wiedzy o klientach i produktach. Rola AI to uporządkowanie tekstu, a Twoja rola to sprawdzenie wyników i wyciągnięcie wniosków.
- AI dobrze grupuje odpowiedzi o podobnej treści w tematy.
- AI szybko streszcza długie wypowiedzi i wyciąga z nich konkretne propozycje zmian.
- AI słabo radzi sobie z liczeniem dużych zbiorów bez arkusza i nie zna kontekstu Twojej firmy.
- Każdy wynik trzeba sprawdzić, zanim podejmiesz na jego podstawie decyzję.
Przygotuj plik, zanim zaczniesz rozmowę z AI
Zacznij od eksportu. Większość narzędzi do ankiet pozwala pobrać odpowiedzi jako plik tabelaryczny, który otworzysz w Excelu albo w Arkuszach Google. Jeden wiersz to jedna ankieta. W kolumnach zostaw datę, ocenę liczbową, treść odpowiedzi i ewentualnie numer zamówienia. Numer zamówienia jest potrzebny tylko Tobie, więc usuniesz go przed analizą.
Oddziel pytania. Jeśli w ankiecie pytasz osobno „co się podobało?” i „co poprawić?”, zrób z tego dwie kolumny albo dwa osobne pliki. Mieszanie pochwał i zarzutów w jednym worku sprawia, że wyniki są rozmyte, a wnioski trudniejsze do obrony.
Wyczyść puste odpowiedzi i duplikaty. Pusta komórka nie jest opinią, a ta sama wiadomość wklejona dwa razy zawyży wynik. Jak to zrobić krok po kroku, opisujemy w osobnym poradniku o porządkowaniu arkusza z AI.
- Wyeksportuj odpowiedzi do pliku, który da się otworzyć w arkuszu.
- Rozdziel pytania otwarte od ocen liczbowych.
- Usuń puste wiersze i powtórzenia.
- Zapisz datę i zakres ankiety, żeby wiedzieć, z jakiego okresu pochodzą dane.
Anonimizacja przed wklejeniem czegokolwiek
Zanim cokolwiek skopiujesz do narzędzia AI, zanonimizuj dane. Imiona, nazwiska, adresy, numery telefonów, adresy e-mail i numery zamówień nie są potrzebne do policzenia tematów. Są za to ryzykiem dla klientów i dla Ciebie. Zasady przetwarzania danych osobowych opisuje RODO. W razie wątpliwości sprawdź wytyczne na stronie urzędu ochrony danych osobowych, a nie opieraj się wyłącznie na opiniach z forów.
Uważaj na treść wypowiedzi. Klienci często piszą: „pani Ania z Gdańska od tygodnia czeka na paczkę”. Usunięcie kolumny z danymi kontaktowymi nie wystarczy, jeśli imię i miasto siedzą w tekście. Przeszukaj plik wyszukiwaniem po imionach i miejscowościach z listy zamówień, a każde znalezione miejsce zastąp ogólnym oznaczeniem, na przykład „[klientka]”.
Zachowaj spójność. Jeśli zamienisz „Gdańsk” na „[miasto]”, zrób to wszędzie w pliku. Dane po anonimizacji nadal są użyteczne, bo AI widzi wzór wypowiedzi, a nie tożsamość osoby. Więcej o bezpiecznym wgrywaniu plików znajdziesz w osobnych poradnikach z działu.
- Usuń kolumny z danymi kontaktowymi i numerami zamówień.
- Przeszukaj treść odpowiedzi pod kątem imion, miejscowości i telefonów.
- Nie wklejaj danych, do których nie masz podstawy lub których nie potrzebujesz do analizy.
- Po anonimizacji przejrzyj dziesięć losowych wierszy i upewnij się, że nic nie zostało.
Grupowanie odpowiedzi w tematy krok po kroku
Nie zaczynaj od gotowej listy tematów wymyślonej z głowy. Najpierw poproś AI, żeby sam zaproponował kategorie na podstawie próbki. Weź na przykład 60 do 100 odpowiedzi (to liczba orientacyjna, dopasuj ją do wielkości zbioru) i wklej je po anonimizacji.
Poproś o od ośmiu do dwunastu tematów z krótkim opisem i dwoma przykładami do każdego. Temat musi mieć jasne granice. Kategoria „obsługa” jest za szeroka, bo obejmuje telefony, czat i maile. Lepiej rozdzielić ją na „kontakt z obsługą: czas odpowiedzi” i „kontakt z obsługą: uprzejmość”. Im wyraźniejsze granice, tym mniej odpowiedzi wpadnie do kosza „inne”.
Przejrzyj propozycje, połącz tematy, które się dublują, i usuń te bez sensu. Dopiero wtedy poproś o przypisanie każdej odpowiedzi do tematu. Jeśli jedna odpowiedź zawiera dwie sprawy, zapisz je w osobnych kolumnach, żeby nie liczyć tej samej wiadomości dwa razy w jednym temacie.
Przykładowe polecenie może brzmieć tak: „Poniżej są odpowiedzi klientów sklepu z ankiety po zakupie. Zaproponuj od ośmiu do dwunastu tematów. Dla każdego podaj nazwę, jednozdaniowy opis, czego NIE obejmuje, i dwa przykłady z tekstu. Nie licz jeszcze odpowiedzi.”
- Wklej próbkę 60 do 100 odpowiedzi po anonimizacji.
- Poproś o propozycję tematów z opisami i granicami.
- Połącz duplikaty i usuń zbyt ogólne kategorie.
- Poproś o przypisanie każdej odpowiedzi do jednego lub dwóch tematów.
- Zapisz wynik w osobnej kolumnie arkusza.
Liczenie częstości w arkuszu, nie w rozmowie
Kiedy każda odpowiedź ma już etykietę tematu, policz je w arkuszu. Filtr albo tabela przestawna pokażą, ile wierszy należy do każdego tematu. Jeśli wolisz formułę, poproś AI o pomoc w jej napisaniu. Zasady budowania podsumowań opisujemy w osobnym poradniku o tabelach przestawnych.
Załóżmy, że masz 300 odpowiedzi (to liczba przykładowa). Z nich 90 dotyczy czasu dostawy, 45 jakości produktu, 30 opakowania, a reszta rozkłada się na inne tematy. Wtedy dostawa to 30% wszystkich odpowiedzi, a jakość 15%. Procenty zawsze licz od wyraźnie nazwanej bazy: całej grupy albo konkretnej podgrupy, na przykład osób, które wystawiły ocenę poniżej trzech.
Uważaj na sumę. Jeśli jedna odpowiedź dotyczy dostawy i opakowania, trafia do obu tematów. Suma procentów przekroczy wtedy 100 i to jest w porządku, ale w raporcie musisz to napisać, żeby nikt nie uznał tego za błąd. Osobno policz kategorię „inne” i sprawdź, czy nie jest zbyt duża.
- Policz wiersze dla każdego tematu.
- Podaj liczbę i procent od wyraźnie nazwanej bazy.
- Sprawdź, czy kategoria „inne” nie zawiera zbyt wielu odpowiedzi.
- Zapisz, które odpowiedzi należą do kilku tematów naraz.
Ręczne sprawdzanie próbki: najważniejszy krok
AI może się pomylić, a błąd w klasyfikacji nie zawsze widać po samym wyniku. Dlatego po przypisaniu tematów wylosuj próbkę, na przykład 40 odpowiedzi, i przeczytaj je sam. Najpierw zapisz własną ocenę w osobnej kolumnie, a dopiero potem porównaj ją z etykietą AI. Gdybyś najpierw zobaczył etykietę, łatwiej byłoby Ci się z nią zgodzić.
Policz zgodność. Jeśli z 40 odpowiedzi 34 dostały taki sam temat jak w Twojej ocenie, zgodność wynosi 85% (to przykład liczbowy). Nie ma jednego progu, który musisz osiągnąć. Jeśli jednak w konkretnym temacie pomyłki powtarzają się, doprecyzuj jego opis i uruchom klasyfikację ponownie tylko dla tej kategorii. Nie opieraj wniosków na temacie, którego nie umiesz obronić.
Sprawdź też odpowiedzi trudne: te, które AI wrzuciło do „inne”, oraz te z bardzo niską i bardzo wysoką oceną. Tam najczęściej kryją się nowe tematy, których nie przewidziałeś, a także wpisy, które mogą wymagać szybkiej reakcji.
- Wylosuj próbkę zamiast wybierać najciekawsze wpisy.
- Oceń ją samodzielnie, zanim zobaczysz etykiety AI.
- Policz zgodność osobno dla każdego tematu.
- Przejrzyj wszystkie odpowiedzi z kategorii „inne”.
Streszczenie dla zespołu: od liczb do wniosków
Gdy tematy są policzone i sprawdzone, poproś AI o krótkie streszczenie każdego z nich. Podaj mu tylko odpowiedzi z jednego tematu i ich liczbę, a poproś o trzy rzeczy: co klienci piszą, czego oczekują i dwa anonimowe cytaty. Dzięki temu dostaniesz konkretny obraz, a nie ogólnikowe „klienci są zadowoleni, ale”.
Wnioski i decyzje zostaw sobie. AI może wyeksponować to, co w tekście brzmi najgłośniej, a nie to, co dla Twojego sklepu jest najkosztowniejsze. Jeśli dwanaście osób narzeka na opakowanie, a jedna osoba na cenę dostawy, nie musisz przyjmować tej kolejności bezkrytycznie. Częstość mówi, ile razy coś padło. Nasilenie i skutki mówią, co jest naprawdę ważne.
Ostrożnie z uogólnieniami. Kilkadziesiąt odpowiedzi to nie cały rynek, a ankieta zbiera opinie tych, którzy zechcieli ją wypełnić. Formułuj wnioski tak: „w tej ankiecie”, „wśród osób, które odpowiedziały”. Dopiero po kilku takich badaniach możesz mówić o trendzie.
- Streszczaj jeden temat naraz, zawsze z jego liczbą.
- Poproś o dwa anonimowe cytaty do każdego tematu.
- Zapisz wniosek w formie: co, ile razy, co z tym zrobić.
- Nie pisz „wszyscy klienci”, jeśli odpowiedziało kilkanaście osób.
Pułapki, które psują wyniki
Pierwsza pułapka to pytanie naprowadzające. Jeśli w ankiecie pytasz „Jak bardzo świetnie działała nasza dostawa?”, odpowiedzi będą cieplejsze, niż powinny. Analiza AI nie naprawi błędu w ankiecie, więc zanim zaczniesz, przeczytaj same pytania i sprawdź, czy nie sugerują odpowiedzi.
Druga pułapka to mała próba. Przy dwunastu odpowiedziach jeden zdecydowany wpis potrafi zmienić obraz o kilkadziesiąt procent. Wyniki z małej grupy traktuj jako sygnał do dalszej obserwacji, a nie jako podstawę dużej zmiany. Szerzej o tym piszemy w osobnym poradniku o pułapkach interpretacji danych.
Trzecia pułapka to język. Sarkazm, dialekt, skróty i błędy ortograficzne potrafią zmylić model. Zdanie „no super, kolejny miesiąc czekania” może być pochwałą albo skargą, zależnie od kontekstu. Takie przypadki wychwycisz w próbce, dlatego ręczne sprawdzanie jest tak ważne.
Czwarta pułapka to wygładzanie. Streszczenie AI zgrabnie porządkuje wypowiedzi, ale może pominąć niewygodne szczegóły. Jeśli temat dotyczy uszkodzonego produktu albo bezpieczeństwa użytkowania, zawsze wracaj do oryginalnych odpowiedzi, zanim podejmiesz decyzję.
- Sprawdź, czy pytania w ankiecie nie sugerują odpowiedzi.
- Oznacz wyniki z małej grupy jako wstępne.
- Sprawdź sarkazm i dialekt w próbce.
- Przy poważnych tematach wracaj do oryginalnych wpisów.
Lista kontrolna przed wysłaniem wniosków
Zanim wnioski trafią do zespołu albo do właściciela firmy, przejdź przez krótką listę. Jeśli sprzedajesz na allee.pl, opinie kupujących i dane o zamówieniach zobaczysz w panelu sprzedawcy, więc możesz zestawić wnioski z ankiet z tym, co dzieje się przy zamówieniach. Pamiętaj jednak, że również te dane wymagają anonimizacji przed wklejeniem do narzędzia AI.
Lista jest prosta, ale pomija ją większość osób, które wpadają w zachwyt nad szybkim wynikiem. Każdy punkt to jedno pytanie, na które musisz umieć odpowiedzieć bez zaglądania do czatu.
- Czy usunąłem dane osobowe z pliku przed analizą?
- Czy pytania w ankiecie były neutralne?
- Czy sprawdziłem losową próbkę ręcznie i policzyłem zgodność?
- Czy podałem liczby z wyraźnie nazwanej bazy?
- Czy wnioski nie wykraczają poza grupę, która odpowiedziała?
Najczęstsze pytania
Czy mogę wkleić ankiety klientów do czatu AI?
Możesz, ale tylko po anonimizacji i po sprawdzeniu zasad danego narzędzia. Usuń imiona, adresy, telefony i numery zamówień, a zostaw same treści odpowiedzi. Zasady ochrony danych osobowych opisuje RODO, a szczegóły znajdziesz na stronie urzędu ochrony danych osobowych.
Ile odpowiedzi wystarczy, żeby analiza ankiet miała sens?
Nie ma jednej magicznej liczby. Do wstępnego zarysu tematów wystarczy kilkadziesiąt odpowiedzi, ale do wiarygodnych procentów lepiej mieć większą grupę. Im mniejsza próba, tym bardziej traktuj wyniki jako wskazówkę, a nie fakt.
Jak sprawdzić, czy AI dobrze pogrupował odpowiedzi?
Wylosuj 30 do 50 odpowiedzi i oceń je samodzielnie, zanim zobaczysz etykiety AI. Policz, ile się zgadza, i sprawdź osobno kategorię „inne” oraz odpowiedzi ze skrajnymi ocenami. Jeśli zgodność w jakimś temacie jest niska, popraw jego opis i powtórz klasyfikację.
Jak policzyć procent odpowiedzi dotyczących danego tematu?
Dodaj kolumnę z tematem i policz wiersze filtrem albo tabelą przestawną. Dzielisz liczbę odpowiedzi w temacie przez liczbę wszystkich odpowiedzi w wybranej grupie i mnożysz przez 100. W raporcie zapisz, od jakiej bazy liczysz wynik.
Czy AI może zastąpić ankietę?
Nie. AI porządkuje to, co już zebrałeś, ale nie wymyśli pytań, na które klienci nie odpowiedzieli. Dobrze zadana ankieta daje dane, których analiza sama z siebie nie zastąpi. Jeśli odpowiedzi są mało użyteczne, lepiej poprawić pytania niż poprawiać analizę.
Jak anonimizować opinie klientów przed analizą?
Usuń kolumny z danymi kontaktowymi i numerami zamówień, przeszukaj treść pod kątem imion i miejscowości, a w ich miejsce wstaw ogólne oznaczenia. Przejrzyj kilka losowych wierszy, czy nic nie zostało. Więcej szczegółów znajdziesz w osobnym poradniku o anonimizacji danych.