Czego nie widać w średniej ocen

Serwisy z opiniami, nasz też, stawiają średnią ocen na samej górze karty produktu. To liczba, którą cytuje się w rozmowach i którą dostawcy zrzucają na slajd — i jednocześnie prawie najmniej użyteczna rzecz na całej stronie.

Czytajcie kształt, a nie średnią

Dwa produkty mają po 4,4. W pierwszym prawie wszystkie oceny to czwórki i piątki. W drugim rozkład rozjeżdża się na masę piątek i twardą grupę jedynek. To są dwa zupełnie różne produkty. Pierwszy jest przyzwoity dla większości kupujących. Drugi działa świetnie w jednych firmach i wykłada się w innych — a wasze jedyne prawdziwe pytanie brzmi, do której grupy należycie.

Powód rozjazdu zwykle da się znaleźć w treści opinii: model cenowy, który karze konkretny sposób korzystania, wdrożenie zakładające administratora, którego nie macie, funkcja mająca sens dopiero powyżej pewnej wielkości zespołu. Dwubiegunowy rozkład ocen to zaproszenie do czytania, a nie ostrzeżenie, żeby omijać.

Pięć pytań do pojedynczej opinii

1. Kiedy powstała? Oprogramowanie się zmienia. Dwuletnia skarga na brak funkcji może opisywać produkt, który już nie istnieje, a dwuletni zachwyt może pochodzić sprzed zmiany cennika, która przestawiła całą kalkulację.
2. Jak duża jest firma autora i czy to wasza liga? Czterystuosobowa firma narzekająca na zbyt zgrubne uprawnienia nie mówi sześcioosobowej firmie zupełnie nic — i odwrotnie.
3. Co zastępowali? „Dużo lepsze niż to, co mieliśmy” jest zdaniem o starym narzędziu. Ktoś, kto przeszedł z arkusza, i ktoś, kto przeszedł od konkurenta, ocenią ten sam produkt zupełnie inaczej.
4. Czy o opinię poproszono i w którym momencie? Prośba dwa tygodnie po wdrożeniu łapie entuzjazm. Prośba przy przedłużeniu umowy łapie decyzję. Oba są uczciwe, ale to nie jest ten sam sygnał.
5. Opisuje zadanie czy odczucie? „Intuicyjny” mówi o autorze. „Import 4000 kontaktów zajął nam trzy dni, bo mapowanie CSV nie obsługuje kilku adresów przy jednym rekordzie” mówi o produkcie.

Opinie jednogwiazdkowe niosą najwięcej treści

Nie dlatego, że są uczciwsze — złość rzadko bywa sprawiedliwa — tylko z powodu tego, wokół czego się skupiają. Przeczytajcie ich pięćdziesiąt w jednej kategorii, a wrócą te same cztery tematy: niespodzianki na fakturze, czas reakcji wsparcia, migracja i eksport oraz awarie. Czyli dokładnie to, czego okres próbny nie pokaże, bo jest krótki, bez stawki i obsługiwany przez zespół sprzedaży, któremu zależy na waszym sukcesie.

Zarzuty do funkcji w negatywnych opiniach to zwykle niedopasowanie, a nie wada. Zarzuty do procesu są zwykle prawdziwe.

Okres próbny mówi o produkcie. Opinie jednogwiazdkowe mówią o firmie, która go sprzedaje. Kupujecie jedno i drugie.

Jak zniekształca się zbiór opinii

• Moment prośby. Pytanie zadane tuż po udanej konfiguracji daje inny rozkład niż pytanie zadane losowo.
• Filtrowanie przed publikacją. Zapytać najpierw „czy jest pan zadowolony”, a do publicznego formularza kierować tylko zadowolonych — to najstarsze zniekształcenie w tej branży i jest zakazane, gdy wynik przedstawia się jako pełny obraz.
• Zachęty. Bon za opinię sam w sobie nie jest niedozwolony, ale musi być ujawniony i zmienia to, komu chce się pisać.
• Liczba opinii. Dwanaście opinii to anegdota. Średnia z dwunastu opinii to anegdota wyglądająca na pewnik.
• Niedopasowanie segmentu. Karta zdominowana przez recenzentów z korporacji, czytana przez pięcioosobową firmę, jest gorsza niż brak informacji.

W polskim internecie jest jeszcze jeden problem: skala

Wiele produktów sprzedawanych w Polsce ma po kilkanaście opinii, i to napisanych po angielsku przez klientów z zupełnie innych rynków. Brak opinii nie jest dowodem na nic — bywa po prostu tym, że nikt jeszcze nie napisał. W takiej sytuacji więcej powie rozmowa z dwiema firmami wielkości waszej, które korzystają z narzędzia od roku, niż jakakolwiek średnia. O referencje warto poprosić dostawcę wprost i warto poprosić o taką, która nie jest z jego strony internetowej.

Czego wymagają przepisy

Przepisy konsumenckie wdrażające dyrektywę Omnibus nakładają na przedsiębiorcę udostępniającego opinie o produktach obowiązek poinformowania, czy i w jaki sposób weryfikuje, że pochodzą one od osób, które produkt rzeczywiście używały. Zamieszczanie opinii fałszywych albo zlecanie ich pisania jest zakazane wprost. W Polsce reaguje na to UOKiK.

W praktyce oznacza to, że każdy poważny serwis z opiniami powinien mieć stronę mówiącą, co weryfikuje. Nasza to zasady publikowania opinii. Jeśli serwis takiej strony nie ma, to sam brak jest już wnioskiem.

Jak zamienić opinie na krótką listę

1. Zawęźcie do firm swojej wielkości i branży, zanim cokolwiek przeczytacie.
2. Zacznijcie od opinii trzygwiazdkowych. Pisali je ludzie, którzy jeszcze się zastanawiają.
3. Przeszukajcie opinie po własnych słowach krytycznych: „eksport”, „faktura”, „migracja”, „wsparcie”, „API”.
4. Policzcie, ile niezależnych opinii opisuje to samo tarcie. Dwie to szum. Siedem to cecha produktu.
5. Trzy największe tarcia zabierzcie do okresu próbnego jako testy i sprawdźcie je sami.

Potem porównujcie po kryteriach, a nie po nastroju. Pipedrive, Asana i Zendesk mają w całej branży wysokie średnie i pasują do zupełnie różnych firm — czyli dokładnie taki przypadek, w którym średnia nie mówi nic, a porównanie po kryteriach mówi wszystko.