Uproszczone testowanie na wielu odmianach i testowanie A / B: jak testować techniki optymalizacji stron internetowych

multivariate testing

Wprowadzenie:

Istnieje wiele witryn i aplikacji, z których często korzystamy. Korzystając z nich, prawdopodobnie nie przywiązujemy dużej wagi do tego, jak powstała strona w jej aktualnej wersji - z drugiej strony, jeśli coś będzie nie tak, prawdopodobnie już nigdy więcej nie odwiedzimy strony / aplikacji.

Pytanie brzmi - co trzeba zrobić, aby „to” było dobrze?

Czego się nauczysz:

• Testy na wielu odmianach i testy A / B
• Co to jest testowanie na wielu odmianach?
• Rodzaje testów MVT:
• Jak przeprowadzić testy na wielu odmianach
• Błędy, których należy unikać
• Za I przeciw
• Plusy i minusy
• Testy A / B
• Plusy i minusy testów A / B:
• Testowanie A / B vs Testowanie na wielu odmianach vs Testowanie Split
• Testowanie na wielu odmianach
• Narzędzia do testów A / B / Split / Multivariate
• rekomendowane lektury

Testy na wielu odmianach i testy A / B

„To” to najczęściej funkcjonalność - którą mamy solidne procesy kontroli jakości do przetestowania i oceny. Ale „to” też składa się z projektu, kombinacji elementów, umieszczenia treści na stronie, czasem nawet koloru, orientacji itp., które odgrywają istotną rolę w ogólna akceptacja produktu przez użytkownika końcowego.

Gałęzi testowania, która może bardzo pomóc w tej dziedzinie, to Testy na wielu odmianach i testy A / B .

W dzisiejszym artykule omówimy Testowanie na wielu odmianach (MVT) i Testy A / B szczegółowe informacje o typach.

Oba mają na celu optymalizację strony internetowej i poprawę współczynnika konwersji (współczynnika, z jakim odwiedzający stają się klientami lub powracającymi gośćmi - z kolei biznesem) dla witryny internetowej.

Co to jest testowanie na wielu odmianach?

Zacznijmy od Przykład .

Jeśli dana witryna pracuje nad zaprojektowaniem / przeprojektowaniem / określeniem skuteczności strony, która powinna mieć obraz i odpowiadający mu tekst - Po dokładnym rozważeniu i przemyśleniu, jeśli firma umieści na krótkiej liście następujące dwa obrazy i dwa zdania - możliwe ich kombinacje mogłyby wyglądać następująco:

1) Zdjęcie 1

2) Obraz 2

3) Nagłówek / zdanie 1: „Celem musi być zero wypadków”

4) Nagłówek / zdanie 2: „Nasz CEL: BEZ WYPADKU”

Kombinacje:

najlepszy bloker reklam dla Chrome na Maca

W powyższym przykładzie przetestowaliśmy warianty kombinacji pól, aby zobaczyć, który z nich jest dobrze dopasowany. Mówiąc najprościej, istnieją testy na wielu odmianach.

Bardziej technicznie i konkretnie, poniższy wzór służy do określenia nie. możliwych kombinacji, które są wymagane do przetestowania różnych kombinacji, czyli:

(Liczba odchyleń elementu A) X (liczba odmian elementu B)… .. = (liczba zmian ogółem)

W powyższym przykładzie istnieją 2 odmiany nagłówka i 2 odmiany grafiki.

Tak więc, zgodnie ze wzorem, istnieją łącznie 4 kombinacje odmian, które mają być testowane jednocześnie, aby znaleźć najlepszą kombinację odmian.

• Głównym celem wykonywania testów na wielu odmianach jest pomiar i określenie skuteczności każdej kombinacji odmian w systemie końcowym.
• Po sfinalizowaniu kombinacji odmian, testowanie w celu określenia najbardziej udanego projektu jest rozpoczynane po odebraniu wystarczającej ilości ruchu przez witrynę.
• Wyniki uzyskane dla każdej kombinacji odmian są porównywane z innymi, aby dowiedzieć się, który projekt najlepiej nadaje się do osiągnięcia ostatecznego celu (w większości przypadków jest to Sprzedaż ).
• Statystyki te dają jasny obraz tego, czy dana zmiana była pomocna, czy nie.
• Można również przeanalizować pozytywny lub negatywny wpływ na interakcję użytkownika

Cały ten proces ciągłego testowania wielowymiarowego, doskonalenia projektowania w oparciu o uzyskane wyniki i osiąganie dzięki temu celów biznesowych ( Przykład: dłuższy czas zaangażowania użytkownika na określonej stronie) Optymalizacja strony docelowej - którego celem jest przyciągnięcie większej liczby użytkowników i utrzymanie ich zaangażowania na określonej stronie.

Proces ten w dużej mierze obejmuje testowanie z wieloma odmianami, zbieranie statystyk i wprowadzanie zmian na podstawie uzyskanych wartości / wyników.

Testy na wielu odmianach są nie tylko ograniczone do witryn internetowych, ale także w przypadku aplikacji mobilnych. Strony internetowe i aplikacje mobilne składają się z kombinacji elementów zmiennych, dlatego testowanie wielowymiarowe ma na celu ustalenie, która kombinacja odmian działa najlepiej.

Odgrywa to kluczową rolę w strategii marketingu internetowego.

Rodzaje testów MVT:

W oparciu o dystrybucję ruchu do wielu wersji odmian, istnieją wielokrotność rodzaje testów na wielu odmianach które można wykonać:

a) Pełne badanie czynnikowe:

Jest to najbardziej preferowana forma testów MVT, w której każda możliwa kombinacja odmian elementów jest testowana jednakowo, kierując ruch w witrynie do momentu znalezienia zwycięzcy. Wszystkie możliwe kombinacje mają równe prawdopodobieństwo. Najlepszą rzeczą w tej metodzie jest to, że nie ma żadnych założeń i opiera się na twardych liczbach / statystykach, co czyni ją bardzo wiarygodną i najbardziej polecaną.

Jedyną wadą jest ruch. Wraz ze wzrostem liczby różnych kombinacji wymagany jest duży ruch na stronie, aby przeanalizować dane i wyłonić zwycięzcę.

b) Testowanie frakcyjne lub częściowe czynnikowe:

Jak wskazuje nazwa, tylko część wszystkich kombinacji odmian jest narażona na ruch w witrynie. W przypadku pozostałych kombinacji wykonywane są statyczne obliczenia matematyczne i analizy, aby znaleźć najlepszy współczynnik konwersji.

Metoda Taguchi jest najpopularniejszą metodą ułamkowego testowania czynnikowego na wielu zmiennych. Ta metoda daje mniej dokładny wynik, ponieważ testowana jest tylko próbka zmian, a nie wszystkie. Chociaż ta metoda zajmuje mniej czasu, aby przeanalizować zwycięzcę, wyniku nigdy nie można uznać za tak dokładny, jak w przypadku testu pełno-czynnikowego.

c) Adaptacyjne testy na wielu odmianach:

To nowe podejście do testowania na wielu odmianach. W takim przypadku reakcja odwiedzających stronę internetową w czasie rzeczywistym jest analizowana w celu określenia najlepszej wersji kombinacji odmian.

d) Dyskretny wybór:

Ta metoda pozwala odkryć efekty interakcji, powiedzieć, jak ludzie tworzą kompromisy z perspektywy decyzji zakupowej. Jest to złożona technika, która systematycznie zmienia atrybuty lub elementy treści.

e) Optymalny projekt:

Ta metoda obejmuje iteracje i falę testów. Oprócz testowania maksymalnej liczby odmian kreacji w minimalnym czasie pozwala również marketerom na rozważenie relacji, interakcji i ograniczeń w elementach treści witryny lub aplikacji. Pomaga to w znalezieniu optymalnego rozwiązania.

Przejdźmy dalej do ważnego pytania: Czy marketing internetowy można zoptymalizować za pomocą testów na wielu odmianach?

Odpowiedź brzmi: „Tak”.

Korzystając z testów wielowymiarowych możemy jasno określić, co należy zaimplementować, a czego unikać. Wszystko koncentruje się na doświadczeniu odwiedzającego.

Podczas przeprowadzania testów na wielu odmianach brane są pod uwagę następujące aspekty:

# 1. Warunkiem wstępnym testowania na wielu odmianach jest: Zdefiniuj cele marketingowe lub zbadaj cele witryny. Poniżej znajduje się kilka przykładów:

• Osiągaj maksymalne przychody / zyski dzięki reklamom, sprzedaży produktów, płaceniu za kliknięcia.
• Stwórz świadomość marki wśród klientów
• Oszczędź na wydatkach - np .: Wskaż użytkownikom drogę do samoobsługi za pomocą często zadawanych pytań zamiast online, w ramach obsługi osobistej

#dwa. Należy testować tylko te rzeczy, które rzeczywiście są ukierunkowane na cele marketingowe organizacji.

# 3. Wybierz tylko te elementy, które będą dokładnie mierzyć cele marketingowe.

Przykładami mogą być:

• Aby zarobić więcej pieniędzy, należy skoncentrować się na stronach, które zawierają opcje takie jak „Kup teraz” / „płatność” / przepływy w celu ukończenia rejestracji lub rejestracji.
• Aby zwiększyć świadomość wśród odwiedzających i promować, przydać się może „wyślij znajomemu” / „poleć znajomemu” / „udostępnij” itp.
• Oszczędności można skupić na elementach takich jak często zadawane pytania, pomoc, kontakt, telefon, kliknięcia „Dodaj do koszyka”, które prowadzą do stron z podziękowaniami itp.

Jak przeprowadzić testy na wielu odmianach

1. Zidentyfikuj problem

najlepszy program do pobierania muzyki mp3 na komputer

Pierwszym krokiem jest zidentyfikowanie problemu. Zapewnia to zakres ulepszeń witryny lub aplikacji. Na przykład problem może dotyczyć tego, dlaczego odwiedzający witrynę nie klikają przycisku pobierania.

2. Sformułuj hipotezę

Postaw hipotezę dotyczącą ulepszenia strony internetowej. Na przykład hipoteza może być taka, że ​​klienci nie klikają przycisku pobierania, ponieważ jego widoczność nie jest atrakcyjna. Tak więc, czyniąc go atrakcyjnym, zwiększy się liczba pobrań.

3. Utwórz odmiany

Wybierz czynniki i utwórz odmiany. Załóżmy, że te dwa czynniki to nagłówek „Pobierz” i link „Producent PDF”. Na przykład mamy poniżej 12 odmian:

4. Określ wielkość próbki

Dowiedz się, ilu użytkowników jest wymaganych na każdej stronie, ile czasu potrzebujesz na test, ile masz odmian i jakie jest znaczenie statystyczne.

5. Przetestuj swoje narzędzia

Przetestuj wszystko (głównie to, czy Twoja strona internetowa / aplikacja działa poprawnie) przed rozpoczęciem testu, aby nic nie zepsuło wyników testu.

6. Rozpocznij kierowanie ruchem

Zacznij kierować ruch do swoich odmian.

7. Przeanalizuj swoje wyniki

Po wykonaniu testu przez znaczną ilość czasu otrzymasz wyniki do analizy. Przykład jest pokazany poniżej:

Te, które mają 95% lub wyższy poziom ufności, są wynikami istotnymi statystycznie.

8. Ucz się na podstawie wyników

To ostatni i ważny krok. Z testu na wielu odmianach dowiesz się o swoich stronach internetowych / aplikacji i ich odwiedzających. Możesz wykorzystać tę wiedzę do przyszłych testów.

Słowo ostrzeżenia - Podczas wykonywania testów na wielu odmianach należy uważać na następujące rzeczy:

Błędy, których należy unikać

1. Niewłaściwy dobór wariantów . Np. załóżmy, że jednocześnie zmieniamy rozmiar czcionki, kolor i styl tekstu nagłówka w ramach jednej wersji kombinacji odmian. Trudno będzie wówczas przeanalizować na podstawie otrzymanych danych, które zmiany nagłówka (czy rozmiar czcionki, kolor czy styl) spowodowały, że odwiedzający zareagował inaczej.
2. Zbyt krótki okres testu na wielu odmianach . Wcześniejsze zakończenie testu i wybranie niewielkiego zakresu danych do analizy zwycięzcy może prowadzić do nieprawidłowych statystyk.
3. Zbyt długi okres przebiegu testu na wielu odmianach. Zbyt długie przeprowadzanie testu, aby przeanalizować dane marginalne, również prowadzi do znacznej straty czasu
4. Niewłaściwe zrozumienie kluczowych wskaźników. Koncentrowanie się, analizowanie i śledzenie zmiennej kombinacji tych wskaźników, które są nieistotne lub niezwiązane z celem końcowym
5. Tylko kilka kluczowych wskaźników wydajności są identyfikowane, podczas gdy wiele innych nie jest śledzonych
6. Decydowanie o typie ruchu odwiedzających na stronie internetowej. Może to być bardzo ryzykowne i problematyczne, ponieważ nie wszyscy odwiedzający są tacy sami.
7. Nie analizowanie wyników i wprowadzanie odpowiednich zmian w witrynie.

Tak i nie

Z powyższej listy podsumowanie za I przeciw możliwe:

Nie:

Nie próbuj uwzględniać wielu zmiennych w teście. Im większa liczba zmiennych do przetestowania; im większe będą kombinacje, co z kolei oznacza, że ​​do zebrania istotnych statystyk wymagany jest większy ruch.

Co należy:

1. Wyświetl podgląd wszystkich wersji kombinacji odmian przed uruchomieniem testu, ponieważ niektóre z nich mogą być niekompatybilne lub nielogiczne. Na przykład jedną z kombinacji zmiennych jest nagłówek z napisem „50% zniżki na subskrypcję” i przycisk wyłączający z napisem „Bezpłatna subskrypcja”. Takie należy usunąć.

2. Określ wpływ kombinacji wersji na współczynnik konwersji. Dobrym pomysłem jest uwzględnienie tylko tych kombinacji, które mają większy wpływ na współczynnik konwersji.

3. Oszacuj ruch na stronie w celu zebrania istotnych danych statystycznych. Przed rozpoczęciem testu lepiej jest mieć jasny obraz ruchu na stronie. Jeśli strona internetowa ma tylko 100-200 odwiedzających dziennie, powinniśmy rozważyć kilka zmiennych tylko w celu wykonania testu wielowymiarowego.

Plusy i minusy

Do tej pory widzieliśmy, czym jest testowanie wielowymiarowe, jak się je wykonuje, błędy, czynniki, co należy robić, a czego nie, itp. Przyjrzyjmy się teraz niektórym Plusy i Cons tego:

Plusy:

1. Lepszy wgląd i zrozumienie wpływu zmiennych lub elementów na współczynnik konwersji Większy ruch prowadzi do większej ilości danych statystycznych, co z kolei prowadzi do lepszej analizy i podejmowania decyzji pod względem najlepszej kombinacji zmiennych, aby osiągnąć ostateczny cel.
2. Pod względem zmian w projekcie i układzie testowanie na wielu odmianach jest elastyczne.

Cons:

1. Przeprowadzanie testów na wielu odmianach zajmuje więcej czasu.
2. Aby uzyskać istotne statystyki, wymagany jest duży ruch na stronie internetowej.
3. Konfiguracja przebiegów testowych jest bardziej skomplikowana.
4. Wymaga większej liczby kombinacji kombinacji zmiennych do uruchomienia testowego.

Testy A / B

Ponieważ jest to krótka lista wszystkich rzeczy związanych z testowaniem wielowariantowym, różnorodność testów, które można wykonać w celu optymalizacji strony internetowej, nie ma końca, a inną popularną metodą jest Testy A / B .

Co to są testy A / B?

( wizerunek źródło)

Testy A / B są czasami znane jako Testy dzielone . Jednak test podzielony jest inny. Różnicę między nimi zobaczymy w dalszej części tego samouczka.

W testach A / B dwie wersje tej samej strony internetowej są testowane z taką samą ilością ruchu na stronie. Wersja, która uzyska maksymalną liczbę konwersji, jest ostatecznym zwycięzcą. Ta nowa wersja zdecydowanie zwiększa współczynnik konwersji.

Przykład testu porównawczego A / B:

Pozwól nam zrozumieć działanie testów A / B na małym przykładzie :

Powyższy obraz przedstawia stronę internetową dotyczącą świadomości bezpieczeństwa.

Ten obraz składa się z szarego przycisku z napisem „ Weź udział w quizie i wygraj ekscytujące nagrody ”. Ta oryginalna strona internetowa jest uważana za„ Wersję A ”. Teraz „wersja B” jest zaprojektowana z różnymi kolorami przycisku od szarego do czerwonego.

Jest to pokazane na poniższym obrazku:

Ruch na żywo na stronie jest przekierowywany do obu wersji. Po przejściu testu przez wystarczającą liczbę odwiedzających i na podstawie otrzymanych danych statystycznych można łatwo określić, która wersja ma większy wpływ na współczynnik konwersji.

W powyższym przykładzie przycisk mówiący „ Weź udział w quizie i wygraj ekscytujące nagrody ”W kolorze czerwonym przyciągnęło więcej odwiedzających do kliknięcia przycisku i rozwiązania quizu niż starszy szary przycisk.

W ten sposób osiągnięto ostateczny cel strony, jakim było zwiększenie przychodów.

Plusy i Cons testów A / B:

Plusy:

1. Łatwa i prosta metoda konfiguracji eksperymentów optymalizacji stron internetowych.
2. Wiarygodne i dokładne wyniki można łatwo określić nawet przy niewielkim ruchu na stronach internetowych.
3. Testy można przeprowadzić bardzo szybko, a dane statystyczne można przeanalizować, aby osiągnąć ostateczny cel.
4. Niewiele zależy od jakiejkolwiek formy technologii.
5. Bardziej nadaje się do zmian w układzie, treści, projekcie dowolnej strony internetowej.

Cons:

1. Jednocześnie na stronie internetowej można wprowadzić tylko kilka lub powiedzmy ograniczoną liczbę zmian.
2. Nie jest możliwe określenie wpływu różnych zmiennych obecnych na stronie internetowej na siebie nawzajem.

Tabela porównawcza:

Testowanie A / B vs Testowanie na wielu odmianach vs Testowanie Split

Testowanie A / B, testowanie wielowymiarowe i testowanie dzielone to trzy główne typy testów wariantu UX (User Experience). Zobaczmy, jak się od siebie różnią.

Poniższe dwa obrazy dają bardzo dobre poglądowe porównanie między testami A / B a testami na wielu odmianach.

Testowanie na wielu odmianach

Testy dzielone:

Mamy tu inny wariant, znany jako testowanie podzielonych adresów URL, który jest znacznie bardziej skomplikowany niż test A / B i obejmuje zmiany po stronie serwera , gdzie mamy dwie różne strony internetowe, które są ze sobą testowane. Ten rodzaj testowania sprawdza się dobrze w przypadku stron docelowych w przypadkach, gdy zespół projektowy musi zdecydować, który z nich będzie działał lepiej.

Narzędzia do testów A / B / Split / Multivariate

Na rynku dostępnych jest wiele narzędzi do tych trzech typów testów UX. Wymieniłbym tutaj kilka najlepszych, które możesz zbadać. Są to Google Optimize, Optimizely, VMO, Qubit, Maxymiser i AB Tasty.

Wniosek :

Obie metody, testy A / B i testy wielowymiarowe, zwiększają współczynnik konwersji, poprawiają wydajność i optymalizują strony internetowe i aplikacje. Obie są przydatne na swój sposób i mają również swoje unikalne wady i wyzwania - to do nas należy zidentyfikowanie i przeanalizowanie, która metoda będzie najlepiej odpowiadać wymaganiom.

jak utworzyć ogólną tablicę w java

My, testerzy, zajmujemy się głównie testowaniem zmian wprowadzonych w celu wdrożenia testów wielowymiarowych lub testów A / B. Po wprowadzeniu i przetestowaniu zmian mogą one zostać uruchomione w środowisku produkcyjnym przez zespół marketingowy lub biznesowy w celu zebrania wyników.

Dlatego bardzo ważne jest, aby testerzy bardzo dokładnie przetestowali te zmiany, w przeciwnym razie końcowe wyniki byłyby niedokładne, co spowodowałoby ogromne straty biznesowe, ponieważ jest to przez większość czasu bezpośrednio związane z przychodami firmy.

rekomendowane lektury

• Najlepsze narzędzia do testowania oprogramowania 2021 (Narzędzia do automatyzacji testów QA)
• Testing Primer Pobierz eBook
• Testowanie statyczne i testowanie dynamiczne - różnica między tymi dwoma ważnymi technikami testowania
• Testowanie obciążenia za pomocą samouczków HP LoadRunner
• Różnica między testami na komputerach stacjonarnych, serwerach klienckich i testach internetowych
• Co to jest test gamma? Końcowy etap testów
• Co to jest testowanie zgodności (testowanie zgodności)?
• Asystent testowania oprogramowania