Menu

8 kluczowych wskaźników wydajności dla wydań jakościowych (przegląd Panaya Test Dynamix)

8 key performance indicators

Wypróbuj Nasz Instrument Do Eliminowania Problemów

W tym artykule wyjaśniono 8 kluczowych wskaźników wydajności dla wydań jakościowych za pomocą kompleksowego rozwiązania testowego Panaya Test Dynamix:

Nie jest tajemnicą, że kierownicy ds. Jakości oprogramowania stoją w obliczu rosnącej presji, aby dostarczać oprogramowanie wysokiej jakości z rekordową szybkością.

Pytanie, które wszyscy często zadajemy, brzmi - „jak mierzymy nasz sukces” pod względem jakości oprogramowania?

Szybkość wprowadzania na rynek to znacznie prostsza kalkulacja, ale mierzenie naszej wydajności w dostarczaniu oprogramowania wysokiej jakości zależy od wielu czynników, takich jak metodologia projektu (kaskadowy, hybrydowy, zwinny), złożoność oprogramowania, poziom techniczny zadłużenie, liczba interfejsów i wiele więcej.

Krótko mówiąc, liczba zmiennych, które wpływają na akceptowalny poziom wady o dużym nasileniu nie należy lekceważyć. Dlatego, aby przetrwać na tym rynku, musimy stale ewoluować, zarówno w naszych opiniach, jak i naszych miernikach.

To jest powód, dla którego opracowałem listę 8 najważniejszych wskaźników KPI, które należy dodać do karty wyników jakości i rozpocząć śledzenie, aby zmniejszyć ryzyko wydania, poprawić jakość i od razu zmierzyć swój sukces.

Kluczowe wskaźniki efektywności

Czego się nauczysz:

Kluczowe wskaźniki wydajności dla uwolnień jakościowych

# 1) Skuteczność wykrywania defektów (DDE, procentowy udział procentowy wykrywania defektów)

To jest miara twojego ogólne testy regresji skuteczność. Jest obliczany jako stosunek defektów znalezionych przed i po wydaniu przez Twoich klientów.

Defekty znalezione po wydaniu są zwykle znane jako „Incydenty” i są rejestrowani w systemie pomocy technicznej, podczas gdy usterki wykryte podczas faz testowania ( Na przykład. , Unit, System, Regression lub UAT) są identyfikowane przed wydaniem i dokumentowane za pomocą narzędzi takich jak Panaya Test Dynamix .

Aby poprawnie obliczyć ten kluczowy wskaźnik wydajności, przed wprowadzeniem do środowiska produkcyjnego należy zawsze kategoryzować wersję oprogramowania, w której zidentyfikowano każdy defekt.

Wzór często używany do DDE:

Liczba usterek zidentyfikowanych w wydaniu wersji oprogramowania /

Liczba usterek w wersji oprogramowania + usterki, których uniknięto zidentyfikowane przez użytkowników końcowych (Na przykład., Incydenty)

jak zainicjować kolejkę w java

Oto prosta ilustracja:

Załóżmy, że podczas cyklu testów regresyjnych w ostatnim miesięcznym pakiecie serwisowym SAP znaleziono 95 defektów, a po wydaniu zarejestrowano 25 błędów. DDE zostanie obliczony jako 95 podzielone przez (95 + 25) = 79%.

Należy pamiętać, że DDE należy monitorować za pomocą wykresu liniowego, który zaczyna się od 100% dzień po wprowadzeniu do produkcji. Gdy Twoi wewnętrzni użytkownicy końcowi i klienci zaczną na przykład pracować z najnowszym dodatkiem Service Pack dla SAP, nieuchronnie zarejestrują kilka incydentów.

Z mojego doświadczenia wynika, że ​​„szał karmienia” pojawia się w ciągu pierwszego tygodnia, 2 dni po tym, jak dodatek Service Pack trafia do środowiska produkcyjnego. Wtedy zauważysz szybki spadek ze 100% do około 95% w miarę rejestrowania incydentów. Jeśli Twoja firma ma miesięczny cykl wydawania dodatku Service Pack, mierz DDE przez 30-dniowy okres dla każdego dodatku Service Pack.

Z drugiej strony, jeśli Twoja firma wykonuje tylko cztery (4) główne cykle wydawania rocznie, mierz je przez 90 dni, aby zobaczyć, jak spada w tym okresie.

Co jest uważane za „dobre DDE”?

Jest to podobne do odczytów ciśnienia krwi, które każda organizacja i każda osoba ewoluuje w czasie.

Chociaż środowisko medyczne definiuje „optymalny” odczyt ciśnienia krwi jako 120/80 - wzrost skurczowego ciśnienia krwi z wiekiem jest naturalny. W przypadku DDE praktycy branżowi i liderzy byli znani z twierdzenia, że ​​90% jest godnych pochwały w większości branż.

Jednak widziałem, jak organizacje osiągają> 95% DDE w sposób spójny, przesuwając w lewo za pomocą narzędzi do symulacji wpływu zmian, takich jak Analiza wpływu firmy Panaya .

# 2) Defekty całego systemu (SWD)

Czy kiedykolwiek napotkałeś wiele defektów związanych z tymi samymi obiektami? Na pewno byś to zrobił. Jest to powszechne zjawisko, z którym spotyka się wielu kierowników testów.

Nagle widać ogromny wzrost liczby błędów zgłaszanych w cyklu UAT. Na szczęście założę się, że należysz do osób, które co 15 minut monitorują usterki i ręcznie „łączą” duplikaty ze sobą lub czyta każdy opis, aby samodzielnie wykryć przyczynę, prawda? Wątpliwy.

Jakie są więc opcje radzenia sobie z nieuniknionym dramatem „defektowej inflacji”?

Dramat, który miał miejsce podczas tej nocnej rozmowy podsumowującej z przywódcami w siedzibie głównej na temat „Dlaczego dziś taki nagły wzrost liczby defektów?” (Pauza…. Głęboki oddech przed odpowiedzią)… „Jestem w trakcie pracy z naszymi funkcjonalnymi potencjalnymi klientami, aby przeprowadzić ręczną analizę pierwotnych przyczyn.

Uważamy jednak, że wiele problemów dotyczy wspólnego problemu, który nie został jeszcze zidentyfikowany ”, Brzmi znajomo?

Sugeruję, abyś zaczął śledzić, co nazywa Panaya „Wady ogólnosystemowe” . Ręczne śledzenie tego zajmuje wieczność - uwierz mi, próbowałem tego wiele razy. Jest to również bolesne podczas korzystania ze starszych narzędzi ALM, w których pozostaje tylko możliwość łączenia defektów ze sobą i dodawania komentarza.

Wow, to naprawdę pomogło! (wyczuć sarkazm?). Ale jeśli nie masz teraz wyboru narzędzi, musisz zarezerwować czas na prawidłowe śledzenie defektów obejmujących cały system, aby wyraźnie „wyjaśnić”? dlaczego linia trendu błędów przesuwa się w górę pod koniec cyklu testowego, a nie w dół.

Jeśli masz szansę, sprawdź Panaya Test Dynamix, ma wbudowany SWD w sam silnik, który automatycznie oblicza SWD dla Ciebie w locie.

Wada dotycząca całego systemu

Pajęczyna - Znajdujący się w „Kokpicie Ryzyka” tej platformy, stanowi potężną, ale prostą reprezentację 6 dodatkowych kluczowych wskaźników wydajności, które uzupełniają najważniejsze wskaźniki KPI, które powinien śledzić każdy kierownik ds. Jakości, testów i wydań.

# 3) Wypełnienie wymagań

Menedżerowie ds. Zapewnienia jakości rozumieją ryzyko na głębszym poziomie, które można zrealizować tylko za pomocą kodu lub wglądu na poziomie transportu dla każdego wymagania. Wymaga to odpowiedniego zestawu narzędzi.

Narzędzie Panaya odpowie na potrzeby organizacji zarządzanych przez SAP, poszukujących inteligentnych sugestii dotyczących testów jednostkowych i analizy ryzyka w oparciu o działalność transportową.

Ten poziom śledzenia jest dostępny w ramach Panaya Release Dynamix (RDx) .

najlepsza aplikacja do sprawdzania temp. procesora

Uzupełnianie wymagań

# 4) Zakończenie rozwoju

Żyjemy w erze, w której klienci są królem, a to napędza strategię cyfrowej transformacji każdej organizacji. W dzisiejszych czasach nie możemy pozwolić sobie na milczenie w naszym myśleniu lub organizacyjnym podejściu do zapewniania jakości i dostarczania oprogramowania.

Nasze tradycyjne modele ALM z przeszłości nie były zaprojektowane dla dzisiejszego modelu ciągłego dostarczania. Aby zwalczyć ten stary sposób myślenia, kierownicy ds. Kontroli jakości i testów muszą włączyć się w działania związane z tworzeniem aplikacji, co oznacza, że ​​muszą mieć puls na temat dostarczania historii użytkowników.

Nie wystarczy „siedzieć i czekać”, aż historyjka użytkownika osiągnie stan „gotowe”. Powinniśmy raczej śledzić ewolucję historii użytkownika, uczestniczyć w codziennych spotkaniach Scruma i otwarcie rozmawiać o ryzyku, które pojawia się w związku z wprowadzaniem ważnych zmian w testowanej aplikacji.

5) Pokrycie planu testów

To jeden z moich ulubionych wskaźników KPI do śledzenia, ponieważ nie jestem zdegradowany wyłącznie do śledzenia systemu, integracji, regresji i pokrycia UAT.

W prawdziwym duchu przesuwania w lewo zacząłem doradzać, jak ważne jest śledzenie pokrycia testami jednostkowymi. Brzmi szalenie, prawda? Tak nie jest, zwłaszcza jeśli masz odpowiednie narzędzia do łatwego wykonywania samych testów jednostkowych, ale ułatwia nawet uchwycenie rzeczywistych wyników (dowodów).

Dzięki wbudowanej funkcji nagrywania i odtwarzania testów w Panaya Test Dynamix, Twój udział w testach jednostkowych gwałtownie wzrośnie. Będziesz mógł nie tylko z dumą wyświetlić macierz śledzenia wymagań, pokazującą kompleksowe pokrycie, ale także z łatwością zaprezentujesz rzeczywiste wyniki działowi audytu, od jednostki po testy regresyjne.

Identyfikowalność wymagań

# 6) Analiza ryzyka zmian

Ryzyko jest nieodłączne od każdej zmiany, którą wprowadzamy w testowanej aplikacji, ale nie zawsze wiemy, czy testujemy właściwe rzeczy.

Wiele organizacji ma własną definicję tego, co oznacza dla nich „ryzyko zmiany”. W „Kokpicie ryzyka” w Release Dynamix (RDx) firmy Panaya możesz wyeliminować zgadywanie związane ze śledzeniem zmian za pomocą analizy wpływu dla swojego projektu lub następnej wersji.

RDx systematycznie oblicza ryzyko dla każdego wymagania i informuje Cię na bieżąco o jego zmianach w miarę przechodzenia do dalszego cyklu życia dostawy.

Analiza ryzyka zmian

# 7) Ryzyko wykonania testu

We wszystkich organizacjach zbyt często jest śledzenie wskaźników KPI, takich jak testy autorskie, testy zaliczone, testy automatyczne i wykonane testy, ale co ze śledzeniem rzeczywistych kroków wykonywanych w każdym z testów?

Czy zauważyłeś, że wiele z popularne platformy ALM nie zapewniają gotowych funkcji raportowania w celu śledzenia postępów wykonywania „etapów” testów? Kiedy masz wiele różnych „przekazań” występujących w ciągu Cykl UAT , sensowne jest śledzenie ryzyka wykonania testów i statusu, nie tylko na poziomie testów, ale także na poziomie procesów biznesowych.

Panaya Test Dynamix właśnie to robi, zaraz po wyjęciu z pudełka.

ryzyko wykonania testów

# 8) Wykonywanie defektów

Śledzenie defektów z natury ma również negatywne konotacje.

Oprócz śledzenia aktywnych defektów, defektów usuwanych każdego dnia odrzuconych defektów i poważnych defektów, sugerujemy również monitorowanie rozwiązywania defektów w odniesieniu do określonych wymagań.

Wiele organizacji nie przyjmuje spojrzenia na rozwiązywanie defektów w oparciu o wymagania.

Dlaczego to rozwiązanie do testowania?

Dzięki kompleksowej identyfikowalności wbudowanej zarówno w Release Dynamix, jak i Panaya Test Dynamix, Twoja organizacja może śledzić przepływ pracy związany z usuwaniem defektów od początku do końca na poziomie wymagań.

Jest to szczególnie przydatne w przypadku menedżerów wydań, jakości i testów, którzy chcą spojrzeć z lotu ptaka na projekt lub cykl wydawniczy.

Panaya przyspiesza proces testowania dla technicznych użytkowników IT i użytkowników biznesowych, zmniejszając tym samym ogólny wysiłek związany z testowaniem o 30-50%:

  • Menedżerowie: Alerty w czasie rzeczywistym dotyczące testowania i usterek oraz zapobiegania wąskim gardłom.
  • Użytkownicy biznesowi: Zautomatyzowana dokumentacja dowodów testów i defektów.
  • Analitycy funkcjonalni: Automatyzacja powtarzalnych czynności testowych.
  • Profesjonalni testerzy: Bezproblemowo poprawia przechwytywanie wiedzy biznesowej.
  • Rozwiązujące defekty: Zmniejsza się tam iz powrotem z testerami.

Co jeszcze powinieneś wiedzieć o tym rozwiązaniu

# 1) Panaya Test Dynamix to rozwiązanie SaaS co oznacza, że ​​zyskujesz bezproblemową integrację, częste i bezbolesne aktualizacje, a także monitorowanie lokalnych narzędzi automatyzacji.

# 2) Wbudowane narzędzia do współpracy usprawnij cykle testowe dzięki wbudowanym powiadomieniom i narzędziom komunikacyjnym.

wstaw węzeł w drzewie binarnym java

Automatyczne przekazywanie etapów testów następnemu użytkownikowi eliminuje czas bezczynności, eliminuje wąskie gardła obciążenia pracą i zapewnia optymalne przepływy pracy.

# 3) Inteligentne zarządzanie defektami umożliwia użytkownikom centralne monitorowanie defektów, ich rozwiązywania i procesów biznesowych, których dotyczą.

Po znalezieniu defektu automatycznie identyfikuje wszystkie inne testy, na które ma wpływ, i blokuje lub wysyła powiadomienia do testerów, dopóki główna wada nie zostanie usunięta. Rozwiązana usterka jest automatycznie zamykana poprzez eliminację zaległości defektów.

# 4) Z podejściem do UAT i SIT skoncentrowanym na procesach biznesowych, Międzyfunkcjonalni i rozproszeni geograficznie eksperci w dziedzinie walidacji cykli UAT w oparciu o rzeczywiste procesy biznesowe (aplikacje pakietowe).

# 5) Testuj złącza automatyzacji zapewniają pełną integrację programu Panaya Test Dynamix z istniejącymi narzędziami automatyzacji w celu zapewnienia efektywnych cykli regresji przy minimalnym czasie i wysiłku dzięki holistycznym funkcjom śledzenia i monitorowania.

# 6) Automatyzacja testowania dowodów automatyzuje ręczne testowanie tradycyjnie zarządzane w programach Excel i Word.

Oszczędność czasu dzięki bezproblemowemu dokumentowaniu każdego wykonania testu - w tym dowodów testowych i rejestru kroków do odtworzenia testu, przy jednoczesnym zmniejszeniu wymiany między programistami a testerami. Dokumentacja jest gotowy do audytu zapewnia zgodność ze wszystkimi wewnętrznymi i zewnętrznymi standardami jakości.

# 7) Testowanie autonomiczneSM dla SAP umożliwia bezdotykowe tworzenie i obsługę przypadków testowych, dzięki czemu nie musisz już zajmować się problemami związanymi z przechwytywaniem wiedzy biznesowej oraz procesem tworzenia i utrzymywania ręcznie zaprojektowanych skryptów.

Skrypty można dostosowywać, a uczenie maszynowe oferuje walidację i sugestie oparte na analizie tłumu.

# 8) Zautomatyzowane przechwytywanie wiedzy biznesowej - Omega automatycznie tworzy rzeczywiste przypadki testowe w oparciu o działania użytkowników biznesowych, które są płynnie rejestrowane w produkcji przy użyciu algorytmów uczenia maszynowego (SAP).

Wniosek

Menedżerowie ds. Jakości oprogramowania i wszyscy zainteresowani interesariusze mogą spełnić swoje testy KPI, aby stymulować więcej innowacji, jednocześnie zmniejszając wysiłki o 30-50%, bez kompromisów w zakresie zakresu lub jakości przy użyciu Panaya.

Standaryzuje proces testowania i mierzy sukces, ponieważ wszyscy interesariusze przyjmują tę samą metodologię testowania, aby uzyskać wgląd w czasie rzeczywistym we wszystkich cyklach testowych, w tym UAT na dużą skalę.

Aby uzyskać więcej informacji, możesz przejrzeć Panaya Test Dynamix .

Daj nam znać swoje przemyślenia / pytania w komentarzach poniżej.

rekomendowane lektury

^