Menu

Samouczek testowania hurtowni danych ETL (kompletny przewodnik)

etl testing data warehouse testing tutorial

Proces testowania ETL / hurtowni danych i wyzwania:

Dzisiaj pozwólcie mi poświęcić chwilę i wyjaśnić moją wspólnotę testerów na temat jednej z najbardziej pożądanych i nadchodzących umiejętności dla moich przyjaciół testerów, tj. Testowanie ETL (wyodrębnianie, przekształcanie i ładowanie).

W tym samouczku znajdziesz kompletne informacje na temat testowania ETL i tego, co robimy, aby przetestować proces ETL.

Kompletna lista samouczków z tej serii:

Zaobserwowano, że niezależna weryfikacja i walidacja zyskuje ogromny potencjał rynkowy i wiele firm postrzega to obecnie jako potencjalny zysk biznesowy.

Testowanie ETL _ Testowanie hurtowni danych - wskazówki, techniki, procesy i wyzwania

Klientom zaoferowano inną gamę produktów pod względem oferty usług, rozproszonych w wielu obszarach w oparciu o technologię, procesy i rozwiązania. ETL czyli hurtownia danych to jedna z ofert, które szybko i pomyślnie się rozwijają.

Proces ETL

Poprzez proces ETL dane są pobierane z systemów źródłowych, przekształcane zgodnie z regułami biznesowymi i ostatecznie ładowane do systemu docelowego (hurtowni danych). Hurtownia danych to magazyn obejmujący całe przedsiębiorstwo, zawierający zintegrowane dane, które pomagają w podejmowaniu decyzji biznesowych. Jest częścią wywiadu gospodarczego.

Czego się nauczysz:

Dlaczego organizacje potrzebują hurtowni danych?

Organizacje o zorganizowanych praktykach IT nie mogą się doczekać stworzenia kolejnego poziomu transformacji technologii. Teraz starają się być znacznie bardziej operacyjni dzięki łatwym do współdziałania danym.

Pytania i odpowiedzi do wywiadów j2ee dla starszych programistów

Powiedziawszy, że dane są najważniejszą częścią każdej organizacji, mogą to być dane codzienne lub dane historyczne. Dane są podstawą każdego raportu, a raporty są podstawą, na podstawie której podejmowane są wszystkie istotne decyzje zarządcze.

Większość firm robi krok naprzód w tworzeniu hurtowni danych do przechowywania i monitorowania danych w czasie rzeczywistym, a także danych historycznych. Stworzenie wydajnej hurtowni danych nie jest łatwym zadaniem. Wiele organizacji ma rozproszone działy z różnymi aplikacjami działającymi w technologii rozproszonej.

Narzędzie ETL służy do bezproblemowej integracji różnych źródeł danych z różnych działów. Narzędzie ETL będzie działać jako integrator, wydobywając dane z różnych źródeł; przekształcenie go do preferowanego formatu w oparciu o reguły transformacji biznesowej i załadowanie go do spójnej bazy danych znanej z hurtowni danych.

Dobrze zaplanowany, dobrze zdefiniowany i efektywny zakres testów gwarantuje płynną konwersję projektu do produkcji. Firma zyskuje prawdziwą prężność, gdy procesy ETL zostaną zweryfikowane i zatwierdzone przez niezależną grupę ekspertów, aby upewnić się, że hurtownia danych jest konkretna i solidna.

Testowanie ETL lub hurtowni danych jest podzielone na cztery różne zadania niezależnie od zastosowanej technologii lub narzędzi ETL:

  • Nowe testy hurtowni danych - Nowy DW jest budowany i weryfikowany od podstaw. Dane wejściowe są pobierane z wymagań klienta i różnych źródeł danych, a nowa hurtownia danych jest budowana i weryfikowana za pomocą narzędzi ETL.
  • Testowanie migracji - W tego typu projektach klient będzie miał istniejącego DW i ETL wykonującego zadanie, ale szuka nowego narzędzia w celu poprawy wydajności.
  • Żądanie zmiany - W tego typu projektach nowe dane są dodawane z różnych źródeł do istniejącego DW. Może również zaistnieć sytuacja, w której klient będzie musiał zmienić istniejącą regułę biznesową lub zintegrować nową regułę.
  • Testowanie raportów - Raport jest końcowym wynikiem każdej hurtowni danych i podstawową propozycją, dla której DW buduje. Raport należy przetestować, sprawdzając układ, dane w raporcie i obliczenia.

Proces ETL

( Uwaga : Kliknij obraz, aby wyświetlić powiększenie)

Testowanie ETL

Techniki testowania ETL

1) Testowanie transformacji danych : Sprawdź, czy dane są prawidłowo przekształcane zgodnie z różnymi wymaganiami i regułami biznesowymi.

2) Testowanie zliczania od źródła do celu : Upewnij się, że liczba rekordów załadowanych do celu jest zgodna z oczekiwaną liczbą.

3) Źródło do testowania danych docelowych : Upewnij się, że wszystkie prognozowane dane są ładowane do hurtowni danych bez utraty lub obcięcia danych.

4) Testowanie jakości danych : Upewnij się, że aplikacja ETL odpowiednio odrzuca, zastępuje wartościami domyślnymi i zgłasza nieprawidłowe dane.

5) Testowanie wydajności : Upewnij się, że dane są ładowane do hurtowni danych w określonych i oczekiwanych ramach czasowych, aby potwierdzić lepszą wydajność i skalowalność.

6) Testowanie walidacyjne produkcji: Sprawdź poprawność danych w systemie produkcyjnym i porównaj je z danymi źródłowymi.

7) Testowanie integracji danych : Upewnij się, że dane z różnych źródeł zostały poprawnie załadowane do systemu docelowego i sprawdzono wszystkie wartości progowe.

8) Testowanie migracji aplikacji : W tym teście zapewnia się, że aplikacja ETL działa poprawnie po przejściu na nową skrzynkę lub platformę.

9) Kontrola danych i ograniczeń : W tym przypadku testowany jest typ danych, długość, indeks, ograniczenia itp.

10) Kontrola zduplikowanych danych : Sprawdź, czy w systemach docelowych występują zduplikowane dane. Zduplikowane dane mogą prowadzić do błędnych raportów analitycznych.

Oprócz powyższych metod testowania ETL, przeprowadzane są również inne metody testowania, takie jak testowanie integracji systemu, testy akceptacyjne użytkownika, testy przyrostowe, testy regresji, ponowne testy i testy nawigacyjne, aby upewnić się, że wszystko jest sprawne i niezawodne.

ETL / Hurtownia danych Proces testowania

Podobnie jak w przypadku innych testów, które podlegają niezależnej weryfikacji i walidacji, ETL również przechodzi tę samą fazę.

  • Zrozumienie wymagań
  • Weryfikuję
  • Szacowanie testu na podstawie wielu tabel, złożoności reguł, ilości danych i wydajności pracy.
  • Planowanie testów na podstawie danych wejściowych z oszacowania testu i wymagań biznesowych. Musimy tutaj zidentyfikować, co jest w zakresie, a co poza zakresem. W tej fazie zwracamy również uwagę na zależności, ryzyka i plany łagodzenia.
  • Projektowanie przypadków testowych i scenariusze testowe ze wszystkich dostępnych wejść. Musimy również zaprojektować dokument mapujący i skrypty SQL.
  • Gdy wszystkie przypadki testowe są gotowe i zatwierdzone, zespół testujący przystępuje do sprawdzenia przed wykonaniem i przygotowanie danych testowych dla testów
  • Na koniec wykonanie jest wykonywane do momentu spełnienia kryteriów wyjścia. Zatem faza wykonania obejmuje uruchamianie zadań ETL, monitorowanie uruchomień zadań, wykonywanie skryptów SQL, rejestrowanie defektów, ponowne testowanie defektów i testy regresyjne.
  • Po pomyślnym zakończeniu przygotowywany jest raport podsumowujący i zakończony proces zamykania. W tej fazie podpisuje się, aby promować ofertę pracy lub kod do następnej fazy.

Pierwsze dwie fazy, tj. Zrozumienie wymagań i walidacja, można traktować jako etapy wstępne procesu testowania ETL.

Tak więc główny proces można przedstawić w następujący sposób:

główny proces

Konieczne jest zdefiniowanie strategii testowania, która powinna zostać wspólnie zaakceptowana przez interesariuszy przed rozpoczęciem właściwego testowania. Dobrze zdefiniowana strategia testowa zapewni, że zastosowano właściwe podejście, spełniające aspiracje testowania.

Testowanie ETL / hurtowni danych może wymagać obszernego pisania instrukcji SQL przez zespół testujący lub może dostosowywania SQL dostarczanego przez zespół programistów. W każdym razie zespół testujący musi być świadomy wyników, które próbuje uzyskać za pomocą tych instrukcji SQL.

Różnica między testowaniem baz danych i hurtowni danych

Istnieje powszechne nieporozumienie, że testowanie baz danych i hurtownia danych jest podobna, chociaż faktem jest, że obie mają inny kierunek w testowaniu.

  • Testowanie baz danych odbywa się przy użyciu mniejszej skali danych, zwykle w przypadku baz danych typu OLTP (przetwarzanie transakcji online), podczas gdy testy hurtowni danych są wykonywane na dużej objętości z danymi obejmującymi bazy danych OLAP (przetwarzanie analityczne online).
  • W testowaniu baz danych zwykle dane są konsekwentnie wstrzykiwane z jednolitych źródeł, podczas gdy w testowaniu hurtowni danych większość danych pochodzi z różnego rodzaju źródeł danych, które są sekwencyjnie niespójne.
  • Generalnie wykonujemy jedyną operację CRUD (tworzenie, odczytywanie, aktualizowanie i usuwanie) w testowaniu bazy danych, podczas gdy w testowaniu hurtowni danych używamy operacji tylko do odczytu (Select).
  • Znormalizowane bazy danych są używane w testowaniu baz danych, podczas gdy zdemoralizowana baza danych jest używana w testowaniu hurtowni danych.

Istnieje wiele uniwersalnych weryfikacji, które należy przeprowadzić w przypadku każdego rodzaju testów hurtowni danych.

Poniżej znajduje się lista obiektów, które są traktowane jako niezbędne do walidacji w tym teście:

  • Sprawdź, czy transformacja danych ze źródła do miejsca docelowego działa zgodnie z oczekiwaniami
  • Sprawdź, czy oczekiwane dane zostały dodane do systemu docelowego
  • Sprawdź, czy wszystkie pola bazy danych i dane pól są ładowane bez obcięcia
  • Sprawdź sumę kontrolną danych pod kątem zgodności liczby rekordów
  • Sprawdź, czy dla odrzuconych danych generowane są odpowiednie dzienniki błędów ze wszystkimi szczegółami
  • Sprawdź pola wartości NULL
  • Sprawdź, czy zduplikowane dane nie zostały załadowane
  • Sprawdź integralność danych

=> Poznaj różnica między testowaniem ETL / hurtowni danych a testowaniem bazy danych .

Wyzwania testowe ETL

Ten test różni się znacznie od konwencjonalnego testowania. Podczas testowania hurtowni danych napotkaliśmy wiele wyzwań.

Oto kilka wyzwań, których doświadczyłem w swoim projekcie:

  • Niezgodne i zduplikowane dane
  • Utrata danych podczas procesu ETL
  • Niedostępność włączającego testebo
  • Testerzy nie mają uprawnień do samodzielnego wykonywania zadań ETL
  • Ilość i złożoność danych są bardzo duże
  • Błąd w procesie i procedurach biznesowych
  • Problemy z pozyskiwaniem i budowaniem danych testowych
  • Niestabilne środowisko testowe
  • Brak informacji o przepływie biznesowym

Dane są ważne dla firm, aby podejmować kluczowe decyzje biznesowe. Testowanie ETL odgrywa istotną rolę w walidacji i zapewnianiu dokładności, spójności i wiarygodności informacji biznesowych. Ponadto minimalizuje ryzyko utraty danych podczas produkcji.

Mam nadzieję, że te wskazówki pomogą zapewnić, że proces ETL jest dokładny, a hurtownia danych zbudowana w ten sposób zapewni Twojej firmie przewagę konkurencyjną.

Pełna lista samouczków testowania ETL:

To jest post gościnny napisany przez Vishala Chhaperię, który pracuje w MNC na stanowisku kierownika testów. Posiada bogate doświadczenie w zarządzaniu projektami, procesami i zespołami z zakresu wielu technologii.

Czy pracowałeś nad testami ETL? Podziel się swoimi wskazówkami i wyzwaniami dotyczącymi testowania ETL / DW poniżej.

rekomendowane lektury

^