data warehouse testing tutorial with examples etl testing guide
Ten samouczek szczegółowo omawia cele i znaczenie testowania hurtowni danych, odpowiedzialności za testowanie ETL, błędy we wdrażaniu DW i ETL:
W tym Seria szczegółowych szkoleń dotyczących hurtowni danych , przyjrzeliśmy się plikowi Co to jest ET L Proces w hurtowni danych w szczegółowo w naszym poprzednim samouczku.
W tym samouczku dowiesz się, jak można przeprowadzić testy hurtowni danych w organizacji. Dowiesz się również o celach testowania DW, w jaki sposób i jakiego rodzaju testy można wykonać na zapleczu, kto jest zaangażowany w ten proces, szczegółowo omawia błędy DW i wdrażanie ETL.
=> Sprawdź WSZYSTKIE samouczki dotyczące hurtowni danych tutaj.
Docelowi odbiorcy
- Programiści i testerzy hurtowni danych / ETL.
- Specjaliści od baz danych z podstawową wiedzą na temat koncepcji baz danych.
- Administratorzy baz danych / eksperci Big Data, którzy chcą zrozumieć koncepcje hurtowni danych / ETL.
- Absolwenci / nowicjusze uczelni, którzy szukają pracy w hurtowni danych.
Czego się nauczysz:
Testowanie hurtowni danych (ETL)
Jakie znaczenie ma testowanie systemów hurtowni danych i systemów Business Intelligence?
Testowanie odgrywa kluczową rolę w sukcesie każdego z dwóch powyższych systemów, zapewniając poprawność danych, która buduje wiarę użytkowników końcowych.
Ogólnie rzecz biorąc, wada znaleziona na późniejszych etapach cyklu życia oprogramowania kosztuje więcej, aby ją naprawić. Sytuacja w DW może ulec pogorszeniu, ponieważ błędne dane znalezione na późniejszych etapach mogły zostać do tego czasu wykorzystane w ważnych decyzjach biznesowych.
W związku z tym poprawka w DW jest droższa pod względem zmian procesowych, ludzi i technologii. Testowanie DW można rozpocząć od etapu zbierania wymagań.
Matryca identyfikowalności wymagań jest przygotowywana i weryfikowana, a to głównie odwzorowuje funkcje DW z ich odpowiednimi wymaganiami biznesowymi. Macierz identyfikowalności działa jako dane wejściowe do planu testów DW przygotowywanego przez testerów. Plan testów opisuje testy, które należy wykonać w celu walidacji systemu DW.
Opisuje również rodzaje testów, które będą wykonywane w systemie. Po przygotowaniu planu testów wszystkie szczegółowe przypadki testowe zostaną przygotowane dla różnych scenariuszy DW. Następnie wszystkie przypadki testowe zostaną wykonane, a defekty zostaną zarejestrowane.
W świecie operacyjnym istnieje standard, który utrzymuje różne środowiska programistyczne, testowe i produkcyjne. W świecie DW zarówno programiści, jak i testerzy przed rozpoczęciem pracy upewnią się, że środowiska programistyczne i testowe są dostępne z repliką danych produkcyjnych.
Jest to kopiowane dla listy tabel z ograniczonymi lub pełnymi danymi w zależności od potrzeb projektu, ponieważ dane produkcyjne są naprawdę duże. Programiści rozwijają swój kod w środowisku programisty i dostarczają go testerom.
Testerzy przetestują kod dostarczony w środowiskach testowych, aby upewnić się, że wszystkie systemy działają. Następnie kod zostanie uruchomiony w środowiskach produkcyjnych. Kod DW jest również utrzymywany w różnych wersjach w oparciu o usterki naprawione w każdym wydaniu. Utrzymywanie wielu środowisk i wersji kodu pomaga zbudować system dobrej jakości.
testowanie usług internetowych za pomocą pytań do wywiadu soapui
Cele testowania hurtowni danych (ETL)
Przyjrzyjmy się celom testowania hurtowni danych.
# 1) Kompletność danych: Upewnij się, że wszystkie dane z różnych źródeł są ładowane do hurtowni danych. Zespół testujący sprawdza, czy wszystkie rekordy DW są załadowane, względem źródłowej bazy danych i plików płaskich, postępując zgodnie z poniższymi przykładowymi strategiami.
- Całkowita liczba rekordów przesłanych z systemu źródłowego powinna odpowiadać łącznej liczbie rekordów załadowanych do DW. Jeśli jest różnica, możesz pomyśleć o odrzuconych rekordach.
- Porównaj dane załadowane do każdego pola DW z polami danych systemu źródłowego. Spowoduje to usunięcie ewentualnych błędów danych.
# 2) Transformacja danych: Podczas przesyłania danych źródłowych do hurtowni danych kilka pól można bezpośrednio załadować danymi źródłowymi, ale kilka pól zostanie załadowanych danymi, które są przekształcane zgodnie z logiką biznesową. To jest złożona część testowania DW (ETL).
Poniżej znajdują się przykładowe strategie, aby to sprawdzić:
- Możesz testować, tworząc i porównując dane w arkuszach kalkulacyjnych. Załaduj przekształcone dane źródłowe i dane DW do arkuszy kalkulacyjnych i zrób porównanie. Nie powinno być żadnych niedopasowań.
- Testerzy powinni pisać zapytania zgodnie z logiką transformacji, aby porównać dane DW z danymi źródłowymi. Wykonanie zapytania zagwarantuje, że nie brakuje walidacji danych dla żadnego z pól.
# 3) Jakość danych: System hurtowni danych (ETL) musi zapewnić jakość ładowanych do niego danych poprzez odrzucenie (lub) poprawienie danych.
DW może odrzucać kilka danych systemu źródłowego w oparciu o logikę wymagań biznesowych. Na przykład, odrzucić rekord, jeśli określone pole zawiera dane nienumeryczne. Wszystkie odrzucone rekordy są ładowane do tabeli odrzuceń w celu odniesienia.
Odrzucone dane są zgłaszane do klientów, ponieważ nie ma szansy dowiedzieć się o tych utraconych danych, gdyż nie zostaną one załadowane do systemu DW. DW może poprawny dane ładując zero zamiast wartości zerowych itp.
# 4) Skalowalność i wydajność: Hurtownia danych musi zapewniać skalowalność systemu wraz ze wzrostem obciążenia. Dzięki temu nie powinno dojść do pogorszenia wydajności podczas wykonywania zapytań, z oczekiwanymi wynikami w określonych ramach czasowych. W ten sposób testowanie wydajności ujawnia wszelkie problemy i naprawia je przed rozpoczęciem produkcji.
Poniżej znajdują się przykładowe strategie testowania wydajności i skalowalności:
- Wykonaj testy wydajności, ładując produkcyjne ilości danych i upewnij się, że nie zostały pominięte ramy czasowe.
- Sprawdź wydajność każdego zapytania przy użyciu danych zbiorczych. Przetestuj wydajność, używając prostych i wielokrotnych połączeń.
- Załaduj dwukrotnie (lub) trzykrotnie w stosunku do wolumenu danych, które mają w przybliżeniu obliczyć pojemność systemu.
- Przetestuj, uruchamiając zadania dla wszystkich wymienionych raportów w tym samym czasie.
# 5) Testowanie integracji: Hurtownia danych powinna wykonywać testy integracji z innymi aplikacjami wyższego i niższego szczebla. Jeśli to możliwe, lepiej jest skopiować dane produkcyjne do środowiska testowego w celu przeprowadzenia testów integracyjnych.
Wszystkie zespoły systemowe powinny być zaangażowane w tę fazę, aby wypełnić luki, jednocześnie rozumiejąc i testując wszystkie systemy.
# 6) Testowanie jednostkowe: Jest to wykonywane przez poszczególnych programistów na ich produktach. Deweloperzy przygotują scenariusze testów jednostkowych w oparciu o zrozumienie wymagań, uruchomią testy jednostkowe i udokumentują wyniki. Pomaga to programistom naprawić wszelkie błędy, jeśli zostaną znalezione, przed dostarczeniem kodu do zespołu testującego.
# 7) Testowanie regresji: Potwierdza, że system DW nie działa nieprawidłowo po naprawieniu jakichkolwiek usterek. Odbywa się to wielokrotnie przy każdej nowej zmianie kodu.
# 8) Testy akceptacyjne użytkownika: Testy te są wykonywane przez użytkowników biznesowych w celu sprawdzenia funkcjonalności systemu. Środowisko UAT różni się od środowiska QA. Wylogowanie z UAT oznacza, że jesteśmy gotowi do przeniesienia kodu do produkcji.
czołowe firmy badawcze na świecie
Z punktu widzenia hurtowni danych i systemu Business Intelligence użytkownicy biznesowi mogą sprawdzać poprawność różnych raportów za pomocą interfejsu użytkownika (UI). Potrafią zweryfikować specyfikacje raportu pod kątem wymagań, mogą zweryfikować poprawność danych w raportach, sprawdzić, jak szybko system zwraca wyniki itp.
Diagram przepływu testów DW:
Obowiązki testowania hurtowni danych
Poniżej wymieniono różne zespoły zaangażowane w dostarczanie udanego systemu DW:
- Analitycy biznesowi: Zbierz wszystkie wymagania biznesowe dotyczące systemu i udokumentuj je według preferencji wszystkich.
- Zespół infrastruktury: Skonfiguruj różne środowiska zgodnie z wymaganiami zarówno programistów, jak i testerów.
- Deweloperzy: Opracuj kod ETL zgodnie z wymaganiami i wykonaj testy jednostkowe.
- QA (zapewnienie jakości) / Testerzy: Opracuj plan testów, przypadki testowe itp. Identyfikuje defekty w systemie, wykonując przypadki testowe. Wykonuj testy na różnych poziomach.
- DBA: Administratorzy baz danych przejmują kontrolę nad konwersją scenariuszy logicznych baz danych ETL na scenariusze fizycznych baz danych ETL, a także uczestniczą w testowaniu wydajności.
- Użytkownicy biznesowi: Zaangażuj się w testy akceptacji użytkowników, uruchamiaj zapytania i raporty dotyczące tabel DW.
Błędy w hurtowni danych
Podczas wyodrębniania, przekształcania i ładowania danych (ETL) z wielu źródeł istnieje szansa, że otrzymasz złe dane, które mogą przerwać długotrwałe zadania.
Oto główne przyczyny awarii w systemie DW:
# 1) Naruszenia reguł biznesowych (błędy logiczne): Logicznie błędne dane naruszają reguły biznesowe. Takie dane mogą być obsługiwane głównie w fazie transformacji lub ładowania.
# 2) Naruszenia reguł dotyczących danych (błędy danych): Błędy danych występują w systemie bazy danych DW, takie jak niezgodność typów danych, awarie ograniczeń danych itp.
Wdrożenie ETL
To jest faza, w której wszystkie twoje wysiłki idą w życie. Należy przygotować wszystkie dokumenty wspomagające produkcję.
Dokumentacja zawiera informacje o kolejności zadań do wykonania, scenariuszach odzyskiwania po awarii, materiałach szkoleniowych dla zespołów wsparcia DW w celu monitorowania systemu po wdrożeniu oraz zespołowi wsparcia administracyjnego w celu wykonania raportów.
Wniosek
W tym samouczku szczegółowo poznaliśmy cele testowania hurtowni danych, obowiązki testowania ETL, błędy we wdrażaniu DW i ETL.
Mamy nadzieję, że wiesz, jak szczegółowe testy można przeprowadzić w systemie hurtowni danych (ETL).
=> Odwiedź tutaj, aby dowiedzieć się o hurtowni danych od podstaw.
rekomendowane lektury
- Samouczek testowania hurtowni danych ETL (kompletny przewodnik)
- Samouczek dotyczący testowania objętościowego: przykłady i narzędzia do testowania objętościowego
- ETL Pytania i odpowiedzi podczas rozmowy kwalifikacyjnej testującej
- Najlepsze narzędzia do testowania oprogramowania 2021 [Narzędzia do automatyzacji testów QA]
- Testy funkcjonalne a testy niefunkcjonalne
- Testowanie w parach lub samouczek testowania we wszystkich parach z narzędziami i przykładami
- 10 najlepszych narzędzi testowych ETL w 2021 r
- Jak przeprowadzić testy oparte na danych w SoapUI Pro - Samouczek SoapUI nr 14