Jak przeprowadzić testy ETL za pomocą narzędzia Informatica PowerCenter

how perform etl testing using informatica powercenter tool

To znany fakt Testowanie ETL jest jednym z kluczowych aspektów każdego Business Intelligence Aplikacja oparta na (BI). Aby zapewnić jakość i akceptację w biznesie, aplikacja BI powinna zostać wcześniej przetestowana.

Głównym celem testowania ETL jest zapewnienie, że JEST wyciąg, T ransform & L Funkcjonalność OAD działa zgodnie z wymaganiami biznesowymi i zsynchronizowana ze standardami wydajności.

Zanim przejdziemy do testowania ETL z Przetwarzanie danych , ważne jest, aby wiedzieć, czym są ETL i Informatica.

Czego się nauczysz:

• Czego dowiesz się z tego samouczka ETL:
• Narzędzie testowe Informatica PowerCenter ETL:
• Zrozumienie testów ETL specyficznych dla Informatica:
• Klasyfikacja testów ETL w Informatica:
• Korzyści z używania Informatica jako narzędzia ETL:
• Kilka przydatnych wskazówek, które pomogą Ci w testowaniu Informatica ETL:
• Wniosek:
• rekomendowane lektury

Czego dowiesz się z tego samouczka ETL:

• Podstawy testowania ETL, Informatica i ETL.
• Zrozumienie testów ETL specyficznych dla Informatica.
• Klasyfikacja testów ETL w Informatica.
• Przykładowe przypadki testowe do testowania Informatica ETL.
• Korzyści z używania Informatica jako pliku Narzędzie ETL .
• Wskazówki i porady, które pomogą Ci w testowaniu.

W informatyce, wyodrębnianie, przekształcanie, ładowanie (ETL) odnosi się do procesu w korzystaniu z bazy danych, a zwłaszcza w hurtowni danych, który wykonuje:

• Ekstrakcja danych - Wyodrębnia dane z jednorodnych lub heterogenicznych źródeł danych.
• Transformacja danych - Formatuje dane na wymagany typ.
• Ładowanie danych - Przenieś i przechowuj dane w stałej lokalizacji do długotrwałego użytkowania.

Narzędzie testowe Informatica PowerCenter ETL:

Informatica PowerCenter to potężne narzędzie ETL firmy Informatica Corporation. Jest to pojedyncza, ujednolicona platforma integracji danych przedsiębiorstwa umożliwiająca uzyskiwanie dostępu, odkrywanie i integrowanie danych z praktycznie dowolnego systemu biznesowego w dowolnym

Jest to pojedyncza, ujednolicona platforma integracji danych przedsiębiorstwa umożliwiająca uzyskiwanie dostępu, odkrywanie i integrowanie danych z praktycznie dowolnego systemu biznesowego, w dowolnym formacie i dostarczanie tych danych w całym przedsiębiorstwie z dowolną prędkością. Przez Informatica PowerCenter , tworzymy przepływy pracy, które wykonują operacje ETL od końca do końca.

Pobierz i zainstaluj Informatica PowerCenter:

Aby zainstalować i skonfigurować Informatica PowerCenter 9.x, użyj poniższego łącza, które zawiera instrukcje krok po kroku:
=> Informatica PowerCenter 9 Podręcznik instalacji i konfiguracji

Zrozumienie testów ETL specyficznych dla Informatica:

Testerzy ETL często mają trafne pytania dotyczące tego, co testować w Informatica i ile pokrycia testów jest potrzebne?

Pozwól, że oprowadzę Cię przez prezentację, jak przeprowadzić testy ETL specyficzne dla Informatica.

Główne aspekty, które powinny być zasadniczo uwzględnione w testowaniu Informatica ETL to:

• Testowanie funkcjonalności workflow Informatica i jego komponentów; wszystkie transformacje użyte w podstawowych mapowaniach.
• Aby sprawdzić kompletność danych (tj. Upewnienie się, że projektowane dane są ładowane do celu bez obcięcia i utraty danych),
• Weryfikacja, czy dane są ładowane do celu w szacowanym czasie (np. Ocena wydajności przepływu pracy),
• Zapewnienie, że przepływ pracy nie pozwala na ładowanie nieprawidłowych lub niechcianych danych do celu.

Klasyfikacja testów ETL w Informatica:

Aby lepiej zrozumieć i ułatwić testerowi, testy ETL w Informatica można podzielić na dwie główne części -

pytania i odpowiedzi na rozmowę z analitykami systemów biznesowych

# 1) Testowanie wysokiego poziomu
# 2) Szczegółowe testy

Po pierwsze, w testach wysokiego poziomu:

• Możesz sprawdzić, czy przepływ pracy Informatica i powiązane obiekty są prawidłowe, czy nie.
• Sprawdź, czy przepływ pracy kończy się pomyślnie podczas uruchamiania.
• Potwierdź, czy wszystkie wymagane sesje / zadania są wykonywane w przepływie pracy.
• Sprawdź, czy dane są ładowane do żądanego katalogu docelowego iz oczekiwaną nazwą pliku (w przypadku, gdy przepływ pracy tworzy plik) itp.

Krótko mówiąc, można powiedzieć, że testy na wysokim poziomie obejmują wszystkie podstawowe testy poczytalności.

Przechodząc do następnej części, tj. szczegółowe testy w Informatica , będziesz dogłębnie sprawdzać, czy logika zaimplementowana w Informatica działa zgodnie z oczekiwaniami pod względem wyników i wydajności.

• Musisz przeprowadzić walidację danych wyjściowych na poziomie pola, co potwierdzi, że każda transformacja działa poprawnie
• Sprawdź, czy liczba rekordów na każdym poziomie przetwarzania i wreszcie, czy cel jest zgodny z oczekiwaniami.
• Dokładnie monitoruj elementy, takie jak kwalifikator źródła i cel w źródłowych / docelowych statystykach sesji
• Upewnij się, że czas trwania przepływu pracy Informatica jest zgodny z szacowanym czasem wykonywania.

Podsumowując, możemy powiedzieć, że szczegółowe testy obejmują rygorystyczną weryfikację od końca do końca przepływu pracy Informatica i związanego z nim przepływu danych.

Weźmy tutaj przykład:

Mamy płaski plik zawierający dane o różnych produktach. Przechowuje szczegóły, takie jak nazwa produktu, jego opis, kategoria, data wygaśnięcia, cena itp.

Moim wymaganiem jest pobranie każdego rekordu produktu z pliku, wygenerowanie unikalnego identyfikatora produktu odpowiadającego każdemu rekordowi i załadowanie go do tabeli docelowej bazy danych. Muszę również zrezygnować z tych produktów, które należą do kategorii „C” lub których data ważności jest krótsza niż data bieżąca.

Powiedzmy, mój płaski plik (źródło) wygląda tak:

(Uwaga:Kliknij dowolny obraz, aby wyświetlić powiększenie)

W oparciu o moje wymagania określone powyżej, moja tabela bazy danych (Target) powinna wyglądać następująco:

Nazwa tabeli: Tbl_Product

Powiedzmy, że opracowaliśmy przepływ pracy Informatica, aby uzyskać rozwiązanie dla moich wymagań ETL.

Podstawowe mapowanie Informatica odczyta dane z pliku płaskiego, przekaże dane przez transformację routera, która usunie wiersze, które mają kategorię produktu „C” lub datę wygaśnięcia, a następnie użyję sekwencji generowania, aby utworzyć unikalny klucz podstawowy wartości dla kolumny Prod_ID w tabeli produktów.

Na koniec rekordy zostaną załadowane do tabeli Product, która jest celem dla mojego mapowania Informatica.

Przykłady:

Poniżej znajdują się przykładowe przypadki testowe dla scenariusza opisanego powyżej.

Możesz użyć tych przypadków testowych jako szablonu w projekcie testowym Informatica i dodawać / usuwać podobne przypadki testowe w zależności od funkcjonalności przepływu pracy.

# 1) Identyfikator przypadku testowego: T001

Cel przypadku testowego: Weryfikuj przepływ pracy - [nazwa_pracy]

Procedura testowa:

• Przejdź do menedżera przepływu pracy
• Otwórz przepływ pracy
• Menu przepływów pracy -> kliknij przycisk Sprawdź

Wartość wejściowa / dane testowe: Źródła i cele są dostępne i połączone
Źródła: [nazwa wszystkich instancji źródłowych]
Mapowania: [nazwa wszystkich mapowań]
Cele: [nazwa wszystkich instancji docelowych]
Sesja: [nazwa wszystkich sesji]

Oczekiwane rezultaty: Komunikat na pasku stanu menedżera przepływu pracy: „Przepływ pracy [nazwa_pracy] jest prawidłowy”

Aktualne wyniki: Komunikat na pasku stanu menedżera przepływu pracy: „Przepływ pracy [nazwa_pracy] jest prawidłowy”

Uwagi:Przechodzić

Komentarze testera:

# 2) Identyfikator przypadku testowego: T002

Cel przypadku testowego: Aby upewnić się, że przepływ pracy przebiega pomyślnie

Procedura testowa:

• Przejdź do menedżera przepływu pracy
• Otwórz przepływ pracy
• Kliknij prawym przyciskiem myszy w projektancie przepływu pracy i wybierz Rozpocznij przepływ pracy
• Sprawdź stan w Monitorze przepływu pracy

Wartość wejściowa / dane testowe: Takie same jak dane testowe dla T001

Oczekiwane rezultaty: Komunikat w oknie wyników w Menedżerze przepływu pracy: Aktualizacja zadania: [nazwa_pracy] (powodzenie)

Aktualne wyniki: Komunikat w oknie wyników w Menedżerze przepływu pracy: Aktualizacja zadania: [nazwa_pracy] (powodzenie)

Uwagi:Przechodzić

przykładowy plan testów do testowania oprogramowania

Komentarze testera: Przepływ pracy powiódł się

Uwaga: Możesz łatwo zobaczyć stan uruchomienia przepływu pracy (niepowodzenie / powodzenie) w monitorze przepływu pracy, jak pokazano w poniższym przykładzie. Po zakończeniu przepływu pracy stan zostanie automatycznie odzwierciedlony w monitorze przepływu pracy.

Na powyższym zrzucie ekranu możesz zobaczyć czas rozpoczęcia i zakończenia przepływu pracy, a także status zakończony sukcesem.

# 3) Identyfikator przypadku testowego: T003

Cel przypadku testowego: Aby sprawdzić, czy żądana liczba rekordów jest ładowana do celu

Procedura testowa: Po pomyślnym uruchomieniu przepływu pracy przejdź do tabeli docelowej w bazie danych
Sprawdź liczbę wierszy w docelowej tabeli bazy danych

Wartość wejściowa / dane testowe: 5 wierszy w pliku źródłowym
Cel: tabela bazy danych - [Tbl_Product]
Zapytanie do uruchomienia na serwerze SQL: Wybierz liczbę (1) z [Tbl_Product]

Oczekiwane rezultaty: Wybrano 3 rzędy

Aktualne wyniki: Wybrano 3 rzędy

Uwagi:Przechodzić

Komentarze testera:

# 4) Identyfikator przypadku testowego: T004

Cel przypadku testowego: Aby sprawdzić, czy generator sekwencji w mapowaniu Informatica działa poprawnie przy zapełnianiu [nazwa_kolumny_klucza_podstawowego, np. Kolumna Prod_ID]

Procedura testowa: Po pomyślnym uruchomieniu przepływu pracy przejdź do tabeli docelowej w bazie danych
Sprawdź unikalną sekwencję wygenerowaną w kolumnie Prod_ID

Wartość wejściowa / dane testowe: wartość Prod_ID pozostawiona pusta dla każdego wiersza w pliku źródłowym
Generator sekwencji przypisany do kolumny Prod_ID w mapowaniu
Wartość startowa generatora sekwencji ustawiona na 1001
Cel: tabela bazy danych- [Tbl_Product] otwarta w SQL Server

Oczekiwane rezultaty: Wartość od 1001 do 1003 wprowadzona w każdym wierszu kolumny Prod_ID

Aktualne wyniki: Wartość od 1001 do 1003 wprowadzona w każdym wierszu kolumny Prod_ID

Uwagi:Przechodzić

Komentarze testera:

# 5) Identyfikator przypadku testowego: T005

jakie jest najlepsze oprogramowanie do usuwania oprogramowania szpiegującego

Cel przypadku testowego: Aby sprawdzić, czy transformacja routera działa prawidłowo, aby pomijać rekordy w przypadku, gdy kategoria produktu to „C” lub wygasła ważność produktu.

Procedura testowa: Po pomyślnym uruchomieniu przepływu pracy przejdź do tabeli docelowej w bazie danych
Uruchom zapytanie w tabeli docelowej, aby sprawdzić, czy żądane rekordy zostały pominięte.

Wartość wejściowa / dane testowe: 5 wierszy w pliku źródłowym
Cel: tabela bazy danych - [Tbl_Product]
Zapytanie do uruchomienia na serwerze SQL: Wybierz * z pozycji Produkt, gdzie Prod_category = 'C' lub Prod_expiry_date< sysdate ;

Oczekiwane rezultaty: nie wybrano żadnych wierszy

Aktualne wyniki: nie wybrano żadnych wierszy

Uwagi:Przechodzić

Komentarze testera: (Jeśli w ogóle)

# 6) Identyfikator przypadku testowego: T006

Cel przypadku testowego: Aby sprawdzić wydajność przepływu pracy, rejestrując środowisko wykonawcze przepływu pracy.

Procedura testowa:

• Otwórz monitor przepływu pracy i przejdź do uruchomienia wykonanego w ramach T001.
• Zapisz godzinę rozpoczęcia i zakończenia przepływu pracy.
• Oblicz całkowity czas pracy, odejmując czas rozpoczęcia od czasu zakończenia.

Wartość wejściowa / dane testowe: Przepływ pracy został pomyślnie uruchomiony
Czas rozpoczęcia przepływu pracy na monitorze
Czas zakończenia przepływu pracy na monitorze.

Oczekiwane rezultaty: 2 min 30 sek

Aktualne wyniki: 2 min 15 sek

Uwagi:Przechodzić

Komentarze testera: Uznanie testu za wynik pozytywny w przypadku, gdy rzeczywisty czas trwania cyklu wynosi +/- 10% oczekiwanego czasu trwania.

# 7) Identyfikator przypadku testowego: T007

Cel przypadku testowego: Aby zweryfikować dane na poziomie kolumny tabeli docelowej, aby upewnić się, że nie ma utraty danych.

Procedura testowa: Po pomyślnym uruchomieniu przepływu pracy przejdź do SQL Server.
Uruchom zapytanie w tabeli docelowej, aby sprawdzić, czy nie ma utraty danych.

Wartość wejściowa / dane testowe: Przepływ pracy został pomyślnie uruchomiony
Jeden przykładowy rekord z pliku źródłowego.
Zapytanie SQL: Wybierz Top 1 * z Tbl_Patient;

Oczekiwane rezultaty:
Zwrócony 1 wiersz

Aktualne wyniki:
Zwrócony 1 wiersz.

Uwagi:Przechodzić

Komentarze testera: Uznanie testu za wynik pozytywny w przypadku, gdy rzeczywisty czas trwania cyklu wynosi +/- 10% oczekiwanego czasu trwania.

Korzyści z używania Informatica jako narzędzia ETL:

Informatica to popularne i odnoszące sukcesy narzędzie ETL, ponieważ:

• Ma wysoki wskaźnik sukcesu „do uruchomienia” (prawie 100%)
• Informatica ma możliwość włączania integracji odchudzonej.
• Jest to narzędzie o umiarkowanej cenie w porównaniu z innymi narzędziami ETL.
• Jest wyposażony w wewnętrzny harmonogram zadań. Nie ma więc potrzeby osobnego korzystania z harmonogramu innej firmy, jak robią to niektóre inne narzędzia ETL.
• Łatwe szkolenie i dostępność narzędzi sprawiły, że Informatica stała się popularniejsza.

Kilka przydatnych wskazówek, które pomogą Ci w testowaniu Informatica ETL:

• Wygeneruj dane testowe przed wykonaniem scenariuszy testowych.
• Dane testowe powinny być zsynchronizowane z przypadkiem testowym, do którego są używane.
• Upewnij się, że uwzględniono wszystkie 3 scenariusze - żadne dane nie są przesyłane, przesyłane są nieprawidłowe dane, a prawidłowe dane są przesyłane jako dane wejściowe do przepływu pracy Informatica.
• Upewnij się, że wszystkie wymagane dane są ładowane do celu. W tym celu możesz użyć opisanego powyżej przypadku testowego - T003 jako przykładu.
• Bardzo ważne jest sprawdzenie, czy przepływ pracy wykonuje wszystkie transformacje danych poprawnie, zgodnie z regułami biznesowymi.
• Sugerowałbym, że dla każdej transformacji zastosowanej w mapowaniu Informatica powinieneś mieć listę kontrolną, aby zweryfikować dane wyjściowe z nią. W ten sposób możesz łatwo zgłaszać błędy, jeśli jakakolwiek transformacja nie działa poprawnie.

Wniosek:

Tak więc szczegółowo omówiliśmy niektóre przykładowe przypadki testowe, które można wykorzystać jako szablon do pokrycia testów ETL w Informatica. Jak wspomniałem wcześniej, możesz dodawać / usuwać / modyfikować te przypadki testowe w zależności od scenariusza, który masz w swoim projekcie.

Jak wspomniałem wcześniej, możesz dodawać / usuwać / modyfikować te przypadki testowe w zależności od scenariusza, który masz w swoim projekcie.

Informatica PowerCenter jest podstawą wszelkich działań związanych z integracją danych.

Możesz łatwo przeprowadzić automatyczne testowanie danych skopiowanych do środowiska testowego, deweloperskiego lub produkcyjnego bez użycia skryptów, i to jest powód, dla którego PowerCenter jest obecnie najpopularniejszym narzędziem ETL.

Zalecana lektura => Testowanie ETL kontra DB - bliższe spojrzenie na potrzebę testowania ETL

O autorze: To jest artykuł gościnny autorstwa Priyi K. Ma ponad 4 lata praktycznego doświadczenia w tworzeniu i wspieraniu aplikacji ETL Informatica.

Zapraszam do wysyłania zapytań / komentarze o tym narzędziu ETL.

rekomendowane lektury

• Najlepsze narzędzia do testowania oprogramowania 2021 [Narzędzia do automatyzacji testów QA]
• Jak przeprowadzić testy zaplecza
• ETL Testing Interview Pytania i odpowiedzi
• Samouczek dotyczący testowania hurtowni danych ETL (kompletny przewodnik)
• Testing Primer Pobierz eBook
• Testowanie ETL vs. Testowanie DB - Bliższe spojrzenie na potrzeby testowania ETL, planowanie i narzędzia ETL
• Testowanie obciążenia za pomocą LoadUI - bezpłatnego narzędzia do testowania obciążenia typu Open Source
• 10 najlepszych narzędzi testowych ETL w 2021 r