Menu

Samouczek dotyczący Big Data dla początkujących | Co to jest Big Data?

  • Główny
  • Inny
  • Samouczek dotyczący Big Data dla początkujących | Co to jest Big Data?

big data tutorial beginners what is big data

Wypróbuj Nasz Instrument Do Eliminowania Problemów

Ten samouczek wyjaśnia wszystko o podstawach Big Data. Samouczek obejmuje korzyści, wyzwania, technologie i narzędzia wraz z zastosowaniami Big Data:

W tym cyfrowym świecie z postępem technologicznym codziennie wymieniamy duże ilości danych, jak w Terabajty lub Petabajty .

Jeśli codziennie wymieniamy taką ilość danych, musimy ją również utrzymywać i gdzieś przechowywać. Rozwiązaniem do obsługi dużych ilości danych z dużą prędkością i różną różnorodnością jest Big Data.

najlepsze oprogramowanie zapory sieciowej dla systemu Windows 10

Może obsługiwać złożone dane pochodzące z wielu źródeł, takich jak różne bazy danych, strony internetowe, widżety itp. Ponadto może łączyć i dopasowywać dane pochodzące z różnych źródeł. Rzeczywiście zapewnia szybszy dostęp do danych ( Na przykład, Media społecznościowe).

Samouczek dotyczący Big Data

Lista samouczków z tej serii Big Data

Samouczek nr 1: Co to jest Big Data? [Ten samouczek]
Samouczek nr 2: Co to jest Hadoop? Samouczek dotyczący Apache Hadoop dla początkujących
Samouczek nr 3: Hadoop HDFS - rozproszony system plików Hadoop
Samouczek nr 4: Architektura Hadoop i przewodnik po poleceniach HDFS
Samouczek nr 5: Samouczek Hadoop MapReduce z przykładami | Co to jest MapReduce?
Samouczek nr 6: Samouczek Apache Hadoop YARN dla początkujących | Co to jest przędza?
Samouczek nr 7: Kompleksowy samouczek dotyczący testowania Hadoop | Przewodnik po testach Big Data

Czego się nauczysz:

Co to jest Big Data?

Samo słowo Ogromne nie wystarczy, aby wyjaśnić BigData, pewne cechy klasyfikują dane w BigData.

Mamy trzy główne cechy BigData i jeśli jakiekolwiek dane spełniają te cechy, będą traktowane jako BigData. ja t jest połączeniem trzech V wymienionych poniżej:

  • Tom
  • Prędkość
  • Różnorodność

Trzy V.

Tom : Dane powinny mieć ogromną objętość. Big Data ma rozwiązanie do przechowywania dużej ilości danych, które są w terabajtach lub petabajtach. Możemy łatwo i skutecznie wykonywać operacje CRUD (tworzenie, odczytywanie, aktualizowanie i usuwanie) na BigData.

Prędkość : Odpowiada za szybszy dostęp do danych. Na przykład, w dzisiejszych czasach media społecznościowe potrzebują szybkiej wymiany danych w ułamku czasu, a BigData jest najlepszym rozwiązaniem. Stąd prędkość jest kolejną cechą i jest to szybkość przetwarzania danych.

Różnorodność : W mediach społecznościowych mamy do czynienia z danymi nieustrukturyzowanymi, takimi jak nagrania audio lub wideo, obrazy itp. Ponadto różne sektory, takie jak sektor bankowy, potrzebują ustrukturyzowanych i częściowo ustrukturyzowanych danych. BigData to rozwiązanie pozwalające na przechowywanie obu typów danych w jednym miejscu.

Różnorodność oznacza różne typy danych, takie jak dane strukturalne / nieustrukturyzowane pochodzące z wielu źródeł.

Dane strukturalne : Dane, które mają odpowiednią strukturę lub takie, które można łatwo przechowywać w formie tabelarycznej w dowolnych relacyjnych bazach danych, takich jak Oracle, SQL Server lub MySQL, są znane jako dane strukturalne. Możemy je łatwo i efektywnie przetwarzać lub analizować.

Przykładem danych strukturalnych są dane przechowywane w relacyjnej bazie danych, którą można zarządzać za pomocą SQL (Structured Query Language). Na przykład, Dane pracownika (imię i nazwisko, identyfikator, stanowisko i wynagrodzenie) można przechowywać w formacie tabelarycznym.

W tradycyjnej bazie danych możemy wykonywać operacje lub przetwarzać dane nieustrukturyzowane lub częściowo ustrukturyzowane dopiero po ich sformatowaniu lub dopasowaniu do relacyjnej bazy danych. Przykłady danych strukturalnych to ERP, CRM itp.

Dane częściowo ustrukturyzowane: Dane częściowo ustrukturyzowane to dane, które nie są w pełni sformatowane. Nie jest przechowywany w tabelach danych ani w żadnej bazie danych. Mimo to możemy go łatwo przygotować i przetworzyć, ponieważ te dane zawierają tagi lub wartości oddzielone przecinkami itp. Przykład danych częściowo ustrukturyzowanych to pliki XML, pliki CSV itp.

Dane nieustrukturyzowane: Dane nieustrukturyzowane to dane, które nie mają żadnej struktury. Może mieć dowolną formę, nie ma predefiniowanego modelu danych. Nie możemy go przechowywać w tradycyjnych bazach danych. Wyszukiwanie i przetwarzanie go jest skomplikowane.

Ponadto ilość danych nieustrukturyzowanych jest bardzo duża. Przykład niestrukturalnych danych to treść wiadomości e-mail, dźwięk, wideo, obrazy, uzyskane dokumenty itp.

Wyzwania tradycyjnych baz danych

Wyzwania tradycyjnych baz danych

  • Tradycyjna baza danych nie obsługuje różnorodnych danych, tj. Nie jest w stanie obsłużyć danych nieustrukturyzowanych i częściowo ustrukturyzowanych.
  • Tradycyjna baza danych działa wolno, mając do czynienia z dużą ilością danych.
  • W tradycyjnych bazach danych przetwarzanie lub analiza dużej ilości danych jest bardzo trudna.
  • Tradycyjna baza danych może przechowywać dane w terabajtach lub petabajtach.
  • Tradycyjna baza danych nie obsługuje danych historycznych i raportów.
  • Po pewnym czasie konieczne jest wyczyszczenie bazy danych.
  • Koszt utrzymania dużej ilości danych jest bardzo wysoki w przypadku tradycyjnej bazy danych.
  • Dokładność danych jest mniejsza w tradycyjnej bazie danych, ponieważ nie są w niej przechowywane pełne dane historyczne.

Big DataKorzyści w porównaniu z tradycyjną bazą danych

Zalety Big Data w porównaniu z tradycyjną bazą danych

  • Big Data jest odpowiedzialny za obsługę, zarządzanie i przetwarzanie różnych typów danych, takich jak ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane.
  • Jest opłacalny pod względem utrzymywania dużej ilości danych. Działa w systemie rozproszonych baz danych.
  • Dzięki technikom BigData możemy oszczędzać duże ilości danych przez długi czas. Dzięki temu łatwo jest obsługiwać dane historyczne i generować dokładne raporty.
  • Szybkość przetwarzania danych jest bardzo duża, dlatego media społecznościowe korzystają z technik Big Data.
  • Dokładność danych to duża zaleta Big Data.
  • Pozwala użytkownikom na podejmowanie skutecznych decyzji dla ich biznesu w oparciu o aktualne i historyczne dane.
  • Obsługa błędów, kontrola wersji i obsługa klienta są bardzo skuteczne w BigData.

Sugerowana lektura => Big Data vs Big Data Analytics vs Data Science

Wyzwania i zagrożenia w BigData

Wyzwania:

  1. Jednym z głównych wyzwań w Big Data jest zarządzanie dużymi ilościami danych. Obecnie dane napływają do systemu z różnych źródeł z różnymi źródłami. Dlatego właściwe zarządzanie tym przedsiębiorstwem stanowi bardzo duże wyzwanie. Na przykład, wygenerowanie raportu zawierającego dane z ostatnich 20 lat wymaga zapisania i utrzymania danych systemu z ostatnich 20 lat. Aby zapewnić dokładny raport, konieczne jest wprowadzenie do systemu tylko odpowiednich danych. Nie powinien zawierać nieistotnych ani zbędnych danych, w przeciwnym razie utrzymanie takiej ilości danych będzie dużym wyzwaniem dla firm.
  2. Kolejnym wyzwaniem związanym z tą technologią jest synchronizacja różnych typów danych. Jak wszyscy wiemy, Big Data obsługuje dane strukturalne, nieustrukturyzowane i częściowo ustrukturyzowane pochodzące z różnych źródeł, a ich synchronizacja i uzyskanie spójności danych jest bardzo trudne.
  3. Kolejnym wyzwaniem, przed którym stoją firmy, jest brak ekspertów, którzy mogą pomóc i wdrożyć problemy, przed którymi stoją w systemie. W tej dziedzinie istnieje duża luka w talentach.
  4. Obsługa aspektu zgodności jest kosztowna.
  5. Gromadzenie, agregacja, przechowywanie, analiza i raportowanie danych BigData wiąże się z ogromnymi kosztami. Organizacja powinna być w stanie zarządzać wszystkimi tymi kosztami.

Ryzyka:

  1. Może obsługiwać różnorodne dane, ale jeśli firmy nie mogą właściwie zrozumieć wymagań i kontrolować źródła danych, dostarczy błędne wyniki. W rezultacie zbadanie i skorygowanie wyników zajmie dużo czasu i pieniędzy.
  2. Bezpieczeństwo danych to kolejne ryzyko związane z BigData. Przy dużej ilości danych istnieje większe prawdopodobieństwo, że ktoś je ukradnie. Hakerzy danych mogą kraść i sprzedawać ważne informacje (w tym dane historyczne) firmy.
  3. Ponadto prywatność danych jest kolejnym zagrożeniem dla BigData. Jeśli chcemy zabezpieczyć dane osobowe i wrażliwe przed hakerami, należy je chronić i przestrzegać wszystkich zasad ochrony prywatności.

Technologie Big Data

Oto technologie, które można wykorzystać do zarządzania Big Data:

  1. Apache Hadoop
  2. Microsoft HDInsight
  3. Brak SQL
  4. Ul
  5. Sqoop
  6. BigData w Excelu

Szczegółowy opis tych technologii zostanie omówiony w naszych nadchodzących samouczkach.

Narzędzia do wykorzystania koncepcji Big Data

Poniżej wymieniono narzędzia typu open source, które mogą pomóc w wykorzystaniu koncepcji Big Data:

1) Apache Hadoop
Logo Hadoop

# 2) Lumify
Lumify

# 3) Apache Storm
Burza

# 4) Apache Samoa
Samoa

# 5) Elasticsearch
elastyczny

# 6) MongoDB
MongoDB

# 7) BigData systemu HPCC
Systemy HPCC

Zastosowania Big Data

Oto domeny, w których jest używany:

  1. Bankowość
  2. Media i rozrywka
  3. Służby zdrowia
  4. Ubezpieczenie
  5. Edukacja
  6. Sprzedaż
  7. Produkcja
  8. Rząd

BigData i hurtownia danych

Hurtownia danych to podstawowa koncepcja, którą musimy zrozumieć przed omówieniem Hadoop lub BigData Testing.

Przyjrzyjmy się hurtowni danych na przykładzie czasu rzeczywistego. Na przykład , jest firma, która otworzyła swoje oddziały w trzech różnych krajach, załóżmy oddział w Indiach, Australii i Japonii.

W każdym oddziale wszystkie dane klientów są przechowywane w Lokalnej Bazie Danych. Te lokalne bazy danych mogą być zwykłymi klasycznymi systemami RDBMS, takimi jak Oracle, MySQL lub SQL Server itp., A wszystkie dane klientów będą w nich przechowywane codziennie.

Teraz co kwartał, co pół roku lub co rok organizacja chce analizować te dane pod kątem rozwoju biznesu. Aby zrobić to samo, organizacja zbierze wszystkie te dane z wielu źródeł, a następnie zgromadzi je w jednym miejscu, a to miejsce zostanie nazwane „Hurtownia danych”.

Hurtownia danych to rodzaj bazy danych, która zawiera wszystkie dane pobrane z wielu źródeł lub wielu typów baz danych za pośrednictwem „ETL” (który jest JEST wyciąg, T ransform i L oad) proces. Gdy dane są już gotowe w Hurtowni Danych, możemy je wykorzystać do celów analitycznych.

Do analizy możemy więc generować raporty z danych dostępnych w Hurtowni Danych. Za pomocą narzędzi Business Intelligence można generować wiele wykresów i raportów.

Potrzebujemy Hurtowni Danych do celów analitycznych, aby rozwijać biznes i podejmować odpowiednie decyzje dla organizacji.

Hurtownia danych organizacji

W tym procesie zachodzą trzy rzeczy. Pierwsza polega na tym, że pobraliśmy dane z wielu źródeł i umieściliśmy je w jednej lokalizacji, czyli hurtowni danych.

Tutaj korzystamy z procesu „ETL”, a więc ładując dane z wielu źródeł w jedno miejsce, zastosujemy je w korzeniach transformacji, a następnie będziemy mogli tutaj użyć różnego rodzaju narzędzi ETL.

Gdy dane są gotowe do hurtowni danych, możemy generować różne raporty do analizy danych biznesowych za pomocą narzędzi Business Intelligence (BI) lub nazywamy je również narzędziami raportowania. Narzędzia takie jak Tableau lub Cognos mogą być używane do generowania raportów i tablic DashBoards do analizy danych biznesowych.

OLTP i OLAP

Rozumiemy, czym są OLTP i OLAP?

Nazywane są bazy danych, które są utrzymywane lokalnie i używane do celów transakcyjnych OLTP, czyli przetwarzanie transakcji online. Codzienne transakcje będą tutaj przechowywane i aktualizowane natychmiast, dlatego nazwaliśmy je systemem OLTP.

Tutaj używamy tradycyjnych baz danych, mamy wiele tabel i są relacje, więc wszystko jest systematycznie planowane zgodnie z bazą danych. Nie wykorzystujemy tych danych do celów analitycznych. Tutaj możemy skorzystać z klasycznych baz danych RDMBS, takich jak Oracle, MySQL, SQL Server itp.

Kiedy dochodzimy do części Data Warehouse, korzystamy z Teradata lub Hadoop Systems, które również są rodzajem bazy danych, ale dane w DataWarehouse są zwykle wykorzystywane do celów analitycznych i nazywa się OLAP lub Przetwarzanie analityczne online.

Tutaj dane mogą być aktualizowane co kwartał, co pół roku lub co rok. Czasami dane są również aktualizowane „Offerly”, gdzie Offerly oznacza, że ​​dane są aktualizowane i pobierane do analizy zgodnie z wymaganiami klienta.

Ponadto dane do analizy nie są aktualizowane codziennie, ponieważ będziemy otrzymywać dane z wielu źródeł zgodnie z harmonogramem i możemy wykonać to zadanie ETL. Tak działa system przetwarzania analitycznego online.

Tutaj ponownie narzędzia BI lub narzędzia do raportowania mogą generować raporty, a także pulpity nawigacyjne, na podstawie których ludzie biznesu będą podejmować decyzje dotyczące usprawnienia ich działalności.

rodzaj defektów w testowaniu oprogramowania

Gdzie pojawia się BigData?

BigData to dane, które przekraczają możliwości przechowywania i przetwarzania konwencjonalnych baz danych i są zapisane w formacie strukturalnym i nieustrukturyzowanym, więc nie mogą być obsługiwane przez lokalne systemy RDBMS.

Tego rodzaju dane będą generowane w terabajtach (TB) lub petabajtach (PB) lub poza nimi i obecnie szybko rośnie. Istnieje wiele źródeł pozyskiwania tego rodzaju danych, takich jak Facebook, WhatsApp (które są związane z sieciami społecznościowymi); Amazon, Flipkart związane z e-commerce; Gmail, Yahoo, Rediff związane z e-mailami i Google oraz innymi wyszukiwarkami. Otrzymujemy również duże dane z telefonów komórkowych, takie jak dane SMS, nagrywanie połączeń, dzienniki połączeń itp.

Wniosek

Big data to rozwiązanie umożliwiające wydajną i bezpieczną obsługę dużych ilości danych. Jest również odpowiedzialny za utrzymanie danych historycznych. Jest wiele zalet tej technologii, dlatego każda firma chce przejść na Big Data

Autor: Vaishali Tarey, kierownik techniczny @ Syntel

NEXT Tutorial

rekomendowane lektury

^