Jakie są trendy Big Data na horyzoncie?

Autor: Roger Morrison
Data Utworzenia: 18 Wrzesień 2021
Data Aktualizacji: 21 Czerwiec 2024
Anonim
David Mattin: Data Trends on The Horizon
Wideo: David Mattin: Data Trends on The Horizon

Zawartość


Źródło: Ymgerman / Dreamstime.com

Na wynos:

Dziedzina dużych zbiorów danych stale rośnie i zmienia się, ale na horyzoncie widać kilka głównych trendów.

Duże zbiory danych są wciąż stosunkowo nową dziedziną nauki o danych. Ma to znaczący wpływ na świat analiz, a technologie i platformy Big Data będą się zmieniać wraz z rozwojem technologii. Dlatego tak ważne jest, aby zrozumieć nadchodzące trendy w dużych zbiorach danych, które będą dobrze widoczne w nadchodzących latach.

W ciągu ostatnich kilku lat odbyło się wiele dyskusji na temat technologii Hadoop i technologii dużych zbiorów danych, a branża IT dużo debatowała nad swoją przyszłością. Głównym problemem było to, czy Hadoop i duże zbiory danych będą uważane za część głównego nurtu technologii, czy też za obszar niszowy. Jak widzieliśmy w przeszłości, wprowadzono wiele innowacji technologicznych, które nigdy nie były używane w głównym nurcie przemysłu, ale raczej były stosowane w silosach do specjalnych celów obliczeniowych.


W bardzo krótkim czasie duże zbiory danych stały się technologią głównego nurtu. W 2013 i 2014 roku widzieliśmy przedsiębiorstwa podejmujące inicjatywy mające na celu przeniesienie aplikacji Big Data do produkcji. We wcześniejszych latach był to tylko rodzaj POC (proof of concept), w którym firmy weryfikowały technologię i jej wyniki. Teraz w 2015 r. Iw nadchodzących latach będzie dużo nowych wdrożeń. Większość przypadków użycia będzie oparta na analizach w czasie rzeczywistym i uzyskaniu bardziej praktycznych informacji.

W nadchodzących latach zobaczymy ogromny wpływ dużych zbiorów danych w prawie każdej branży. Dane stanowią rdzeń każdej firmy, dlatego należy je odpowiednio wykorzystywać i analizować. Duże zbiory danych i powiązane z nimi technologie umożliwią nam przechwytywanie, przetwarzanie i analizowanie danych w celu uzyskania znaczącego wglądu. Trend dużych zbiorów danych będzie nadal rósł i umożliwi nam zrozumienie jego wartości, jakiej nigdy wcześniej nie mieliśmy.


Teraz przyjrzyjmy się niektórym ważnym trendom w zakresie dużych zbiorów danych, które dobrze zobaczymy w nadchodzących latach.

Naturalny postęp sprzedawców Hadoop

Hadoop to podstawowa platforma technologiczna do przetwarzania dużych zbiorów danych. Jednak podstawowa platforma Hadoop nie zapewnia wszystkich elastyczności i korzyści potrzebnych do prawidłowego przetwarzania wszystkich danych, więc przetwarzanie dużych zbiorów danych na tej podstawowej platformie Hadoop może być żmudne i złożone.

Obecnie istnieje wiele technologii związanych z Hadoop, takich jak Hive, Pig i wiele innych, które są znane jako „ekosystem Hadoop”. Technologie te są oparte na platformie Hadoop i ułatwiają zarządzanie przetwarzaniem dużych zbiorów danych. Istnieją różni dostawcy, tacy jak Cloudera, MapR, Hortonworks, a także IBM, którzy zapewniają stosy technologii Hadoop. Te platformy technologiczne są oparte na podstawowej platformie Hadoop, ale są bardziej przyjazne dla użytkownika i mają zwarty charakter. Zapewniają również odpowiednie interfejsy użytkownika do pracy nad różnymi zadaniami przetwarzania. W rezultacie firmy mogą bardziej skupić się na logice biznesowej niż na platformach.

Rozwój tych dostawców Hadoop będzie kontynuowany w nadchodzących latach, a ich oferta będzie miała duży wpływ. Dostawcy Hadoop będą pozycjonować się jako dostawcy rozwiązań i pomagać organizacjom we wdrażaniu ich aplikacji big data.

Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia

Nie możesz poprawić swoich umiejętności programistycznych, gdy nikt nie dba o jakość oprogramowania.

Integracja Big Data i chmury

W dzisiejszym świecie przetwarzanie w chmurze i powiązana z nim infrastruktura są nieuniknione. Z drugiej strony aplikacje dużych zbiorów danych szybko się rozwijają. Organizacje wdrażają coraz więcej aplikacji danych, aby uzyskać lepszy wgląd w cenne dane. Jak wiemy, aplikacje big data przetwarzają ogromne ilości danych, które są przetwarzane w środowisku klastrowym. Przetwarzanie rozproszone jest podstawą wszystkich aplikacji do przetwarzania dużych zbiorów danych. Dlatego rozproszona infrastruktura obliczeniowa powinna być odpowiednio utrzymywana, aby przezwyciężyć awarie, błędy lub inne krytyczne problemy. Środowisko w chmurze jest najbardziej odpowiednie, aby uwzględnić wszystkie te problemy. Aplikacje Big Data mogą działać w tej infrastrukturze chmurowej (składającej się ze środowiska klastrowego) i zapewniać wydajną i ciągłą wydajność. Organizacje nie potrzebują własnej infrastruktury i zespołu IT; zamiast tego mogą polegać na infrastrukturze chmurowej, co jest również opłacalne. Dlatego integracja chmury z dużymi zbiorami danych będzie potężną siłą.

Big Data i kwestie bezpieczeństwa

Kwestie bezpieczeństwa stanowią poważny problem dla wszystkich aplikacji Big Data. Jak wiemy, dane są kluczem do wszystkich aplikacji Big Data, dlatego musimy z dużym wyprzedzeniem zrozumieć zagrożenia bezpieczeństwa. Organizacje pracują nad aplikacjami Big Data, aby analizować ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane dane, co da im znaczący wgląd i kierunek biznesowy. Te cenne dane i ich wyniki są kluczem do wszystkich decyzji biznesowych, dlatego należy zachować poufność w organizacji. Niestety nie wszystkie aplikacje do dużych zbiorów danych zostały zaprojektowane z myślą o kwestiach bezpieczeństwa. W rezultacie te aplikacje Big Data staną w obliczu zagrożeń bezpieczeństwa. Dlatego wdrożenie rozwiązań bezpieczeństwa dla aplikacji big data będzie głównym zadaniem w nadchodzących latach.

Oferowanie Big Data jako usługi

Wszyscy byli zaznajomieni z modelem SaaS, w którym aplikacje działają w środowisku chmurowym, a użytkownicy uzyskują dostęp do niego jako usługi. Model płatności jest również elastyczny, ponieważ użytkownicy płacą tylko za to, z czego korzystają. Ta sama koncepcja zostanie zastosowana również w przypadku dużych zbiorów danych. Różne firmy produkujące duże zbiory danych już hostują swoje aplikacje w chmurze i oferują je jako usługę, a użytkownicy uzyskują dostęp do nich jako usługi i płacą na podstawie użytkowania. W nadchodzących latach coraz więcej firm oferujących dane będzie oferować duże zbiory danych jako usługę.

Big Data i Internet przedmiotów (IoT)

Internet rzeczy (IoT) to najnowsze modne hasło w branży technologicznej. Internet przedmiotów składa się zasadniczo z różnych urządzeń wyposażonych w czujniki do przechwytywania danych. Teraz największym wyzwaniem jest zebranie wszystkich tych danych i wyodrębnienie znaczących wyników. Urządzenia te są używane wszędzie - w domach, przemyśle, a nawet w technologii noszenia - i przechwytują znaczną ilość danych. Te dane z czujników są również rodzajem dużych danych, więc ich użycie i przetwarzanie na platformie dużych zbiorów danych będzie dużym wyzwaniem dla organizacji.

Wniosek

Wydaje się, że duże zbiory danych pozostaną, a sposób, w jaki sobie z nimi poradzimy, będzie się nadal zmieniać i rozwijać. Oprócz tych pięciu trendów w nadchodzących latach pojawi się o wiele więcej wyzwań i pojawiających się trendów. Chmura i Internet Rzeczy będą zawsze obecne wraz z aplikacjami Big Data, a połączone technologie będą potężnym narzędziem do analizy danych.