Zawartość
- Co to jest Apache Spark?
- Dlaczego Spark jest tak ważny w stosunku do Hadoop
- Jakie są unikalne cechy iskier?
- Dlaczego Spark nie jest zamiennikiem Hadoop
- Co firmy myślą o Spark i Hadoop
- Praktyczne realizacje
- Wniosek
Źródło: Snake3d / Dreamstime.com
Na wynos:
Apache Spark to narzędzie typu open source do przetwarzania dużych zbiorów danych, które pełzają na (i pod pewnymi względami przewyższają) platformę Hadoop.
Apache Hadoop od dawna stanowi podstawę dla aplikacji Big Data i jest uważany za podstawową platformę danych dla wszystkich ofert związanych z Big Data. Jednak baza danych i obliczenia w pamięci zyskują popularność ze względu na wyższą wydajność i szybkie wyniki. Apache Spark to nowy framework, który wykorzystuje możliwości pamięci w celu zapewnienia szybkiego przetwarzania (prawie 100 razy szybszego niż Hadoop). Tak więc produkt Spark jest coraz częściej wykorzystywany w świecie dużych zbiorów danych, głównie w celu szybszego przetwarzania.
Co to jest Apache Spark?
Apache Spark to platforma typu open source do szybkiego przetwarzania i przetwarzania ogromnych ilości danych (big data). Nadaje się do aplikacji analitycznych opartych na big data. Spark może być używany ze środowiskiem Hadoop, autonomicznie lub w chmurze. Został on opracowany na Uniwersytecie Kalifornijskim, a następnie zaoferowany Apache Software Foundation. W związku z tym należy do społeczności open source i może być bardzo opłacalny, co dodatkowo umożliwia programistom-amatorom łatwą pracę. (Aby dowiedzieć się więcej o otwartym oprogramowaniu Hadoops, zobacz Jaki jest wpływ Open Source na ekosystem Apache Hadoop?)
Głównym celem Spark jest to, że oferuje programistom strukturę aplikacji, która działa wokół wyśrodkowanej struktury danych. Spark jest również niezwykle wydajny i ma wrodzoną zdolność do szybkiego przetwarzania ogromnych ilości danych w krótkim okresie czasu, oferując tym samym wyjątkowo dobrą wydajność.To sprawia, że jest znacznie szybszy niż jego najbliższy konkurent, Hadoop.
Dlaczego Spark jest tak ważny w stosunku do Hadoop
Apache Spark zawsze był znany z wielu atutów Hadoopa, co prawdopodobnie wyjaśnia, dlaczego jest on tak ważny. Jednym z głównych powodów tego jest rozważenie szybkości przetwarzania. W rzeczywistości, jak już wspomniano powyżej, Spark oferuje około 100 razy szybsze przetwarzanie niż MapReduce firmy Hadoop dla tej samej ilości danych. Zużywa również znacznie mniej zasobów w porównaniu do Hadoop, dzięki czemu jest opłacalny.
Innym kluczowym aspektem, w którym Spark ma przewagę, jest zgodność z menedżerem zasobów. Apache Spark działa na platformie Hadoop, podobnie jak MapReduce, jednak ta ostatnia jest obecnie kompatybilna tylko z Hadoop. Jednak w przypadku Apache Spark może współpracować z innymi menedżerami zasobów, takimi jak YARN lub Mesos. Badacze danych często wymieniają to jako jeden z największych obszarów, w których Spark naprawdę wyprzedza Hadoop.
Jeśli chodzi o łatwość użycia, Spark ponownie okazuje się być znacznie lepszy niż Hadoop. Spark ma interfejsy API dla kilku języków, takich jak Scala, Java i Python, oprócz takich jak Spark SQL. Pisanie funkcji zdefiniowanych przez użytkownika jest stosunkowo proste. Zdarza się również, że oferuje tryb interaktywny do uruchamiania poleceń. Hadoop, z drugiej strony, jest napisany w Javie i zyskał reputację dość trudnego do zaprogramowania, chociaż ma narzędzia, które pomagają w tym procesie. (Aby dowiedzieć się więcej o Spark, zobacz Jak Apache Spark pomaga w szybkim rozwoju aplikacji).
Jakie są unikalne cechy iskier?
Apache Spark ma kilka unikalnych cech, które naprawdę odróżniają go od wielu konkurentów w branży przetwarzania danych. Niektóre z nich zostały krótko opisane poniżej.
Nie możesz poprawić swoich umiejętności programistycznych, gdy nikt nie dba o jakość oprogramowania.
Spark ma również wrodzoną zdolność do ładowania niezbędnych informacji do swojego rdzenia za pomocą algorytmów uczenia maszynowego. Dzięki temu może być niezwykle szybki.
Apache Spark oferuje możliwość przetwarzania wykresów, a nawet informacji o charakterze graficznym, co umożliwia łatwą analizę z dużą precyzją.
Apache Spark ma MLib, który jest strukturą przeznaczoną do strukturalnego uczenia maszynowego. Jest także przeważnie szybszy we wdrażaniu niż Hadoop. MLib jest także w stanie rozwiązać kilka problemów, takich jak odczyt statystyczny, próbkowanie danych i testowanie przesłanek.
Dlaczego Spark nie jest zamiennikiem Hadoop
Pomimo tego, że Spark ma kilka aspektów, w których przewyższa Hadoopa, wciąż istnieje kilka powodów, dla których nie może tak naprawdę zastąpić Hadoopa.
Po pierwsze, Hadoop oferuje po prostu większy zestaw narzędzi w porównaniu do Spark. Ma również kilka praktyk uznanych w branży. Apache Spark jest jednak stosunkowo młody w domenie i będzie potrzebował trochę czasu, aby zbliżyć się do Hadoop.
MapReduce firmy Hadoop wyznaczył również pewne standardy branżowe w zakresie prowadzenia pełnoprawnych operacji. Z drugiej strony nadal uważa się, że Spark nie jest w pełni gotowy do działania z pełną niezawodnością. Często organizacje korzystające ze Spark muszą go dostroić, aby przygotować go do zestawu wymagań.
MapReduce firmy Hadoop, który jest dostępny od dłuższego czasu niż Spark, jest również łatwiejszy do skonfigurowania. Tak nie jest w przypadku Spark, biorąc pod uwagę, że oferuje on zupełnie nową platformę, która tak naprawdę nie przetestowała wstępnych poprawek.
Co firmy myślą o Spark i Hadoop
Wiele firm zaczęło już wykorzystywać Spark do potrzeb przetwarzania danych, ale historia się nie kończy. Z pewnością ma kilka silnych aspektów, dzięki czemu jest niesamowitą platformą przetwarzania danych. Ma jednak także sporo wad, które wymagają naprawy.
Jest to opinia branży, że Apache Spark ma tu pozostać, a być może nawet przyszłość dla potrzeb przetwarzania danych. Jednak nadal wymaga wielu prac rozwojowych i dopracowania, które pozwolą mu naprawdę wykorzystać swój potencjał.
Praktyczne realizacje
Apache Spark był i jest nadal wykorzystywany przez wiele firm, które odpowiadają ich wymaganiom przetwarzania danych. Jedno z najbardziej udanych wdrożeń zostało przeprowadzone przez Shopify, który szukał odpowiednich sklepów do współpracy biznesowej. Jednak jego hurtownia danych utrzymywała limit czasu, gdy chciał zrozumieć, jakie produkty sprzedają jej klienci. Z pomocą Spark firma była w stanie przetworzyć kilka milionów rekordów danych, a następnie przetworzyć 67 milionów rekordów w ciągu kilku minut. Określono także, które sklepy kwalifikują się.
Korzystając ze Spark, Pinterest jest w stanie zidentyfikować rozwijające się trendy, a następnie wykorzystać go do zrozumienia zachowania użytkowników. To dodatkowo pozwala na lepszą wartość w społeczności Pinterest. Spark jest także wykorzystywany przez TripAdvisor, jedną z największych stron z informacjami o podróżach, w celu przyspieszenia rekomendacji dla odwiedzających.
Wniosek
Nie można nawet wątpić w sprawność Apache Spark, nawet w chwili obecnej, oraz unikalny zestaw funkcji, które wprowadza na stół. Jego moc obliczeniowa i szybkość, a także kompatybilność nadają ton kilku rzeczom, które nadejdą w przyszłości. Ma jednak także kilka obszarów, w których musi się poprawić, aby naprawdę zrealizować swój pełny potencjał. Podczas gdy Hadoop wciąż rządzi obecnie gniazdem, Apache Spark ma przed sobą świetlaną przyszłość i przez wielu jest uważana za przyszłą platformę do przetwarzania danych.