Odkrywanie kradzieży danych za pomocą Hadoop i Big Data

Autor: Roger Morrison
Data Utworzenia: 20 Wrzesień 2021
Data Aktualizacji: 1 Lipiec 2024
Anonim
Odkrywanie kradzieży danych za pomocą Hadoop i Big Data - Technologia
Odkrywanie kradzieży danych za pomocą Hadoop i Big Data - Technologia

Zawartość


Źródło: Ximagination / Dreamstime.com

Na wynos:

Połączone moce dużych zbiorów danych i Hadoop są łączone w celu wykrycia kradzieży danych - i położyć temu kres.

Obecnie ryzyko kradzieży danych w wyniku ujawnienia danych w firmach i agencjach rządowych drastycznie wzrosło, a nowe przypadki są identyfikowane każdego dnia. Tego rodzaju kradzież danych może być ogromnym ciosem dla organizacji, ponieważ ujawniają poufne informacje i powodują utratę dużych sum pieniędzy. Nie da się tak łatwo zabezpieczyć danych, a nawet wiele zaawansowanych technik zawodzi w terenie. Najbardziej przerażające w tych kradzieżach jest to, że są niezwykle trudne do wykrycia. Czasami ich wykrycie może zająć kilka miesięcy, a nawet lat. Dlatego organizacje muszą podjąć potężne środki, które zapewnią, że ich dane zawsze pozostaną bezpieczne. Jedną z takich metod jest użycie kombinacji Hadoop i dużych zbiorów danych do wykrywania fałszywych stron internetowych o przestępstwach oraz do powiadamiania innych organizacji.


Dlaczego musimy zabezpieczyć dane?

Jak wspomniano wcześniej, nowe przypadki kradzieży danych są zgłaszane codziennie. Tego rodzaju kradzież danych może mieć miejsce w każdej firmie, czy to w organizacji rządowej, biznesowej, a nawet w serwisie randkowym. Szacuje się, że sama kradzież danych może spowodować utratę znacznego kapitału. Ile możesz zapytać? Około 455 miliardów dolarów rocznie!

Chociaż obecne systemy bezpieczeństwa, z których korzystają firmy, mogą przeciwdziałać niektórym prostym technikom kradzieży danych, nadal nie są w stanie przeciwdziałać bardziej złożonym próbom lub zagrożeniom wewnątrz organizacji. Ponadto, ponieważ rozpoznanie tych przypadków zajmuje tyle czasu, przestępcy mogą łatwo manipulować lukami w systemach bezpieczeństwa.

Jak przeciwdziałać tym zagrożeniom

Ponieważ liczba i złożoność tego rodzaju kradzieży danych rośnie, hakerzy znajdują nowe techniki manipulowania systemami bezpieczeństwa. Dlatego organizacje przechowujące ważne poufne dane muszą zmienić swoją obecną architekturę bezpieczeństwa, która jest w stanie reagować tylko na prostsze zagrożenia. Tylko praktyczne rozwiązanie może być przydatne do uniknięcia tego rodzaju kradzieży. Firma musi być gotowa na każdą kradzież, na którą będzie musiała planować z wyprzedzeniem. Pozwoli im to szybko zareagować na taką sytuację i poradzić sobie z nią.


Wiele firm podjęło inicjatywę dostarczenia rozwiązań, które pozwolą innym firmom chronić swoje dane przed złodziejami. Przykładem takiej firmy jest Terbium Labs, która wykorzystuje nowatorską metodę wykorzystywania dużych zbiorów danych i Hadoop do skutecznego wykrywania i reagowania na takie zagrożenia.

W jaki sposób nowa technika Terbium może pomóc w zabezpieczeniu danych?

Technika wykorzystywana przez Terbium do pomagania firmom w szybkim reagowaniu na zagrożenia nazywa się Matchlight. Ta zaawansowana technologia może być używana do skanowania sieci, w tym jej ukrytych części, w celu znalezienia wszelkiego rodzaju poufnych danych. Jeśli znajdzie takie dane, natychmiast zgłosi je użytkownikowi. Ta aplikacja jest również bardzo dokładna. W rzeczywistości tworzy unikatowe podpisy poufnych danych firmy, zwane „palcami”. Po wygenerowaniu unikalnych podpisów poufnych danych firmy aplikacja dokładnie dopasowuje dane do „palców” danych znalezionych w Internecie. Tak więc ta aplikacja dużych zbiorów danych może być wykorzystana do skutecznego identyfikowania przypadków kradzieży danych poprzez szukanie dowodów w Internecie. Jeśli dane zostaną znalezione w miejscach innych niż autoryzowane, takich jak Internet, Dark Web lub na stronie internetowej firmy konkurencyjnej, natychmiast poinformuje firmę macierzystą o skradzionych informacjach i jej lokalizacji.

Technologia „palcówki”

Matchlight wykorzystuje specjalną technologię zwaną palcami, dzięki której może dopasowywać duże ilości danych bez żadnych problemów. Aplikacja najpierw znajduje palce poufnych danych. Następnie jest on przechowywany w bazie danych i jest regularnie porównywany z danymi palców gromadzonymi w Internecie. Dane te można teraz wykorzystać do wykrywania narażenia danych w sieci. W przypadku znalezienia pasującego podpisu danych firma automatycznie powiadomi firmę kliencką, która może natychmiast zastosować zaplanowane środki bezpieczeństwa.

Jakie typy danych to obejmuje?

Matchlight może znaleźć dowolny rodzaj danych. Może to obejmować pliki obrazów, dokumenty, aplikacje, a nawet kody. Rozwiązanie jest tak potężne, że może przetwarzać jednocześnie całe, bardzo złożone zestawy danych. Z tego powodu wiele firm korzysta z Matchlight do bezpieczeństwa danych, a obecna baza danych Terbium zawiera ponad 340 miliardów palców, co rośnie z każdym dniem.

Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia

Nie możesz poprawić swoich umiejętności programistycznych, gdy nikt nie dba o jakość oprogramowania.

Jak pomaga Hadoop?

Aby skutecznie obsłużyć ogromne ilości danych w bazie danych, Terbium wymagało potężnej platformy przetwarzania dużych danych. Wybrali do tego Hadoop. Potrzebowali jednak szybkiej i wydajnej wersji Hadoop, która mogłaby zostać wykorzystana do skutecznego przetwarzania dużych zbiorów danych. W tym celu uznali, że najlepszym rozwiązaniem jest dystrybucja Hadoop dla przedsiębiorstw działających w natywnym kodzie. Nie wybrali wersji JVM, ponieważ spowodowało to duże obciążenie zasobów.

Współzałożyciel Terbium, Danny Rogers, zwrócił uwagę na znaczenie Hadoop. Powiedział, że wydajność Matchlight zależy od wydajności gromadzenia danych, która zależy od Hadoop. Pokazuje to znaczenie Hadoop w zapewnianiu bezpieczeństwa danych w organizacjach.

Perspektywy Hadoop w dziedzinie bezpieczeństwa danych

Terb szybko zyskuje na popularności, a już niektóre duże firmy z listy Fortune 500 zaczęły korzystać z usługi Matchlight do śledzenia skradzionych danych. Firmy te obejmują firmy opieki zdrowotnej, dostawców technologii, banki i innych takich dostawców usług finansowych. Wyniki są również zdumiewające. Firmy odzyskały około 30 000 rekordów danych kart kredytowych i 6000 nowych adresów, które zostały skradzione przez napastników, a wszystko to w ciągu pierwszych kilku sekund pierwszego dnia. Te były najwyraźniej na sprzedaż w Dark Web.

Korzyści z używania Hadoop do wykrywania skradzionych danych

Tak potężny rodzaj integracji między uczeniem maszynowym, bazami danych w chmurze a wysoce niezawodną i dokładną wersją Hadoop klasy korporacyjnej może przynieść firmom wiele korzyści. Te oparte na chmurze bazy danych będą w stanie zgromadzić dużą ilość danych, które zostaną wykorzystane przez aplikację, za pomocą Hadoop, aby dopasować podpisy w Internecie w ciągu kilku sekund. Dzięki temu Hadoop będzie w stanie znacznie przyspieszyć ogólne wyszukiwanie. Z tego powodu firmy będą mogły znaleźć skradzione dane w bardzo krótkim czasie, tj. Kilka sekund, zamiast aktualnego średniego potrzebnego czasu wyszukiwania, który wynosi 200 dni.

Dlaczego tylko Dystrybucja MapR?

Matchlight korzysta tylko z dystrybucji MapR dla Hadoop. Wynika to z różnych przyczyn. Pierwszym powodem jest to, że wersja Hadoop klasy korporacyjnej działa na natywnym kodzie, dzięki czemu efektywnie wykorzystuje każdy zasób. Zużywa również bardzo mało kosztów przechowywania, biorąc pod uwagę, że jest oparty na chmurze. Co więcej, jest niezwykle szybki, więc może łatwo pomóc w zarządzaniu dużą liczbą palców danych. Oferuje wiele dodatkowych funkcji klasy biznesowej, takich jak najnowocześniejsze zabezpieczenia, wysoka niezawodność oraz łatwe tworzenie kopii zapasowych i odzyskiwanie.

Wniosek

Hadoop okazuje się niezwykle przydatny w dziedzinie bezpieczeństwa danych w organizacjach. Wiele firm korzysta z MapR, aby skutecznie zarządzać danymi i planować ich wykonanie w przypadku kradzieży danych.Pojawia się także wiele nowych firm, które obiecują zabezpieczyć dane tych organizacji, a nawet wykryją kradzież danych w ciągu kilku sekund zamiast miesięcy.