Zawartość
- ETL tworzy wąskie gardła dla Analytics
- Usprawnienie ETL dzięki uczeniu maszynowemu i sztucznej inteligencji
- Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia
Źródło: Pop Nukoonrat / Dreamstime.com
Na wynos:
Dane są kluczowe dla biznesu, ale aby były przydatne, nie mogą występować błędy w gromadzeniu, przetwarzaniu i prezentacji tych danych. Sztuczna inteligencja może monitorować procesy ETL, aby upewnić się, że są wolne od błędów.
ETL (ekstrakcja, transformacja i ładowanie) jest jednym z najważniejszych procesów w analizie dużych zbiorów danych - i jednocześnie może być jednym z największych wąskich gardeł. (Aby uzyskać więcej informacji na temat dużych zbiorów danych, zapoznaj się z 5 pomocnymi kursami Big Data, które możesz wziąć online).
Powodem, dla którego ETL jest tak ważny, jest to, że większość danych gromadzonych przez firmę nie jest gotowa, w swojej surowej formie, do rozwiązania analitycznego do strawienia. Aby rozwiązanie analityczne tworzyło wgląd, nieprzetworzone dane muszą zostać wyodrębnione z aplikacji, w której obecnie się znajdują, przekształcone do formatu, który program analityczny może odczytać, a następnie załadowane do samego programu analitycznego.
Ten proces jest analogiczny do gotowania. Twoje surowe składniki to Twoje surowe dane. Muszą zostać wyodrębnione (zakupione w sklepie), przetworzone (ugotowane), a następnie załadowane (powleczone), zanim będą mogły być analizowane (smakowane). Trudność i koszty mogą się nieprzewidywalnie skalować - łatwo jest zrobić ser mac n ’dla siebie, ale znacznie trudniej jest stworzyć menu dla smakoszy dla 40 osób na przyjęciu. Nie trzeba dodawać, że błąd w dowolnym momencie może spowodować niestrawność posiłku.
ETL tworzy wąskie gardła dla Analytics
ETL jest pod pewnymi względami podstawą procesu analitycznego, ale ma też pewne wady. Przede wszystkim jest wolny i kosztowny obliczeniowo. Oznacza to, że firmy często traktują priorytetowo tylko najważniejsze dane do analizy, a po prostu przechowują resztę. Przyczynia się to do tego, że do 99% wszystkich danych biznesowych nie jest wykorzystywanych do celów analitycznych.
Ponadto proces ETL nigdy nie jest pewny. Błędy w procesie ETL mogą uszkodzić dane. Na przykład krótki błąd sieci może uniemożliwić wyodrębnienie danych. Jeśli dane źródłowe zawierają wiele typów plików, mogą zostać niepoprawnie przekształcone. Śmieci w, śmieci, jak mówią - błędy podczas procesu ETL prawie na pewno wyrażą się w postaci niedokładnych analiz.
Zepsuty proces ETL może mieć złe konsekwencje. Nawet w najlepszym przypadku prawdopodobnie będziesz musiał ponownie uruchomić ETL, co oznacza opóźnienie godzin - a tymczasem twoi decydenci są niecierpliwi. W najgorszym przypadku nie zauważasz niedokładnych danych analitycznych, dopóki nie zaczniesz tracić pieniędzy i klientów.
Usprawnienie ETL dzięki uczeniu maszynowemu i sztucznej inteligencji
Możesz - i prawdopodobnie tak - wyznaczyć kogoś do monitorowania ETL, ale szczerze mówiąc, nie jest to takie proste. Złe dane mogą wynikać z błędów procesowych, które występują tak szybko, że nie można ich zauważyć w czasie rzeczywistym. Wyniki uszkodzonego procesu ETL często nie wyglądają inaczej niż poprawnie załadowane dane. Nawet gdy błędy są oczywiste, problem, który spowodował błąd, może nie być tak łatwy do prześledzenia. (Aby dowiedzieć się więcej o analizie danych, zobacz Rola zadania: Analityk danych.)
Dobra wiadomość jest taka, że maszyny mogą uchwycić to, czego ludzie nie potrafią. To tylko kilka sposobów, w jakie sztuczna inteligencja i uczenie maszynowe mogą wykryć błędy ETL, zanim przekształcą się one w niedokładne analizy.
Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia
Nie możesz poprawić swoich umiejętności programistycznych, gdy nikt nie dba o jakość oprogramowania.
1. Wykrywanie i ostrzeganie za pomocą wskaźników ETL
Nawet jeśli dane są ciągle zmieniającym się obrazem, proces ETL powinien nadal generować spójne wartości ze stałą szybkością. Kiedy te rzeczy się zmieniają, to jest powód do niepokoju. Ludzie widzą duże wahania danych i rozpoznają błędy, ale uczenie maszynowe może szybciej rozpoznać subtelniejsze błędy. System uczenia maszynowego może oferować wykrywanie anomalii w czasie rzeczywistym i bezpośrednio ostrzegać dział IT, umożliwiając im wstrzymanie procesu i rozwiązanie problemu bez konieczności rezygnacji z wielu godzin obliczeniowych.
2. Wskaż konkretne wąskie gardła
Nawet jeśli twoje wyniki są dokładne, mogą one nadal wychodzić zbyt wolno, aby były przydatne. Gartner tak mówi 80% spostrzeżeń pochodzące z analiz nigdy nie będą wykorzystywane do tworzenia wartości pieniężnej, a może to być spowodowane tym, że lider biznesu nie widzi wglądu, aby z niej skorzystać. Uczenie maszynowe pozwala określić, gdzie spowalnia Twój system, i dostarczyć odpowiedzi - szybciej i szybciej dostarczając lepsze dane.
3. Określ ilościowo wpływ zarządzania zmianami
Systemy, które generują dane i analizy, nie są statyczne - stale otrzymują łatki i aktualizacje. Czasami wpływają one na sposób, w jaki wytwarzają lub interpretują dane, co prowadzi do niedokładnych wyników. Uczenie maszynowe może oznaczać wyniki, które uległy zmianie, i śledzić je na konkretnej poprawionej maszynie lub aplikacji.
4. Zmniejsz koszt operacji
Zatrzymane operacje analityczne równały się utraconym pieniądzom. Czas spędzony na zastanawianiu się nie tylko nad rozwiązaniem problemu, ale także kto jest odpowiedzialny dla rozwiązania problemu jest czas, który możesz poświęcić na budowanie wartości. Uczenie maszynowe pomaga dotrzeć do sedna sprawy, ostrzegając tylko zespoły, które mogą być odpowiedzialne za reagowanie na określone rodzaje incydentów, pozwalając pozostałym działom IT na dalsze wykonywanie podstawowych funkcji. Ponadto uczenie maszynowe pomoże wyeliminować fałszywe alarmy, zmniejszając ogólną liczbę alertów, jednocześnie zwiększając ziarnistość informacji, które mogą one dostarczyć. Alert zmęczenie jest bardzo realne, więc ta zmiana będzie miała wymierny wpływ na jakość życia.
Jeśli chodzi o wygrywanie w biznesie, analityka ma kluczowe znaczenie. Przełomowe badanie przeprowadzone przez Bain Capital pokazuje, że firmy zatrudniające analityki mają ponad dwukrotnie większe szanse na lepsze wyniki finansowe. ETL stanowi podstawę sukcesu na tej arenie, ale opóźnienia i błędy mogą również uniemożliwić sukces programu analitycznego. Dlatego uczenie maszynowe staje się nieocenionym narzędziem sukcesu każdego programu analitycznego, pomagając zagwarantować czyste dane i dokładne wyniki.