Zawartość
- Co to jest nauka o wzmocnieniu?
- Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia
- Maszyny dla sprzedawców
- Wkrótce
- Myślenie większe
- Ścieżka do adopcji
Źródło: Juliatimchenko / Dreamstime.com
Na wynos:
Uczenie się przez wzmocnienie jest podzbiorem sztucznej inteligencji i uczenia maszynowego, który może przewidywać wyniki i pomagać użytkownikom w podejmowaniu lepszych decyzji.
Marketerzy stale szukają skalowalnych i inteligentnych rozwiązań, próbując uzyskać przewagę w coraz bardziej konkurencyjnych warunkach marketingowych. Nic dziwnego, że sztuczna inteligencja (AI) i uczenie maszynowe (ML) są obecnie masowo adoptowane przez marki i ich organizacje marketingowe. (Aby dowiedzieć się więcej o podstawach ML, sprawdź Machine Learning 101.)
W przypadku niewtajemniczonych sztuczną inteligencję można ogólnie uznać za technologię, gdy komputer automatyzuje określone zadania, które człowiek wykonałby inaczej. Uczenie maszynowe, jako obszar funkcjonalny w ramach sztucznej inteligencji, ma miejsce, gdy komputerowi wyznaczony jest cel końcowy, ale musi samodzielnie obliczyć najlepszą trasę.
Dzisiaj widzimy te technologie - zwłaszcza uczenie maszynowe - wdrażane w wielu obszarach marketingu, w tym w wykrywaniu oszustw reklamowych, prognozowaniu zachowań konsumentów, systemach rekomendacji, kreatywnej personalizacji i wielu innych.
Chociaż to wszystko dobrze i dobrze, istnieje nowa technologia odgałęzień, która dla marketerów naprawdę zaspokoi zapotrzebowanie na tworzenie maszynowego uczenia się. Nazywa się to „uczeniem się przez wzmocnienie” (RL).
Co to jest nauka o wzmocnieniu?
Zmiana z ML na RL to coś więcej niż litera. Większość zadań przekazanych uczeniu maszynowemu obejmuje wykonanie jednego kroku, na przykład „rozpoznanie tego obrazu”, „zrozumienie treści książki” lub „złapanie oszustwa”. Dla marketera celem biznesowym, takim jak „przyciągnięcie, utrzymanie i zaangażowanie użytkowników” jest z natury wieloetapowy i długoterminowy, niełatwy do osiągnięcia dzięki uczeniu maszynowemu.
W tym miejscu pojawia się nauka wzmacniania. Algorytmy RL polegają na optymalizacji pod kątem rozwijającej się i ciągle zmieniającej się podróży - takiej, w której pojawiają się problemy dynamiczne. Wykorzystując matematyczną „funkcję nagrody” do obliczenia wyniku każdej permutacji, RL może spojrzeć w przyszłość i wykonać właściwe sprawdzenie.
Dzisiaj najlepsze przykłady tej najnowocześniejszej technologii można zobaczyć w grach i samochodach z własnym napędem. Kiedy system AlphaGo firmy Google pokonał najlepszego gracza planszowego Go na świecie w zeszłym roku, ich tajnym sosem było uczenie się wzmacniające. Podczas gdy gry mają określone zasady, opcje gracza dotyczące drogi do zwycięstwa zmieniają się dynamicznie w zależności od stanu planszy. Dzięki uczeniu się przez wzmocnienie system uwzględnia wszystkie możliwe permutacje, które mogą ulec zmianie w zależności od każdego następnego ruchu.
Podobnie samochód samobieżny jedzie w podróż, w której zasady ruchu drogowego i lokalizacja celu podróży pozostają niezmienne, ale zmienne na drodze - od pieszych, po blokach drogowych i rowerzystów - zmieniają się dynamicznie. Właśnie dlatego OpenAI, organizacja założona przez Elona Muska Tesli, stosuje zaawansowane algorytmy RL dla swoich pojazdów.
Bez błędów, bez stresu - Twój przewodnik krok po kroku do tworzenia oprogramowania zmieniającego życie bez niszczenia życia
Nie możesz poprawić swoich umiejętności programistycznych, gdy nikt nie dba o jakość oprogramowania.
Maszyny dla sprzedawców
Co to wszystko oznacza dla marketerów?
Główne wyzwania wielu marketerów powstają w wyniku ciągłej zmiany warunków biznesowych. Strategia zwycięskiej kampanii może z czasem zostać uprzywilejowana, a stara strategia zyska nową przyczepność. RL jest krokiem w kierunku naśladowania prawdziwej ludzkiej inteligencji, w której uczymy się na podstawie sukcesów i / lub porażek wielu wyników i tworzymy zwycięską strategię przyszłości. Podam kilka przykładów:
1. Zwiększenie zaangażowania użytkowników
Skupmy się na zaangażowaniu klientów w sieci restauracji i dążymy do jej dziesięciokrotnego pomnożenia w ciągu następnego roku. Dzisiaj kampania marketingowa może obejmować powitanie urodzinowe z ofertą rabatu, być może nawet w oparciu o preferencje żywieniowe. Jest to myślenie liniowe, w którym marketer zdefiniował punkt początkowy i końcowy.
W zatłoczonym świecie życie klientów zmienia się w czasie rzeczywistym - czasem są bardziej zaangażowani, a czasem mniej. W uczeniu się przez wzmacnianie system nieustannie rekalibrowałby, które taktyki w zbrojowni marketingowej, w danym momencie, mają największe szanse na przesunięcie odbiorcy do ostatecznego celu 10-krotnego zaangażowania.
2. Dynamiczny przydział budżetu
Teraz wyobraź sobie scenariusz reklamowy, w którym masz budżet w wysokości 1 miliona dolarów i musisz wydawać codziennie do końca miesiąca, w czterech różnych kanałach: telewizyjnym, promocjach lojalnościowych i Google. Jak możesz się upewnić, że wydajesz budżet w najbardziej optymalny sposób? Odpowiedź zależy od dnia, docelowych użytkowników, ceny zapasów i wielu innych czynników.
W uczeniu się przez wzmocnienie algorytmy wykorzystywałyby dane z historycznych wyników reklamy do pisania funkcji nagradzania, które wynikają z niektórych decyzji dotyczących wydatków. Ale uwzględnia również czynniki w czasie rzeczywistym, takie jak ceny i prawdopodobieństwo pozytywnego odbioru od docelowego odbiorcy. Dzięki iteracyjnemu uczeniu się alokacja wydatków na reklamy w ciągu miesiąca zmieniałaby się dynamicznie. Chociaż ostateczny cel jest ustalony, RL przydzieli budżet w najlepszy możliwy sposób we wszystkich scenariuszach. (Aby uzyskać więcej informacji na temat sztucznej inteligencji w marketingu, zobacz Jak sztuczna inteligencja zrewolucjonizuje przemysł sprzedaży).
Wkrótce
Uczenie się przez wzmacnianie uznaje złożoność i uznaje, że ludzie są heterogeniczni, i uwzględnia te prawdy, poprawiając każde kolejne działanie w miarę upływu czasu, gdy elementy planszy zmieniają się wokół niego.
Uczenie się przez wzmacnianie jest nadal w dużej mierze domeną projektów badawczych i wiodących podmiotów wdrażających. Koncepcja i technika matematyki istnieje od ponad 40 lat, ale jej wdrożenie było możliwe dopiero stosunkowo niedawno, dzięki trzem trendom:
- Proliferacja mocy obliczeniowej dzięki procesorom graficznym o dużej mocy (GPU).
- Przetwarzanie w chmurze udostępnia wysokiej klasy moc procesora za ułamek kosztu zakupu samych GPU, umożliwiając stronom trzecim wynajęcie GPU w celu trenowania modelu RL na kilka godzin, dni lub tygodni po stosunkowo okazyjnej cenie w piwnicy.
- Poprawa algorytmów numerycznych lub inteligentnej heurystyki. Kilka krytycznych kroków numerycznych w algorytmie RL jest teraz w stanie zbiegać się w znacznie szybszym tempie. Bez tych magicznych sztuczek numerycznych nadal nie byłyby możliwe nawet przy dzisiejszych najpotężniejszych komputerach.
Myślenie większe
Wszystko to oznacza, że nowe moce uczenia wzmacniającego będą wkrótce dostępne na dużą skalę dla marek i marketerów. Jednak przyjęcie go będzie wymagać zmiany sposobu myślenia. Dla menedżera marketingu ta technologia oznacza możliwość oderwania rąk od kierownicy.
Każda firma ma swój cel, ale kiedy jesteś głęboko w okopach, codzienne działania podejmowane w kierunku tego celu mogą stać się niewyraźne. Teraz technologia RL pozwoli decydentom wyznaczyć cel, mając większą pewność, że systemy wytyczą swój najlepszy kurs w tym kierunku.
Na przykład w dzisiejszych reklamach wiele osób zdaje sobie sprawę, że takie wskaźniki, jak współczynnik klikalności (CTR) są jedynie przybliżeniem prawdziwych wyników biznesowych, liczonych tylko dlatego, że można je policzyć. Systemy marketingowe oparte na RL nie podkreślają takich wskaźników pośrednich i wszystkich związanych z nimi ciężkich podnoszenia ciężarów, umożliwiając szefom skupienie się na celach.
Będzie to wymagało od firm myślenia o swoich dużych problemach w znacznie bardziej proaktywny i długoterminowy sposób. Kiedy technologia będzie dojrzała, osiągną swój cel.
Ścieżka do adopcji
Uczenie się przez wzmocnienie nie jest jeszcze gotowe do pełnego wykorzystania przez marki; marketerzy powinni jednak poświęcić trochę czasu na zrozumienie tej nowej koncepcji, która może zrewolucjonizować sposób, w jaki marki prowadzą marketing, spełniając niektóre z pierwszych obietnic uczenia maszynowego.
Kiedy nadejdzie moc, pojawi się w oprogramowaniu marketingowym z interfejsem użytkownika, ale zadania wymagane przez to oprogramowanie zostaną radykalnie uproszczone. Dla personelu będzie mniej ruchomych przełączników i wprowadzania liczb, a także mniej czytania raportów analitycznych i działania na ich podstawie. Algorytm zajmie się większością zza deski rozdzielczej.
Jest mało prawdopodobne, aby RL mogła dopasować ludzką inteligencję od samego początku. Szybkość jego rozwoju zależałaby od opinii i sugestii sprzedawców. Musimy zadbać o to, aby poprosić komputer o rozwiązanie właściwego problemu i ukarać go, gdy tak nie jest. Wygląda na to, jak uczyłbyś swoje dziecko, prawda?