Zawartość
- Biologiczne piękno AI
- Bias w językach
- 2. Dyskryminacja ze względu na płeć i wiek w pracy
- Niepowodzenie w rozpoznawaniu twarzy
- Odchylenie od reaktywizmu
Na wynos:
W ostatnich latach sztuczna inteligencja jest coraz częściej stosowana i stosowana do wszystkiego - od oceny urody po ocenę ryzyka recydywy. Czyniąc to, utrzymał również standardy, które wspierają uprzedzenia i dyskryminację w kilku przypadkach.
Postęp technologii może potencjalnie naprawdę demokratyzować dostęp do informacji i możliwości. Jednak w niektórych przypadkach jest on wykorzystywany w sposób, który wzmacnia pogląd, że w naszym społeczeństwie niektórzy ludzie są bardziej równi niż inni.
To, co widzieliśmy w następujących siedmiu przypadkach, w których sztuczna inteligencja (AI) jest celowo wykorzystywana do wykluczenia niektórych kategorii lub w której jest po prostu odzwierciedleniem uprzedzeń osadzonych przez jej ludzkich programistów z efektem dyskryminującym.
Biologiczne piękno AI
Piękno może być w oku patrzącego, ale kiedy ten subiektywny widok może zaprogramować AI, masz w tym programie stronniczość. Rachel Thomas relacjonowała jeden z takich odcinków w konkursie piękności od beauty.ai w 2016 roku. Wyniki pokazały, że jaśniejsze cery zostały ocenione bardziej atrakcyjnie niż ciemne.
W następnym roku „FaceApp, który wykorzystuje sieci neuronowe do tworzenia filtrów do zdjęć, stworzył„ filtr upałów ”, który rozjaśnił skórę ludzi i nadał im więcej cech europejskich.”
Bias w językach
Thomas przytacza także udokumentowany przykład tłumaczeń, które przewyższają stereotypowe oczekiwania dotyczące kariery. Punktem wyjścia są dwa zdania: „Ona jest lekarzem. On jest pielęgniarką”.
Jeśli przetłumaczysz je na język turecki i wrócisz na angielski, uzyskasz wyniki, których można oczekiwać od gry telefonicznej.
Zamiast tego, od czego zacząłeś, czekałbyś na oczekiwania z lat 50.: „On jest lekarzem. Ona jest pielęgniarką”. Wyjaśnia, że wynika to z neutralnego pod względem płci zaimka pojedynczego w języku tureckim, który przypisuje płeć na podstawie oczekiwań i stereotypowych uprzedzeń. (Przeczytaj Kobiety w AI: wzmacnianie seksizmu i stereotypów za pomocą techniki.)
Podczas gdy uprzedzenia rasowe i płciowe filtrujące się w obrazy i język są powodem do udręki, nie są one tym samym, co aktywna dyskryminacja wynikająca z AI, ale tak się też stało.
Dowodem na to był zrzut ekranu ograniczeń nałożonych na reklamę w kategorii mieszkań, która pozwoliła na zawężenie widowni poprzez wyłączenie wykluczeń z kategorii takich jak Afroamerykanie, Azjaci czy Latynosi. Ogłoszenie można obejrzeć tutaj.
Jak wskazuje ProPublica, dyskryminujący efekt takich reklam jest niezgodny z prawem zarówno na podstawie ustawy Fair Housing Act z 1968 r., Jak i Ustawy o prawach obywatelskich z 1964 r. Jedyną obroną w tym przypadku było to, że reklama nie była przeznaczona na mieszkanie, ponieważ nie była „ t o nieruchomości lub domu na sprzedaż lub wynajem.
Istnieją jednak inne przypadki targetowania, które wskazują na uprzedzenia rasowe i które zmotywowały różne podmioty do wniesienia pozwów cywilnych przeciwko sieci społecznościowej. Jak poinformował Wired, ostatecznie postanowił dostosować technologię kierowania reklam w wyniku rozstrzygnięcia pięciu spraw prawnych, w których zarzucono mu możliwość dyskryminacji mniejszości poprzez reklamy w marcu 2019 r.
W swoim raporcie na temat ugody ACLU wskazała, jak podstępne mogą być takie ukierunkowane reklamy, ponieważ mniejszości i kobiety mogą nawet nie zdawać sobie sprawy, że nie mają takiego samego dostępu do informacji, mieszkania i możliwości pracy, które są dzielone z białymi mężczyznami.
Ponieważ coraz więcej osób korzysta z Internetu w celu znalezienia pracy, mieszkań i pożyczek, istnieje realne ryzyko, że kierowanie reklam powiela się, a nawet pogłębi istniejące uprzedzenia rasowe i płciowe w społeczeństwie. Wyobraź sobie, że jeśli pracodawca zdecyduje się wyświetlać reklamy prac inżynieryjnych tylko mężczyznom - nie tylko użytkownicy, którzy nie zostaną zidentyfikowani jako mężczyźni, nigdy nie zobaczą tych reklam, ale też nigdy nie będą wiedzieć, co przegapili.
W końcu rzadko mamy sposób na identyfikację reklam, których nie widzimy w Internecie. To, że dyskryminacja ta jest niewidoczna dla wykluczonego użytkownika, sprawia, że trudniej go zatrzymać.
2. Dyskryminacja ze względu na płeć i wiek w pracy
Wśród spraw prawnych była dozwolona nielegalna dyskryminacja w budownictwie mieszkaniowym. W swoim raporcie na temat ugody ProPublica powiedział, że przetestował platformę i z powodzeniem kupił „reklamy związane z mieszkaniem w wykluczonych grupach, takich jak Afroamerykanie i Żydzi, i wcześniej znajdował ogłoszenia o pracy wykluczające użytkowników według wieku i płci umieszczone przez firmy to nazwiska domowe ”.
Wiele ogłoszeń o pracy, które ACLU znalazło, były wyraźnie skierowane tylko do mężczyzn w określonym przedziale wiekowym, ponieważ użytkownicy mogli znaleźć odpowiedź na pytanie, dlaczego wyświetlono tę reklamę, w innym artykule przewodowym. ACLU oskarżyła Komisję ds. Równych Szans Zatrudnienia przeciwko sieci społecznościowej i firmom, które umieściły reklamy, uzasadniając, że naruszają one zarówno prawa pracy, jak i prawa obywatelskie.
Dyskryminacja osób zatrudnionych w wieku powyżej 40 lat narusza federalną ustawę o dyskryminacji ze względu na wiek w zatrudnieniu (ADEA). Jednak kierowanie ogłoszeń o pracę tylko do osób poniżej tego wieku jest jedną z możliwości platformy.
ProPublica skupiła się na jednym z raportów, w którym ujawniono, które oferty pracy wykorzystywały tę nielegalną formę wykluczenia ze względu na wiek. Do „nazwisk domowych” należą między innymi Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For the Public Interest, Goldman Sach, OpenWorks i sama.
Niepowodzenie w rozpoznawaniu twarzy
„Rozpoznawanie twarzy jest dokładne, jeśli jesteś białym facetem” zadeklarował nagłówek artykułu w New York Times opublikowanego w lutym 2018 r. Przytoczył wyniki, które wykazały wyraźną korelację między kolorem skóry a błędną identyfikacją:
„Im ciemniejsza skóra, tym więcej błędów - do prawie 35% w przypadku zdjęć ciemnoskórych kobiet, zgodnie z nowym badaniem, które otwiera nowy grunt, mierząc, jak technologia działa na ludziach różnych ras i płci”.
Odkrycia przypisuje się Joyowi Buolamwini, badaczowi z MIT Media Lab i założycielowi Algorytmicznej Ligi Sprawiedliwości (AJL). Jej obszarem badań są uprzedzenia leżące u podstaw sztucznej inteligencji, co prowadzi do tak wypaczonych wyników, jeśli chodzi o rozpoznawanie twarzy, które nie pasują do zestawu norm białych mężczyzn dla modelu.
Buolamwini przedstawiła problem uprzedzeń rasowych i płciowych w rozpoznawaniu twarzy podczas przemówienia TED w 2017 r., O którym wspominała na początku 2018 r. W filmie The Gender Shades Project z MIT Lab:
<
W opisie filmu zaznaczono, że pozostawienie niezaznaczonego uprzedzenia AI „kaleczy epokę automatyzacji i jeszcze bardziej pogłębi nierówność, jeśli pozostawi się ją w spokoju”. Ryzyko jest niczym innym jak „utratą korzyści płynących z ruchu na rzecz praw obywatelskich i ruchu kobiet przy fałszywym założeniu neutralności maszyn”.
Opis filmu dodaje ostrzeżenie, na które zwracało uwagę wielu innych, jak widzieliśmy w Women in AI: Reinforcing Sexism and Stereotypes with Tech: „Zautomatyzowane systemy nie są z natury neutralne. Odzwierciedlają priorytety, preferencje i uprzedzenia - zakodowane spojrzenie - tych, którzy mają moc kształtowania sztucznej inteligencji ”.
25 stycznia 2019 r. Buolamnwini opublikowała średni post, który opierał się na jej własnych badaniach oraz badaniach dodatkowych badaczy, którzy wskazali, w jaki sposób błędy AI powodują błędy w Rekognition Amazon, i zażądali, aby firma przestała sprzedawać usługę AI departamentom policji.
Podczas gdy Rekognition może pochwalić się 100% dokładnością w rozpoznawaniu jasnoskórych mężczyzn i 98,7% dokładnością nawet w przypadku ciemniejszych mężczyzn, jeśli chodzi o kobiety, dokładność spadła do 92,9% w przypadku lżejszych kobiet. Jeszcze bardziej rażący był gwałtowny spadek do zaledwie 68,6% dokładności dla ciemniejszych kobiet.
Ale Amazon nie chciał ustąpić. W artykule Venture Beat zacytowano wypowiedź dr. Matta Wooda, dyrektora generalnego głębokiego uczenia się i sztucznej inteligencji w AWS, w której podkreślił, że odkrycia badaczy nie odzwierciedlają rzeczywistego wykorzystania sztucznej inteligencji, wyjaśniając:
„Analiza twarzy i rozpoznawanie twarzy różnią się całkowicie pod względem technologii i danych wykorzystywanych do ich szkolenia. Próba użycia analizy twarzy do oceny dokładności rozpoznawania twarzy jest odradzana, ponieważ nie jest to zamierzony algorytm do tego celu ”.
Ale nie tylko ci związani z głównymi ośrodkami badawczymi, którzy uznali algorytmy za bardzo problematyczne. Według raportu Gizmodo ACLU przeprowadziła własny test przy najbardziej rozsądnym koszcie 12,33 USD. Okazało się, że Rekognition dopasowało 28 członków Kongresu do zdjęć przestępców.
„Fałszywe dane identyfikacyjne zostały dokonane, gdy ACLU z Północnej Kalifornii zleciło Rekognition dopasowanie zdjęć wszystkich 535 członków Kongresu do 25 000 publicznie dostępnych zdjęć typu mugshot”.
Ponieważ 11 z 28 osób było w kolorze, odzwierciedlało to dla nich znaczny poziom błędu 39%. Natomiast poziom błędu jako całości wynosił 5%. Sześciu członków Kongresowego Czarnego Klubu, którzy znaleźli się wśród Rekognition związanych z mugshotami, wyraziło swoje zaniepokojenie w liście otwartym do prezesa Amazon.
Odchylenie od reaktywizmu
Odchylenie osadzone w sztucznej inteligencji wobec osób kolorowych staje się poważniejszym problemem, gdy oznacza coś więcej niż tylko błąd w identyfikacji. Takie było odkrycie innego dochodzenia ProPublica w 2016 r. Konsekwencjami takiego uprzedzenia są nic innego jak indywidualna swoboda połączona z ignorowaniem realnego ryzyka osoby, której kolor skóry jest preferowany przez algorytm.
Artykuł dotyczył dwóch równoległych przypadków z udziałem jednego sprawcy białego i jednego czarnego. Algorytm wykorzystano do przewidzenia, który z nich ponownie może złamać prawo. Czarny został oceniony na wysokie ryzyko, a biały na niskie ryzyko.
Przepowiednia całkowicie go nie zrozumiała, a białego, który wyszedł na wolność, trzeba było ponownie uwięzić. Jest to niezwykle problematyczne, ponieważ sądy polegają na punktacji przy podejmowaniu decyzji o zwolnieniu warunkowym, a to oznacza, że uprzedzenia rasowe uwzględnione w programie oznaczają nierówne traktowanie zgodnie z prawem.
ProPublica przetestowała algorytm we własnym zakresie, porównując oceny ryzyka ponad 7 000 osób aresztowanych w hrabstwie Broward na Florydzie w 2013 i 2014 r. Do liczby osób, które zostały postawione przeciwko nim w kolejnych dwóch latach.
Okazało się, że tylko 20% prognoz dotyczących powtarzania przestępstw o charakterze przemocy się sprawdziło, a więcej drobnych przestępstw miało miejsce tylko u 61% osób z wynikami wskazującymi na ryzyko.
Prawdziwym problemem jest nie tylko brak dokładności, ale także uprzedzenia rasowe:
- Formuła szczególnie prawdopodobnie fałszywie oznaczała czarnych oskarżonych jako przyszłych przestępców, niewłaściwie oznaczając ich w ten sposób prawie dwukrotnie częściej niż białych oskarżonych.
- Biali oskarżeni byli błędnie określani jako niskiego ryzyka częściej niż czarni.
W efekcie przełożyło się to na poziom błędu wynoszący 45% dla osób czarnych i 24% dla osób białych. Pomimo tej rażącej statystyki Thomas poinformował, że Sąd Najwyższy Wisconsin nadal utrzymywał stosowanie tego algorytmu. Opisuje także inne problemy związane z algorytmami recydywy.