7 największych biznesowych wpadek spowodowanych przez AI

Biznesowa wpadka Google Photos

Listę biznesowych wpadek związanych z zastosowaniem sztucznej inteligencji otwiera sprawa z 2015 roku. Wtedy to właśnie aplikacja Google Photos wykorzystująca wczesną wersję sztucznej inteligencji służącej do rozpoznawania obrazu (computer vision), błędnie oznaczała zdjęcia czarnoskórych ludzi jako zdjęcia goryli. Stało się tak, ponieważ zbiór danych treningowych użyty do uczenia algorytmu zawierał zbyt mało zdjęć osób czarnoskórych.

Co więcej, Google miało podobny problem z kamerą Nest dedykowaną dla inteligentnego domu, która błędnie identyfikowała niektóre ciemnoskóre osoby jako zwierzęta. Te incydenty pokazują, że systemy komputerowego widzenia wciąż mają problemy z rozpoznawaniem cech charakterystycznych dla różnych ras.

Amazon. Dyskryminacja podczas rekrutacji

W 2023 roku firma iTutor Group zgodziła się zapłacić 365 000 dolarów, by zakończyć sprawę sądową dotyczącą używania dyskryminującego oprogramowania rekrutacyjnego. Okazało się, że program automatycznie odrzucał kandydatki w wieku 55+ oraz kandydatów w wieku 60+, nie biorąc pod uwagę ich doświadczenia ani kwalifikacji.

W podobny sposób zawiódł Amazon. Już w 2014 roku pracował nad AI do wspomagania procesu rekrutacji. System miał problemy z oceną CV kandydatek, gdyż uczył się na danych zawierających głównie dokumenty składane przez mężczyzn. Amazon porzucił wtedy projekt wdrożenia sztucznej inteligencji w procesie rekrutacyjnym, nie mogąc zagwarantować, że algorytmy nie będą dyskryminowały ze względu na płeć.

Te przypadki pokazują, że automatyzacja procesu rekrutacji niesie ze sobą ryzyko utrwalania uprzedzeń i niesprawiedliwego traktowania kandydatów.

Źródło: DALL·E 3, prompt: Marta M. Kania https://www.linkedin.com/in/martamatyldakania

ChatGPT nie działa i wymyśla fałszywe precedensy sądowe

Kolejny przypadek jest już całkiem współczesny. W 2023 roku prawnik Steven A. Schwartz użył ChatGPT do znalezienia poprzednich przypadków prawnych na potrzeby pozwu przeciwko liniom lotniczym Avianca. Okazało się jednak, że co najmniej 6 przypadków podanych przez AI było fałszywych — zawierały błędne nazwiska, numery spraw i cytaty.

Stało się tak, ponieważ wielkie modele językowe (Large Language Models, LLM) halucynują, czyli tworzą prawdopodobne odpowiedzi, jeśli nie są w stanie znaleźć odpowiednich faktów. Dlatego każdorazowo trzeba sprawdzać ich odpowiedzi. A ten krok pominął Schwartz. Dlatego sędzia nałożył na niego karę w wysokości 5000 dolarów za „rażące niedbalstwo”.

Apple Watch nie działa poprawnie u osób o ciemniejszej skórze

Zgodnie z pozwem zbiorowym z 2021 roku, aplikacja do pomiaru natlenienia krwi (pulsoksymetr) w zegarku Apple Watch nie działa poprawnie dla osób o ciemniejszym odcieniu skóry. Apple zapewnia, że testowało aplikację na „szerokiej gamie typów i odcieni skóry”, ale krytycy twierdzą, że urządzenia technologiczne wciąż nie są projektowane z myślą o osobach ciemnoskórych.

Źródło: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Wpadka biznesowa Zillow w handlu nieruchomościami

Zillow, firma zajmująca się pośrednictwem w sprzedaży i wynajmie nieruchomości uruchomiła w 2018 roku program Zillow Offers Zillow polegający na kupowaniu i szybkiej odsprzedaży domów.

CNN podało, że od czasu jego uruchomienia w kwietniu 2018 Zillow kupił 27 000 domów, a do końca września 2021 sprzedał jedynie 17 000. Zillow stwierdził, że do wpadki biznesowej doprowadziło zastosowanie sztucznej inteligencji. Algorytm źle prognozował ceny nieruchomości, przez co Zillow przepłaciło przy zakupach. Choć firma niezwłocznie zamknęła program, musiała zredukować 25% załogi. Przez niezamierzony zakup domów po cenach wyższych niż obecne szacunki przyszłych cen sprzedaży odnotowała 304 milionów dolarów straty.

Rasistowski czatbot Microsoftu

W 2016 roku Microsoft opublikował eksperymentalnego czatbota AI o imieniu Tay. Miał on uczyć się poprzez interakcje z użytkownikami Twittera (dziś X). W ciągu 16 godzin Tay „nauczył się” publikować obraźliwe, rasistowskie i seksistowskie tweety. Użytkownicy Twittera celowo prowokowali bota, który nie był wyposażony w odpowiednie mechanizmy zabezpieczające, które dziś stosowane są w chatbotach takich jak ChatGPT, Microsoft Copilot, czy Google Bard. Microsoft szybko wyłączył bota i przeprosił za incydent, jednak wspomnienie Tay to jedna z większych wpadek biznesowych Microsoftu.

Wpadka biznesowa z chatbotem przydarzyła się także Google, który wypuścił w 2020 bota o imieniu Meena. Podobnego błędu nie udało się uniknąć także firmie Meta (dawniej Facebook). W sierpniu 2022 wypuściła ona nowego chatbota AI o nazwie BlenderBot 3, który został zaprojektowany do prowadzenia rozmów z ludźmi i uczenia się na podstawie tych interakcji.

W ciągu kilku dni od jego udostępnienia pojawiły się doniesienia, że chatbot wypowiadał się w rozmowach obraźliwie, rasistowsko i niezgodnie z faktami. Przykłady obejmują twierdzenie, że Donald Trump wygrał wybory w Stanach Zjednoczonych w 2020, szerzenie antysemickich teorii spiskowych i krytykowanie samego Facebooka.

Jak uniknąć biznesowych wpadek przy wdrażaniu AI?

Jak widać, błędy w AI mogą mieć poważne konsekwencje dla firm, dlatego trzeba bardzo uważnie testować systemy uczenia maszynowego przed wprowadzeniem ich na rynek. Inaczej duże inwestycje w nowe technologie mogą zakończyć się wielką finansową i wizerunkową wpadką.

Jak zatem uniknąć wpadki biznesowej przy wdrożeniu sztucznej inteligencji? Choć pierwsza rada może wydawać się zbyt prosta, by mogła zadziałać, brzmi ona:

„Zadbaj o jakość danych!”

Druga rada dotyczy szeroko zakrojonych testów w zamkniętym środowisku, zanim narzędzie zostanie udostępnione publiczności. Testy powinny dotyczyć nie tylko technicznej sprawności narzędzia, lecz także sprawdzenia:

• zgodności z etyką — celem testów jest ograniczenie uprzedzeń i stereotypów powielanych przez AI,
• zgodności z prawem — sprawdzenie, czy dane wykorzystywane przez narzędzia AI, a także generowane przez nie treści są zgodne z prawem obowiązującym w danym kraju

Choć do tej rady nie stosują się dziś nawet giganci w dziedzinie sztucznej inteligencji, wypuszczając w świat chatboty oznaczone jako „Wczesne eksperymenty” lub „Projekty badawcze”. Jednak wraz ze wzrostem dojrzałości technologii oraz wejściem w życie prawa dotyczącego stosowania sztucznej inteligencji, kwestie te staną się coraz bardziej palące.