Halucynacje AI to wyzwanie związane z wdrażaniem rozwiązań bazujących na sztucznej inteligencji

Halucynacje AI to zjawisko zwracania przez sztuczną inteligencję informacji, które są błędne, zniekształcone lub bezsensowne. Nie zawsze jednak użytkownik na pierwszy rzut oka może zweryfikować, że AI wygenerowała błędną odpowiedź. Źródła halucynacji sztucznej inteligencji mogą być różne, a po ich weryfikacji możliwe jest minimalizowanie wskazanego ryzyka.

---

Jakiś czas temu w Internecie pojawiało się bardzo dużo informacji na temat wysokiej jakości wysokospecjalistycznych tekstów generowanych przez ChatGPT dostępny na stronie OpenAI. Sztuczna inteligencja podobno tworzyła pisma pozwalające na skuteczne załatwienie spraw administracyjnych. Wedle internetowych plotek przygotowywała także świetne oferty i briefy. Czy w rzeczywistości AI generuje wysokiej jakości specjalistyczne treści? Na pewno nie zawsze, a wszystkiemu winne są halucynacje AI.

Halucynacje AI – przykłady badań i opracowań

Na początku przyjrzymy się zjawisku halucynacji AI. Temat ten od pewnego czasu jest często poruszany przez naukowców i specjalistów z różnych dziedzin. Halucynacje AI rodzą bowiem potencjalne niebezpieczeństwa. Użytkownik, korzystający ze sztucznej inteligencji, bez dodatkowej weryfikacji poprawności efektów jej pracy może podjąć błędne decyzje, jeżeli uzna niepoprawny wynik za właściwy. Naukowe opracowania dotyczące halucynacji AI są w fazie rozwojowej. Z pewnością jest to obszar wymagający dokładniejszej weryfikacji. Już teraz jednak podejmowane są wysiłki w celu tworzenia rozwiązań umożliwiających minimalizowanie ryzyka. Kompleksowy przegląd aktualnej wiedzy na ten temat można znaleźć w artykule „Survey of Hallucination in Natural Language Generation”, Ziwei Ji i inni. 

Często weryfikowanym przez naukowców rozwiązaniem jest także dobrze nam znana generatywna sztuczna inteligencja (generative AI, genAI) – ChatGPT. Wynika to z faktu, że – jako bezpłatne rozwiązanie – szybko stała się stosunkowo popularna. W przypadku tych badań zwraca się szczególnie uwagę na niepoprawne dane lub informacje biograficzne, które ChatGPT wstawiał w pisanych przez siebie tekstach. Więcej na ten temat można przeczytać w artykule „Exploring the boundaries of reality: investigating the phenomenon of artificial intelligence hallucination in scientific writing through ChatGPT references”, Sai Anirudh Athaluri i inni.

Warto podkreślić, że komunikaty generowane przez ChatGPT mogą cechować się wysokim poziomem skuteczności komunikacji perswazyjnej nawet wtedy, gdy w treści zawarte są błędy. Wynika to z:

• przypisywania ChatGPT ponadprzeciętnej wiedzy, ponieważ ma dostęp do dużego zbioru danych, z punktu widzenia człowieka niemożliwego do przetworzenia (tzw. fachowość);
• formy wypowiedzi niepozostawiającej przestrzeni do podważania prezentowanych przez ChatGPT faktów, uznawania, że prezentuje on dokładnie to, co jest zawarte w dostępnej bazie czy zbiorze, innymi słowy odbiorca bez gruntownej wiedzy nie ma podstaw do podważania „prawdomówności” chatbota (rzetelność).

Z tego powodu warto zapamiętać poniższy tekst. Ostateczna odpowiedzialność za korzystanie z treści generowanych przez ChatGPT leży bowiem po stronie użytkownika.

Czym są halucynacje AI?

Ale czym właściwie są halucynacje AI? Proces przetwarzania informacji w ramach transformatora genAI (encoder i decoder w różnych wariantach) nie zawsze daje oczekiwane rezultaty. Niekiedy sztuczna inteligencja zwraca niepoprawne, bezsensowne lub zniekształcone wyniki. To właśnie taki stan nazywamy halucynacjami AI, które mogą być spowodowane:

• brakami w bazie, która posłużyła do trenowania sztucznej inteligencji;
• tzw. szumami i zanieczyszczeniami w danych, które posłużyły do nauki AI;
• brakiem informacji na temat kontekstu zapytania skierowanego do sztucznej inteligencji;
• brakiem właściwie zdefiniowanych ograniczeń, przez co zwracane informacje nie spełniają oczekiwań.

GPT wymaga dodatkowego treningu

Warto podkreślić, że ChatGPT dostępny na stronie OpenAI jest generatywną sztuczną inteligencją wytrenowaną na dużych zbiorach danych w celu prowadzenia konwersacji. Do rozwiązywania specyficznych problemów, takich jak tworzenie specjalistycznych tekstów, GPT wymaga dodatkowego treningu.

Oznacza to, że aby genAI tworzyła profesjonalne treści, np. pisma sądowe czy inne teksty specjalistyczne, należy przygotować odpowiednie dane, które umożliwią dostrojenie sztucznej inteligencji do wysokospecjalistycznych zadań. Nawet takie dostrojenie AI nie gwarantuje bezbłędnego działania. Nie można jednak krytykować możliwości ChatGPT tylko na podstawie bezpłatnej wersji dostępnej na stronie OpenAI. Jednocześnie trudno jest zgodzić się z tezą, że wygenerowane na niej teksty wysokospecjalistyczne są na poziomie treści tworzonych przez specjalistów.

ChatGPT – teksty dotyczące marketingu a halucynacje AI

Należy przyznać, że ChatGPT bardzo dobrze radzi sobie z generowaniem tekstów i odpowiadaniem na pytania użytkowników. Uważam jednak, że przypisywanie mu – w wersji dostępnej na stronie OpenAI – umiejętności tworzenia wysokiej jakości tekstów specjalistycznych jest zdecydowanie zbyt pochopnym działaniem. Swoją tezę opieram na świadomości, że w przypadku genAI nie trudno o zjawisko halucynacji AI, a GPT wymaga dodatkowego treningu w celu generowania wysokospecjalistycznych treści.

W Internecie można znaleźć wiele plotek na temat odwołań i pism z dziedziny prawa generowanych przez ChatGPT. Podobno chatbot z powodzeniem pisał także briefy marketingowe. Postanowiłam zweryfikować pogłoski na ten tematy na podstawie prostego artykułu dotyczącego ekwiwalentu reklamowego. Efekty pracy ChatGPT zestawiłam ze swoim wpisem, który jest dostępny tutaj.

Czym jest ekwiwalent reklamowy?

Dla przypomnienia ekwiwalent reklamowy (AVE, Advertising Value Equivalent) to wskaźnik informujący, jaką kwotę należałoby wydać za opublikowanie darmowego przekazu będącego efektem działań PR, gdyby stanowił on reklamę. Pod uwagę bierze się czynniki wpływające na cenę reklamy: medium, jego zasięgi, czas antenowy lub umiejscowienie informacji (wyróżnione wpisy, okładka, strony parzyste i nieparzyste dla druku itp.), objętość ogłoszenia. Nie zawsze jest to jednak wskaźnik w pełni miarodajny.

Z jednej strony – bezpłatna publikacja może być mniej korzystna niż reklama. Należy bowiem pamiętać, że w przypadku działań marketingowych nie bez znaczenia są kwestie związane z audytorium. Najczęściej wskazuje się tutaj wskaźnik dopasowania medium do grupy docelowej marki, czyli tzw. affinity index. W przypadku działań PR, które nie są ukierunkowane na określone tytuły, programy czy audycje, informacja o firmie może pojawić się w mało atrakcyjnych mediach z punktu widzenia efektywności komunikacji. W rezultacie duża liczba publikacji nie przełoży się na realizację celu marketingowego w postaci zwiększenia przychodu czy udziału w rynku. Brak pełnej kontroli nad przekazem cechuje się również innymi zagrożeniami. Dziennikarze mogą przykładowo pominąć istotne dla firmy informacje lub przygotować treść stawiającą markę w niekorzystnym świetle. 

Z drugiej strony – działania public relations często są korzystniejsze niż reklama. Odbiorcy treści podchodzą z większym zaufaniem do głównej treści audycji czy artykuł dziennikarskiego niż do reklam. Ponadto działania PR pozwalają kreować wizerunek marki w powiązaniu z pożądanymi cechami i wartościami. Przynoszą również marce korzyści wizerunkowe wykraczające poza proste wskaźniki służące do oceny efektywności reklamy. 

Biorąc pod uwagę powyższe informacje – ekwiwalent reklamowy to wskaźnik, który bez dodatkowych analiz nie oddaje w pełni zysków, jakie firma odnosi z działań PR. Z tego powodu korzystanie z tego wskaźnika jako jedynego sposobu mierzenia efektywności działań public relations jest często uznawane za niewystarczające.

ChatGPT o ekwiwalencie reklamowym

Poprosiłam ChatGPT, aby napisał tekst dotyczący wcześniej wskazanego ekwiwalentu reklamowego. Efekty jego działania można znaleźć poniżej.

ChatGPT miewa halucynacje AI

Powyżej wskazane artykuły stworzone przez ChatGPT zawierają niepoprawne informacje oraz uproszczenia, a poziom zniekształceń treści zbliżonej do poprawnej powoduje, że należy uznać ją za wprowadzającą w błąd. Jest to wynik wcześniej opisanych halucynacji AI. Tekst czyta się płynnie i lekko, niestety bez możliwości wyniesienia z niego wiedzy. ChatGPT pomylił ekwiwalent reklamowy ze wskaźnikami służącymi do pomiaru efektywności reklamy, początkowo uznał także, że nie dotyczy on działań PR. Jeżeli spojrzymy na powyżej wskazane przeze mnie informacje, szybko zorientujemy się, że chatbot popełnił istotne błędy. Pojawiły się w jego tekście informacje dotyczące kontrowersji wokół omawianego wskaźnika, co jest zgodne z prawdą. Niestety ChatGPT nie potrafił ich poprawnie opisać. 

Następnie poprosiłam ChatGPT o wygenerowanie definicji AVE. Uznałam, że zapytanie tego typu będzie bardziej precyzyjne dla AI. Chatbot przetłumaczył dosłownie termin „Advertising Value Equivalent” (AVE) jako „Równoważność Wartości Reklamy”. Jednocześnie poprawnie powiązał wskaźnik z działaniami PR. Uznał jednak, że służy do „oszacowania wartości mediów, w których pojawiła się konkretna treść lub reklama”. Kontrowersje dostrzegł w tym, że „wartość mediów może być jednoznacznie przeliczona na wartość reklamy, co może prowadzić do zniekształcenia rzeczywistej wartości i wpływu kampanii”. W powyższych informacjach dostrzegalne są zniekształcenia względem rzeczywistej definicji pojęcia. Problemy te mogą być spowodowane również kwestią tłumaczenia treści przez ChatGPT, których ten nauczył się na podstawie dostępnej bazy w języku angielskim.

Dlaczego ChatGPT nie radzi sobie z profesjonalnymi tekstami?

Analizując powyższy przykład, można dostrzec, że ChatGPT nie radzi sobie z wyjaśnieniem pojęcia, zniekształcając jego definicję. Wynika to z faktu, że algorytmy AI nie rozumieją znaczenia tworzonej treści, generując ją na podstawie dużych zbiorów danych, z których korzystają. W pewnym sensie – stosując odpowiednie zasady językowe, przeredagowują dostępne im teksty, tworząc efekt, który po skorzystaniu z wielu utworów oraz ich przetworzeniu powinien być oryginalny lub na taki wygląda. Jak jednak wiemy, przy manipulowaniu tekstem bez jego zrozumienia dochodzi do zniekształceń, które mogą być niezgodne z profesjonalną wiedzą. Dodatkowo problemem może być sama baza danych, która posłużyła do treningu AI. Bywa ona niekiedy niepełna, nieprecyzyjna lub zawiera błędy. Samo zapytanie może okazać się mało dokładne dla sztucznej inteligencji, która nie rozumie kontekstu społecznego lub charakterystycznego dla danej grupy zawodowej.

ChatGPT jako nieodpowiedzialny i miły interlokutor

Chatbot dostępny na stronie OpenAI lepiej radzi sobie z powierzchownymi rozmowami niż profesjonalnymi treściami. Jego teksty są stosunkowo lekkie, przejrzyste i ciekawe, jednak nie wnoszą zbyt wiele oraz nie rozwijają czytelnika. Nie wyobrażam sobie także wykorzystania ich w przypadku wysokospecjalistycznych opracowań bez żadnej weryfikacji. 

Nie zmienia to faktu, że sztuczna inteligencja może już teraz generować wiadomości mailowe, przyciągające uwagę wpisy na potrzeby mediów społecznościowych, obsługiwać klienta w pewnym zakresie czy też tworzyć fragmenty tekstów do wykorzystania w pracy.

Warto pamiętać, że chociaż wielu się do tego nie przyznaje, to często nie siła argumentu przekonuje odbiorców treści, a forma przekazu. W tym ostatnim względzie wydaje się, że ChatGPT jest całkiem dobry.