Kaip aptikti ir sumažinti haliucinacijas AI modeliuose

Istorijos apie platesnį sėkmingą AI įrankių diegimą skelbiamos beveik kiekvieną dieną. Kadangi „ChatGPT“, „Midjourney“ ir kiti modeliai dabar prieinami plačiajai visuomenei, daugiau žmonių kasdieniniame gyvenime pradeda pasitikėti dirbtiniu intelektu.

Nors akivaizdu, kad mašininio mokymosi algoritmai gali išspręsti sudėtingesnius reikalavimus, jie dar nėra tobuli. Dėl dažnų dirbtinio intelekto haliucinacijų jie nėra patikimiausias pakaitalas žmonėms. Ir nors paprastam vartotojui AI klaida tėra juoktis, verslo procesų atveju toks nenuspėjamumas gali sukelti pasekmių – nuo ​​klientų pasitikėjimo praradimo iki ieškinių.

Kai kurios šalys pradėjo rengti dirbtinio intelekto modelių reglamentus, kad nustatytų naudojimo ir pritaikomumo sistemą. Išsiaiškinkime, kodėl ir kaip neuroniniai tinklai pradeda haliucinuoti ir kaip tai galima sumažinti.

Kas yra AI haliucinacija?

Nors kartais neįmanoma nustatyti AI klaidos priežasties, dažnai haliucinacijos atsiranda dėl to, kaip generacinės sistemos kuria tekstą. Atsakydamas į vartotojo užklausą, AI pasiūlo tikėtiną žodžių rinkinį, pagrįstą ankstesnių duomenų masyve. Tikimybė, kad kai kurie žodžiai seks kitus, nėra labai patikimas būdas įsitikinti, ar galutinis sakinys yra tikslus. AI gali sujungti terminus, kurie gali skambėti patikimai, bet nebūtinai yra tikslūs – ir žmogaus akiai gali atrodyti kaip visiška nesąmonė. Pavyzdys, su kuriuo susidūriau, yra paprašyti „ChatGPT“ pateikti šalių, turinčių atitinkančias ir neatitinkančias atsiskaitymų rinkas, pavyzdžių. Nors ji galėjo pateikti „Nuolatinį grynąjį atsiskaitymą“ (CNS) kaip suderinamos atsiskaitymo sistemos pavyzdį, mane domino šalis, kurioje sistema yra (šiuo atveju JAV), ir raginimas pateikė neteisingą išvestį šiuo atveju. .

Tačiau kartais aptikti AI haliucinacijas gali būti sudėtingiau. Nors kai kurios klaidos yra akivaizdžios, kitos yra subtilesnės ir gali likti nepastebimos, ypač kai išvestis apdorojama automatiškai arba ją tvarko asmuo, turintis ribotą patirtį šioje srityje. Neaptiktos AI problemos gali sukelti nenumatytų ir nepageidaujamų pasekmių. Tai ypač pasakytina apie sritis, kuriose labai svarbu turėti tikslią ir patikimą informaciją. Be to, paprastai kuo labiau specializuotas raginimas, dirbtinio intelekto modelio tikslumas gali skirtis dėl to, kad jame nėra pagrindo. Aukščiau pateiktas CNS pavyzdys vėl yra puikus pavyzdys; Nepavyko rasti šalių sąrašo per „Google“ paiešką ir tikėjausi, kad „ChatGPT“ gali pateikti konsoliduotą sąrašą, tačiau susidūriau su panašia kliūtimi.

Tai yra dažniausios problemos, kylančios dėl AI haliucinacijų:

1. Netikslus sprendimų priėmimas: AI haliucinacijos gali lemti neteisingus sprendimus ir diagnozes, ypač tose srityse, kuriose tikslumas yra labai svarbus, pavyzdžiui, sveikatos priežiūra ar informacijos saugumas, ir kenkia žmonėms ir įmonėms.

2. Diskriminaciniai ir įžeidžiantys rezultatai: haliucinacijos gali sukelti diskriminacinių arba įžeidžiančių rezultatų, kurie gali pakenkti organizacijos reputacijai ir sukelti etinių bei teisinių problemų.

3. Nepatikima analizė: jei AI generuoja netikslius duomenis, tai gali lemti nepatikimus analizės rezultatus. Organizacijos gali priimti sprendimus remdamosi neteisinga informacija, o rezultatai gali būti brangūs. Kartais duomenys gali būti pasenę; puikus pavyzdys yra nemokama „ChatGPT“ versija, kuri teikia duomenis tik iki 2022 m., todėl iš jos surinkti skaičiai gali būti nepatikimi.

4. Etinės ir teisinės problemos: dėl haliucinacijų AI modeliai gali atskleisti neskelbtiną informaciją arba generuoti įžeidžiantį turinį, todėl gali kilti teisinių problemų. Sienose aptverti sodai jautriai gali sumažinti kai kurias rizikas.

5. Dezinformacija: klaidingos informacijos generavimas gali sukelti įvairių problemų įmonėms ir galutiniams vartotojams, pavyzdžiui, sugriauti pasitikėjimą, pakenkti ar neigiamai paveikti viešąją nuomonę.

   Kodėl LLM haliucinuoja?

   AI haliucinacijos yra sudėtinga problema, o jų priežastys nėra visiškai aiškios tiek vartotojams, tiek kūrėjams. Štai keli pagrindiniai veiksniai, galintys sukelti tokias haliucinacijas arba prisidėti prie jų atsiradimo:

   • Neišsamūs arba šališki treniruočių duomenys. Jei mokymo duomenų rinkinys yra ribotas ir (arba) raginimas nevisiškai apima galimus scenarijus, modelis gali tinkamai nereaguoti į užklausas. Jei AI mokyti naudojami duomenys turi paklaidų, modelio išvestis taip pat turės tokių paklaidų.
   • Pervargimas ir konteksto trūkumas. Konkrečių duomenų perpratę modeliai gali prarasti gebėjimą tinkamai reaguoti į naujas, nenumatytas situacijas, ypač jei jiems trūksta kontekstinės informacijos. Duomenų rinkinį rekomenduojama padalyti į 3 tipus – mokymo duomenis, patvirtinimo duomenis ir testavimo duomenis; šis padalijimas užtikrina, kad modelis gerai veiktų tiek testavimo modelyje, tiek ir ne imties duomenimis.
   • Neteisingai suprasti arba netinkami modelio parametrų dydžiai. Netinkamo dydžio modelio parametrai gali lemti nenuspėjamą AI elgesį, ypač sudėtingų užklausų ar neįprastų situacijų atveju.
   • Neaiškūs raginimai. Kalbant apie vartotoją, dviprasmiškos arba pernelyg bendros vartotojo užklausos gali sukelti nenuspėjamų arba nereikšmingų atsakymų.

Kaip išvengti haliucinacijų?

Svarbu atsiminti, kad LLM veikia kaip „juodoji dėžė“ – net duomenų mokslininkai negali visiškai sekti generavimo proceso ir numatyti produkcijos. Štai kodėl neįmanoma 100 % apsaugoti savo verslo nuo AI haliucinacijų. Šiuo metu AI modelius naudojančios įmonės turi sutelkti dėmesį į AI haliucinacijų prevenciją, aptikimą ir sumažinimą. Štai keletas patarimų, kaip palaikyti ML modelių „higienos“:

• Kruopščiai išvalykite ir paruoškite duomenis, naudojamus mokant ir derinant AI modelius. Tai apima ne tik netinkamos ar klaidingos informacijos pašalinimą, bet ir užtikrinimą, kad duomenys būtų įvairūs ir atspindėtų skirtingas perspektyvas.

• Atkreipkite dėmesį į savo AI modelio dydį ir sudėtingumą. Daugelis įmonių siekia didesnių ir sudėtingesnių dirbtinio intelekto modelių, kad padidintų savo galimybes. Tačiau tai taip pat gali sukelti modelio perpildymą, o jo darbo interpretavimas ir paaiškinimas gali tapti iššūkiu net patiems kūrėjams.

Siekiant išvengti šių neaiškumų ir painiavos nuo pat pradžių, svarbu planuoti AI modelių kūrimą, pabrėžiant jų aiškinamumą ir paaiškinamumą. Tai reiškia, kad reikia dokumentuoti modelio kūrimo procesus, išlaikyti skaidrumą su pagrindinėmis suinteresuotosiomis šalimis ir pasirinkti architektūrą, kuri leistų lengvai interpretuoti ir paaiškinti modelio veikimą, nepaisant didėjančio duomenų kiekio ir vartotojų reikalavimų. Tai taip pat padės įgyvendinti reguliavimo reikalavimus, nes sritis bus tikrinama vyriausybių.

• Atlikite išsamų tyrimą. AI modelio testavimas turėtų apimti ne tik standartines užklausas ir bendrus įvesties formatus, bet ir jo elgesio ekstremaliomis sąlygomis bei sudėtingų užklausų apdorojimo analizę. Išbandžius AI reakciją į platų įvesties spektrą, galima numatyti, kaip modelis elgsis įvairiose situacijose. Tai gali padėti pagerinti duomenų ir modelio architektūrą, kol naudotojai nepatirs netikslių rezultatų.

• Patvirtinimo procese išlaikykite žmogiškąjį elementą. Tai gali būti labai svarbu nustatant niuansus, kurie gali nepastebėti automatinių patikrinimų. Šią užduotį atliekantys žmonės turėtų turėti subalansuotą įgūdžių ir patirties AI ir technologijų, klientų aptarnavimo ir atitikties srityse.

• Kitas svarbus elementas – reguliariai rinkti atsiliepimus iš galutinių vartotojų, ypač po to, kai modelis jau buvo įdiegtas ir aktyviai naudojamas. AI modelių naudotojai gali pateikti vertingų įžvalgų apie AI haliucinacijas ir kitus nukrypimus. Kad šis procesas būtų efektyvus, svarbu sukurti patogius ir prieinamus grįžtamojo ryšio kanalus.

• Svarbu reguliariai stebėti ir atnaujinti AI modelius, kad būtų išlaikytas jų efektyvumas. Šie patobulinimai turėtų būti atliekami remiantis vartotojų atsiliepimais, komandos tyrimais, dabartinėmis pramonės tendencijomis ir kokybės užtikrinimo bei stebėjimo įrankių našumo duomenimis. Nuolatinis modelio veikimo stebėjimas ir aktyvus tobulinimas remiantis surinkta analitine informacija gali žymiai sumažinti haliucinacijų riziką.

Jei nenaudojate dirbtinio intelekto modelio jautriai informacijai tvarkyti, galite pabandyti pritaikyti išplėstinę paieškos generaciją, kad sumažintumėte haliucinacijų riziką. Užuot pasikliaujęs tik esamais vartotojo mokymo duomenimis ir kontekstu, AI ieškos atitinkamos informacijos internete. Tačiau ši technologija dar neparodė labai patikimų rezultatų. Nefiltruotos paieškos rezultatai kartais gali būti tokie pat netikri kaip AI modelio haliucinacijos.

Ar haliucinacijos visada blogai?

Santykis tarp haliucinacijų ir kūrybiškumo AI sistemose atrodo panašus į žmogaus vaizduotėje vykstančius procesus. Žmonės dažnai sugalvoja kūrybinių idėjų, leisdami savo mintims nuklysti už realybės ribų.

Dirbtinio intelekto modeliai, generuojantys novatoriškiausius ir originaliausius rezultatus, taip pat kartais linkę sukurti turinį, kuris nėra pagrįstas tikrais faktais. Kai kurie ekspertai mano, kad visiškas haliucinacijų atsikratymas gali pakenkti kūrybinio turinio kūrimui.

Tačiau svarbu suprasti, kad tokio tipo produkcijai dažnai trūksta faktinio pagrindo ir loginio mąstymo, todėl jie netinkami faktais pagrįstoms užduotims.