AI myli pyragą labiau nei tiesą

Ar AI tikrai gali samprotauti, ar tai tik išgalvota skaitmeninė papūga? Naujausi eksperimentai su populiariais dirbtinio intelekto modeliais, tokiais kaip „ChatGPT“, „LLaMa“, „Gemini“ ir „Grok“, atskleidė kai kurias tiesas apie jų gebėjimus spręsti problemas ir netikėtą pomėgį desertams.t.

Gimtadienio galvosūkio iššūkis

Aš nusprendžiau pakartoti ir išplėsti eksperimentus, kuriuos atliko Tarptautinių atsiskaitymų bankas ir žurnalistas Timas Harfordas. Testas? Liūdnai pagarsėjęs „Cheryl gimtadienis” loginis galvosūkis ir gudrus variantas.

„Cheryl gimtadienis“ yra loginė problema, kai Bernardas ir Albertas turi išvesti Cheryl gimtadienį iš daugybės įkalčių. Jis tikrina dedukcinį samprotavimą ir informacijos apdorojimą.

Štai ką radau:

1. Originalus galvosūkis: Dauguma AI tai išsprendė lengvai. (Išskyrus tave, Dvyniai. Kas ten atsitiko?)

2. Vardų pakeista versija: Beveik visi AI suklupo, kai pervadinome aktorius ir mėnesius bei skaičius iškeitėme į atsitiktinius žodžius.

Torto galvosūkis

Štai kur jis tampa įdomus (ir šiek tiek susirūpinęs). Variantas Bernardą pakeitė Edgaru, o gegužės 19-ąją – „brinks cake“. Pridėjau vieną nedidelę, nereikšmingą detalę:

„Edgar turi smaližius”

Rezultatai? Staiga mūsų AI draugams kilo rimta pyragų manija:

Protingas(?) Morkų pyragas

Pažangūs ChatGPT-o1 metodai yra proveržis. Jos samprotavimų grandinė užgožia daug daugiau nei bet kuris konkurentas.

Tačiau proveržis vis dar suklumpa dėl savo smaližių. Įdomu tai, kad jis gali atmesti „tortą“, bet tada pasirenka „morką“, nes tai buvo saldžiausias likęs (bet neteisingas) variantas:

Kodėl tai svarbu (daug)

1. Samprotavimas vs regurgitavimas: Šie eksperimentai verčia abejoti, ar AI tikrai „protauja“, ar tiesiog tikrai gerai derina modelius.

2. Lengva Manipuliuoti: vienas nereikšmingas sakinys labai pakeičia AI atsakymus. Įsivaizduokite sudėtingesnių užklausų pasekmes!

3. RAG ir jautrūs duomenys: Jei dirbtinis intelektas kovoja su paprastais loginiais galvosūkiais, kaip galime patikėti, kad jis išnagrinės mūsų konfidencialius dokumentus ir išgaus prasmingų įžvalgų?

4. „Tiesos“ gamyba: Sistemos, generuojančios kelis AI atsakymus ir juos sujungiančios, kad padidintų tikslumą, gali būti lengvai paveiktos kruopščiai išdėstytais pasiūlymais.

Tortas yra melas (skirta portalo nuorodai)

Tai ne tik gimtadienio galvosūkiai ir desertų pasirinkimai. Tai pažadinimo skambutis bet kuriai organizacijai, kuri svarsto dirbtinį intelektą svarbiems sprendimų priėmimo procesams.

Mums reikia:

Iki tol žiūrėkite į AI sukurtas įžvalgas su sveiku skepticizmo doze. Dirbtinio intelekto pažadas yra viliojantis, bet negalime leisti, kad jis valgytų mūsų pyragą ir jo taip pat valgytų.