NExT-GPT: bet koks daugiarūšis LLM: instrukcijų derinimas
Autoriai:
(1) Shengqiong Wu, NExT++, Singapūro nacionalinio universiteto skaičiavimo mokykla;
(2) Hao Fei iš NExT++, Nacionalinio Singapūro universiteto skaičiavimo mokyklos, yra atitinkamas autorius: [email protected].
(3) Leigang Qu, Hao Fei, NExT++, Singapūro nacionalinio universiteto skaičiavimo mokykla yra atitinkamas autorius: [email protected];;
(4) Wei Ji, Hao Fei, NExT++, Singapūro nacionalinio universiteto skaičiavimo mokykla yra atitinkamas autorius: [email protected];;
(5) Tat-Seng Chua, Hao Fei, NExT++, Singapūro nacionalinio universiteto skaičiavimo mokykla yra atitinkamas autorius: [email protected];.
Nuorodų lentelė
5 Modumo perjungimo instrukcijų derinimas
5.1 Instrukcijų derinimas
Nepaisant to, kad tiek kodavimo, tiek dekodavimo galai suderinami su LLM, išlieka spragų siekiant tikslo, leidžiančio visai sistemai tiksliai sekti ir suprasti vartotojų instrukcijas ir generuoti norimus daugiarūšius rezultatus. Norėdami tai išspręsti, atlikite tolesnį instrukcijų derinimą (IT) [97, 77, 52] Manoma, kad būtina pagerinti LLM galimybes ir valdomumą. Tai apima papildomą bendrų MM-LLM mokymą naudojant „(INPUT, OUTPUT)“ poras, kur „INPUT“ reiškia vartotojo nurodymą, o „OUTPUT“ – norimą modelio išvestį, atitinkančią duotą nurodymą. Techniškai mes naudojame LoRA [32] kad IT etapo metu nedidelį NExT-GPT parametrų poaibį būtų galima atnaujinti kartu su dviem projekcijos sluoksniais. Kaip parodyta 4 paveiksle, kai IT dialogo pavyzdys įvedamas į sistemą, LLM atkuria ir generuoja tekstinį įvesties turinį (ir vaizduoja daugiarūšį turinį su multimodaliniais signalo žetonais). Optimizavimas nustatomas remiantis auksinėmis anotacijomis ir LLM rezultatais. Be LLM derinimo, mes taip pat tiksliai suderiname NExT-GPT dekodavimo galą. Modalinio signalo žetono atvaizdą, užkoduotą išvesties projekcijoje, suderiname su aukso daugiarūšio antraštės atvaizdu, užkoduotu difuzijos sąlygų kodavimo priemonės. Taip visapusiškas derinimo procesas priartina prie tikslo – ištikimai ir efektyviai bendrauti su vartotojais.
