MLLM naudojimas difuzinei sintezei, kuri sinergizuoja abi puses: kaip tai įmanoma?

Nuorodų lentelė

Santrauka ir 1 Įvadas

2 Fonas ir problemos pareiškimas

2.1 Kaip galime naudoti MLLM difuzinei sintezei, kuri sinergizuoja abi puses?

3 DreamLLM

3.1 Nuo galo iki galo interleaved generatyvinis išankstinis mokymas (I-GPT)

3.2 Modelių mokymas

4 eksperimentai ir 4.1 Multimodalinis supratimas

4.2 Teksto ir sąlyginio vaizdo sintezė

4.3 Daugiarūšis bendras kūrimas ir supratimas

5 Diskusijos

5.1 Kūrimo ir supratimo sinergija?

5. 2 Ko išmoko DreamLLM?

6 Susiję darbai

7 Išvados ir literatūros sąrašas

A Papildomi eksperimentai

B Papildomi kokybiniai pavyzdžiai

C Įgyvendinimo detalės

D Papildomi susiję darbai

E Apribojimai, gedimų atvejai ir būsimi darbai

2.1 Kaip galime naudoti MLLM difuzinei sintezei, kuri sinergizuoja abi puses?

Daugiarūšiai signalai paprastai rodo specifinę modalumo informaciją, kuri turi skirtingą struktūrą, bet papildo viena kitą semantiką (Dong ir kt., 2023). Ši papildoma savybė leidžia mums panaudoti gilų kalbos supratimą, kad pagerintume įvairių rūšių vaizdų generavimą (Saharia ir kt., 2022). Tačiau daugiarūšio kūrimo potencialas pagerinti supratimą lieka beveik neištirtas.

Mokymosi tikslas Mūsų tikslas yra panaudoti MLLM modeliuoti paskirstymą naudojant tiesioginį pikselių erdvės atranką. Čia iš anksto paruoštas SD veikia kaip balų metrika, distiliuojanti išmoktų duomenų pasiskirstymą. Šis metodas yra panašus į Score Distillation Sampling (Poole ir kt., 2023) (SDS, taip pat žinomas kaip Score Jacobian Chaining (Wang ir kt., 2023a)). Šiame kontekste vaizdas užpakalinis mokomas panašiai kaip DeepDream (Mordvintsev ir kt., 2015), naudojant MLLM sąlyginį parametravimą.

Sąlyginiai įterpimai Užuot konvertavus MLLM išvesties erdvę, kad ji atitiktų CLIP, siūlome užklausti MLLM naudojant išmoktus įterpimus. Todėl MLLM praturtinta semantika yra difuzijos sąlyga, o pasiskirstymas netiesiogiai modeliuojamas sintezės atrankos būdu.