Kodėl AI meno apsauga nėra tokia stipri, kaip atrodo

Nuorodų lentelė

Santrauka ir 1. Įvadas

2. Fonas ir susiję darbai

3. Grėsmės modelis

4. Tvirta stiliaus mimika

5. Eksperimentinė sąranka

6. Rezultatai

   6.1 Pagrindinės išvados: visos apsaugos priemonės yra lengvai apeinamos

   6.2 Analizė

7. Diskusija ir platesnis poveikis, padėkos ir nuorodos

A. Išsamūs meno pavyzdžiai

B. Tvirta mimikos kartos

C. Išsamūs rezultatai

D. Skirtumai su glazūros koregavimu

E. Išvados apie glazūrą 2.0

F. Išvados apie rūką v2

G. Stiliaus mimikos metodai

H. Esamos stiliaus mimikos apsaugos

I. Tvirti mimikos metodai

J. Eksperimentinė sąranka

K. Vartotojo tyrimas

L. Apskaičiuokite išteklius

I Tvirti mimikos metodai

Šiame skyriuje aprašomi tvirti mimikos metodai, kuriuos naudojame savo darbe. Šiais metodais nesiekiama maksimaliai padidinti našumo. Vietoj to jie demonstruoja, kaip įvairūs „paruošti“ ir mažai pastangų reikalaujantys metodai gali žymiai susilpninti stiliaus mimikos apsaugą.

I.1 DiffPure

Jei teksto į vaizdą modelis M palaiko besąlyginį vaizdo generavimą, tada atvirkštinės difuzijos procesui galime naudoti modelį M. Pavyzdžiui, stabili difuzija (Rombach ir kt., 2022) besąlygiškai generuoja vaizdus, ​​kai raginimas P yra lygus tuščiai eilutei. Tokiomis sąlygomis Img2Img yra lygiavertis DiffPure. Todėl, kalbant apie stiliaus mimikos apsaugą, Img2Img, taikomą su tuščiu raginimu P, vadiname besąlyginiu DiffPure, o Img2Img, taikomą su netuščiu raginimu P, kaip sąlyginį DiffPure.

I.2 Triukšmingas padidinimas

Didinant mastelį, vaizdo skiriamoji geba padidėja, nes numatomi nauji pikseliai, kurie padidina detalumo lygį. Didinant vaizdų mastelį, galima išvalyti prieštaraujančius vaizdus (Mustafa ir kt., 2019). Tačiau pastebėjome, kad padidinus mastelį tiesiogiai apsaugotiems vaizdams trikdžių nepašalina.

Antra, pažymime, kad padidinimas parodė sėkmę prieš prieštaraujančius klasifikatorių trikdžius (Mustafa ir kt., 2019), bet ne prieš prieštaraujančius generatyvinių modelių trikdžius (Liang ir kt., 2023; Shan ir kt., 2023a).

I.3 IMPRESS++

Patobuliname IMPRESS algoritmą (Cao ir kt., 2024). Pakeičiame atvirkštinio kodavimo optimizavimo praradimą iš pataisos panašumo į l∞ ir įtraukiame du papildomus veiksmus: neigiamą raginimą ir papildomą apdorojimą. Apskritai, IMPRESS++ pirmiausia iš anksto apdoroja apsaugotus vaizdus naudodama Gauso triukšmą ir atvirkštinio kodavimo optimizavimą, tada paima mėginius naudodama neigiamą raginimą ir galiausiai sugeneruotus vaizdus apdoroja su DiffPure, kad pašalintų triukšmą.

27 paveiksle pavaizduoti kiekvieno papildomo žingsnio patobulinimai.