GPT4All-Snoozy: GPT4All ekosistemos atsiradimas
Nuorodų lentelė
Santrauka ir 1. Įvadas
2 Originalus GPT4All modelis
2.1 Duomenų rinkimas ir tvarkymas
2.2 modelio mokymas, 2.3 modelio prieiga ir 2.4 modelio įvertinimas
3 Nuo modelio iki ekosistemos
3.1 GPT4All-J: saugyklos plėtra ir LLaMA licencijos pasekmės
3.2 GPT4All-Snoozy: GPT4All ekosistemos atsiradimas
3.3 Dabartinė GPT4All būsena
4 GPT4All ateitis
Apribojimai ir nuorodos
3.2 GPT4All-Snoozy: GPT4All ekosistemos atsiradimas
„GPT4All-Snoozy“ buvo sukurtas naudojant maždaug tą pačią procedūrą kaip ir ankstesni GPT4All modeliai, tačiau su keliais pagrindiniais pakeitimais. Pirma, „GPT4All-Snoozy“ naudojo LLaMA-13B bazinį modelį dėl savo pranašesnės bazinės metrikos, palyginti su GPT-J. Tada GPT4All-Snoozy įtraukė Dolly treniruočių duomenis į savo traukinių rinkinį. Sutvarkius duomenis ir pašalinus dubliavimąsi naudojant „Atlas“, iš viso buvo sudarytos 739 259 greito atsakymo poros. Modelį, sukurtą treniruojant šį patobulintą duomenų rinkinį, pavadinome GPT4All-Snoozy. Kaip parodyta 1 paveiksle, GPT4All-Snoozy turėjo geriausią vidutinį balą pagal mūsų vertinimo etaloną iš bet kurio ekosistemos modelio jo išleidimo metu.
Kartu su GPT4All kūrimu kelios organizacijos, pvz., LMSys, Stability AI, BAIR ir Databricks, sukūrė ir įdiegė atvirojo kodo kalbų modelius. Vis dažniau iš bendruomenės girdėjome, kad jie nori kiekybinių šių modelių versijų vietiniam naudojimui. Kai supratome, kad organizacijos, turinčios vis daugiau išteklių, kuria pirminės kalbos modelius, nusprendėme nukreipti savo pastangas, o ne rengti vis labiau patobulintus modelius ir suteikti lengvą prieigą prie daugybės atvirojo kodo bendruomenės sukurtų modelių. Praktiškai tai reiškė, kad turėjome praleisti laiką glaudinant atvirojo kodo modelius, skirtus naudoti su prekių technine įranga, užtikrinti stabilias ir paprastas aukšto lygio modelių API ir palaikyti GUI be kodo modelio eksperimentams.
Autoriai:
(1) Yuvanesh Anand, Nomic AI (apsaugotas el. paštu);
(2) Zachas Nussbaumas, Nomic AI (apsaugotas el. paštu);
(3) Adam Treat, Nomic AI, (apsaugotas el. paštu);
(4) Aaronas Milleris, Nomic AI (apsaugotas el. paštu);
(5) Richard Guo, Nomic AI (apsaugotas el. paštu);
(6) Benas Schmidtas, Nomic AI (apsaugotas el. paštu);
(7) GPT4All Community, Planet Earth;
(8) Brandon Duderstadt, Nomic AI, (apsaugotas el. paštu), turintis bendrą vyresniąją autorystę;
(9) Andriy Mulyar, Nomic AI (apsaugotas el. paštu), turintis bendrą vyresniąją autorystę.
