Minibatch diskriminācija

1. Kas ir Minibatch diskriminācija?
2. Kā novērst režīma GAN sabrukumu??
3. Kā es varu uzlabot savu GAN apmācību?
4. Kāpēc GAN ir nestabils??

Kas ir Minibatch diskriminācija?

Minibuču diskriminācija ir diskriminējoša metode ģeneratīviem pretrunīgiem tīkliem, kur mēs diskriminējam veselu paraugu sēriju, nevis atsevišķus paraugus. Tas ir paredzēts, lai izvairītos no ģeneratora sabrukšanas.

Kā novērst režīma GAN sabrukumu??

Rūpīgi noskaņots mācīšanās ātrums var mazināt dažas nopietnas GAN problēmas, piemēram, režīma sabrukumu. Konkrēti, samaziniet mācīšanās ātrumu un atkārtojiet apmācību, kad notiek režīma sabrukums. Mēs varam arī eksperimentēt ar dažādiem ģeneratora un diskriminatora mācīšanās ātrumiem.

Kā es varu uzlabot savu GAN apmācību?

Papildu padomi un triki

1. Funkciju atbilstība. Izstrādājiet GAN, izmantojot daļēji uzraudzītu mācīšanos.
2. Minibatch diskriminācija. Izstrādājiet funkcijas vairākiem paraugiem mini sērijā.
3. Vēsturiskā vidējā vērtība. Atjauniniet zaudējumu funkciju, lai iekļautu vēsturi.
4. Vienpusēja etiķešu izlīdzināšana. ...
5. Virtuālās partijas normalizēšana.

Kāpēc GAN ir nestabils??

Fakts, ka GAN sastāv no diviem tīkliem un katram no tiem ir sava zaudējumu funkcija, rada to, ka GAN pēc savas būtības ir nestabils- mazliet dziļāk iedziļinoties problēmā, ģeneratora (G) zudums var izraisīt GAN nestabilitāti , kas var būt gradienta izzušanas problēmas cēlonis, kad ...