Mis on aktiivsuse regulaator keras?

Mis on aktiivsuse regulaator keras?
Mis on aktiivsuse regulaator keras?
Anonim

Regulariseerijad võimaldavad optimeerimise ajal rakendada trahve kihiparameetritele või kihi tegevusele. Need trahvid liidetakse võrgu optimeeritud kahjufunktsiooniks. Reguleerimiskaristusi rakendatakse kihipõhiselt.

Mis on tegevuste regulaator?

Aktiivsuse regulaator töötab võrgu väljundi funktsioonina ja seda kasutatakse enamasti peidetud ühikute reguleerimiseks, samas kui weight_regularizer, nagu nimigi ütleb, töötab kaaludel (nt panevad need lagunema).

Millal peaksin kasutama aktiivsuse regulaatorit?

Kui soovite, et väljundfunktsioon läbiks(või et lõikepunkt oleks sellele lähemal), võite kasutada kallutatuse regulaatorit. Kui soovite, et väljund oleks väiksem (või 0-le lähemal), võite kasutada tegevuse regulaatorit.

Kuidas Kerase regulaatorit kasutada?

Kihile regulaatori lisamiseks peate lihts alt et sisestama eelistatud reguleerimistehnika kihi märksõnaargumendile 'kernel_regularizer'. Kerase reguleerimise juurutusmeetodid võivad pakkuda parameetrit, mis esindab regulatsiooni hüperparameetri väärtust.

Mis on kernel ja eelarvamus?

Tihe klass

Tihe rakendab operatsiooni: väljund=aktiveerimine(punkt(sisend, kernel) + bias), kus aktiveerimine on aktiveerimisargumendina edastatud elemendipõhine aktiveerimisfunktsioon, kernel on kaalumaatriks, mille loob kiht jabias on kihi poolt loodud nihkevektor (rakendatav ainult siis, kui use_bias on True).

Soovitan: