| N'appartient pas au corps enseignant de la NYU | +|Instructeur|
|
|Yann Le Cun
|Alfredo Canziani
|Mark Goldstein
|Zeming Lin
| Loïck Bourdois |Yann Le Cun|Alfredo Canziani|Mark Goldstein|Zeming Lin| Loïck Bourdois 
- Utilisée pour représenter les fonctions de coût
- - A un rendement scalaire implicite
+ - A une sortie scalaire implicite
- Prend plusieurs entrées et produit une seule valeur (généralement la distance entre les entrées)
@@ -156,28 +156,22 @@ In the standard Supervised Learning paradigm, the loss (per sample) is simply th
Une fonction de perte est une fonction qui est minimisée pendant l’entraînement. Il existe deux types de pertes :
-1) Perte par échantillon -
+1) Perte par échantillon :
$$
L(x,y,w) = C(y, G(x,w))
$$
-2) Perte moyenne -
+2) Perte moyenne :
-Pour toute série d'échantillons
-
-$$S = \lbrace(x[p],y[p]) \mid p \in \lbrace 0, \cdots, P-1 \rbrace \rbrace$$
-
-La perte moyenne sur l'ensemble des $S$ est donnée par :
+Pour toute série d'échantillons $S = \lbrace(x[p],y[p]) \mid p \in \lbrace 0, \cdots, P-1 \rbrace \rbrace$, la perte moyenne sur l'ensemble des $S$ est donnée par :
$$L(S,w) = \frac{1}{P} \sum_{(x,y)} L(x,y,w)$$
| 
ReLU réseaux. A droite : Cinq tanh réseaux.
+ReLU. A droite : Cinq réseaux avec une tanh.
ReLU réseaux. A droite : Cinq tanh réseaux.
+ReLU. A droite : Cinq réseaux avec une tanh.
| 
|
|(a)|(b)|
-
 Before Applying Sparsity.png)
|  After Applying Sparsity.png)
|
-|Figure 2(a): Avant l'application de la méthode de réduction de la pauvreté | Figure 2(b): Après l'application de la méthode de réduction de la pauvreté
+|Figure 2(a) : Avant l'application de la méthode de réduction de la pauvreté | Figure 2(b) : Après l'application de la méthode de réduction de la pauvreté
-### Padding (Rembourrage)
+### Rembourrage (*padding*)
Le rembourrage nuit généralement aux résultats finaux, mais il est pratique du point de vue programmatique. Nous utilisons généralement le zero-padding: `size = (taille du noyau - 1)/2`.
@@ -169,12 +169,12 @@ Un ConvNet spatial standard a les propriétés suivantes :
* Couches multiples
* Convolution
- * Non-linéarité (ReLU et Leaky)
- * Pooling
- * Batch normalisation
-* Residual bypass connection
+ * Non-linéarité (*ReLU* et *Leaky*)
+ * *Pooling*
+ * Normalisation par batch
+* Connexion résiduelle
-La Batch normalisation et les Residual bypass connection sont très utiles pour que le réseau s'entraîne bien.
+La normalisation par batch et les connexions résiduelles sont très utiles pour que le réseau s'entraîne bien.
Des parties d'un signal peuvent être perdues si trop de couches ont été empilées, de sorte que des connexions via residual bypass garantissent un chemin de bas en haut et aussi un chemin pour les gradients venant de haut en bas.
Dans la figure 5, alors que l'image d'entrée contient principalement des informations spatiales en deux dimensions (à part les informations caractéristiques, qui sont la couleur de chaque pixel), la couche de sortie est épaisse. À mi-chemin, il y a un compromis entre les informations spatiales et les informations caractéristiques et la représentation devient plus dense. Par conséquent, à mesure que nous montons dans la hiérarchie, nous obtenons une représentation plus dense car nous perdons les informations spatiales.
@@ -201,7 +201,7 @@ Pooling is not parametrized; nevertheless, we can choose different polling types
- 
- 
- 
- 
- 
-
-
-
-
