Aguilar Canto 2021a - Revision history

Gstinoco at 02:34, 5 January 2022

2022-01-05T02:34:28Z

Show changes

Gstinoco: Gstinoco moved page Review 687888297298 to Aguilar Canto 2021a

2021-12-27T20:24:59Z

Gstinoco moved page Review 687888297298 to Aguilar Canto 2021a

Pherjev at 07:10, 21 December 2021

2021-12-21T07:10:10Z

Pherjev at 06:47, 21 December 2021

2021-12-21T06:47:58Z

Pherjev at 06:21, 21 December 2021

2021-12-21T06:21:17Z

Pherjev at 06:19, 21 December 2021

2021-12-21T06:19:42Z

Pherjev at 06:16, 21 December 2021

2021-12-21T06:16:14Z

Pherjev at 06:13, 21 December 2021

2021-12-21T06:13:31Z

Pherjev at 05:58, 21 December 2021

2021-12-21T05:58:17Z

Pherjev at 05:55, 21 December 2021

2021-12-21T05:55:27Z

@@ Line 687: / Line 687: @@
 ==Disponibilidad de código y datos==
-El código principal se puede obtener de https://github.com/Pherjev/hebbian-m-cells/blob/master/HebbMNIST.ipynb. La base de datos se obtuvo directamente de la librería <code>sklearn</code>.
+El código principal se puede obtener de https://github.com/Pherjev/hebbian-m-cells/blob/master/HebbMNIST-2.ipynb. La base de datos se obtuvo directamente de la librería <code>sklearn</code>.
 ===BIBLIOGRAFÍA===

@@ Line 438: / Line 438: @@
 ===4.1 Descenso de Gradiente===
-Para contrastar al descenso de gradiente con el aprendizaje hebbiano, se utilizó un esquema de redes neuronales de alimentación hacia adelante (''Feedforward Neural Networks'' o FNNs). El entrenamiento se realizó con la función de costo de entropía cruzada categórica a 15 épocas y se utilizó al optimizador Adam <span id='citeF-24'></span>[[#cite-24|[24]]], uno de los métodos basados en el gradiente más recientes y ampliamente utilizados en la actualidad para redes neuronales. Para este caso, se utilizaron las cuatro dimensiones de los datos.
+Para contrastar al descenso de gradiente con el aprendizaje hebbiano, se utilizó un esquema de redes neuronales de alimentación hacia adelante (''Feedforward Neural Networks'' o FNNs). El entrenamiento se realizó con la función de costo de entropía cruzada categórica a 15 épocas y se utilizó al optimizador Adam <span id='citeF-24'></span>[[#cite-24|[24]]], uno de los métodos basados en el gradiente más recientes y ampliamente utilizados en la actualidad para redes neuronales. Para este caso, se utilizaron las cuatro dimensiones de los datos. Por ende, se tomarán 4 unidades de entrada y 3 de salida, correspondiente a cada clase.
 Ese enfoque se estudió de dos maneras: por medio de redes neuronales con arquitectura fija y mediante una optimización hiperparamétrica. Las arquitecturas fijas fueron <math display="inline">(50)</math>, <math display="inline">(50, 50)</math> y <math display="inline">(50, 50, 50)</math>, donde cada vector representa el número de neuronas en cada capa intermedia (oculta): es decir la primera arquitectura (Modelo 1) cuenta con 50 neuronas en una capa intermedia, la segunda 50 en la primera capa oculta y 50 en la segunda (Modelo 2), mientras que el Modelo 3 cuenta con 50 neuronas en tres capas intermedias.

@@ Line 679: / Line 679: @@
 Los resultados observados con las <math display="inline">m</math>-celdas dan sustento a la hipótesis de que la arquitectura tiene una influencia crucial en las redes neuronales con aprendizaje hebbiano, a pesar de que sea un método poco práctico de implementar para dimensiones mayores. En este caso se implementó para <math display="inline">m = 2</math>, siendo posible ya que se puede no utilizar toda la información de una base de datos, aunque no siempre parece posible lograr resultados de clasificación correctos utilizando pocas dimensiones o reduciéndolas.
-En este caso, para la base de datos de iris, se pudieron observar mejores resultados que los que arroja el optimizador Adam (una versión moderna del descenso del gradiente), incluso utilizando un esquema de evolución. Esto supone una primera victoria de los métodos basados en Hebb frente al enfoque predominante y es respaldado por los resultados teóricos. Dichos resultados empíricos también son comparables con otros algoritmos de clasificación modernos, como los aplicados en <span id='citeF-26'></span>[[#cite-26|[26]]].
+En este caso, para la base de datos de iris, se pudieron observar resultados similares pero significativamente más rápidos que los que arroja el optimizador Adam (una versión moderna del descenso del gradiente), incluso utilizando un esquema de evolución. Esto supone una primera victoria de los métodos basados en Hebb frente al enfoque predominante y es respaldado por los resultados teóricos. Dichos resultados empíricos también son comparables con otros algoritmos de clasificación modernos, como los aplicados en <span id='citeF-26'></span>[[#cite-26|[26]]].
 No obstante, el optimismo debe tomarse con cautela. Para mayores dimensiones, parece complicada la ejecución del algoritmo de <math display="inline">m</math>-celdas y el refinamiento del radio <math display="inline">\delta </math> requiere de una mayor capacidad de cómputo. De esta forma, quizá sólo se pueda aspirar a celdas burdas para dimensiones medianas, pero parece imposible manejar <math display="inline">m = 20 \times 20</math>, que es el caso de las imágenes.

@@ Line 462: / Line 462: @@
 {| class="floating_imageSCP" style="text-align: center; border: 1px solid #BBB; margin: 1em auto; width: 100%;max-width: 100%;"
 |-
-|[[File:Review_687888297298_8978_accuraciesG-2.png|216px|Evolución de la exactitud con 15 generaciones.]]
+|[[File:Review_687888297298_2693_Unknown-33.png|216px|Evolución de la exactitud con 15 generaciones.]]
 |- style="text-align: center; font-size: 75%;"
 | colspan="1" | '''Figura 5:''' Evolución de la exactitud con 15 generaciones.

@@ Line 472: / Line 472: @@
 {| class="floating_imageSCP" style="text-align: center; border: 1px solid #BBB; margin: 1em auto; width: 100%;max-width: 100%;"
 |-
-|[[File:Review_687888297298_9699_generaciones-2.png|216px|Número de individuos por generación.]]
+|[[File:Review_687888297298_7009_Unknown-32.png|216px|Número de individuos por generación.]]
 |- style="text-align: center; font-size: 75%;"
 | colspan="1" | '''Figura 6:''' Número de individuos por generación. Se incluyen generaciones donde se da un decremento.

← Older revision	Revision as of 20:24, 27 December 2021
(No difference)

← Older revision		Revision as of 05:58, 21 December 2021
Line 661:		Line 661:


−	Por otro lado, en las tablas observamos cómo al reducir el tamaño de <math display="inline">\delta </math>, obtenemos mejores resultados de clasificación en el conjunto de entrenamiento, dando confirmación experimental del Teorema 2, pero al reducirse el tamaño de las vecindades también dejamos fuera a los datos que no son de entrenamiento, por lo que las exactitudes sobre los conjuntos de prueba y validación se reducen, tendiendo a <math display="inline">\frac{1}{3} </math>. La primera tabla también está representada en la figura	+	Por otro lado, en las tablas observamos cómo al reducir el tamaño de <math display="inline">\delta </math>, obtenemos mejores resultados de clasificación en el conjunto de entrenamiento, dando confirmación experimental del Teorema 2, pero al reducirse el tamaño de las vecindades también dejamos fuera a los datos que no son de entrenamiento, por lo que las exactitudes sobre los conjuntos de prueba y validación se reducen, tendiendo a <math display="inline">\frac{1}{3} </math>. La primera tabla también está representada en la figura [[#img-7\|7]].
		+
		+
		+
		+	<div id='img-7'></div>
		+	{\| class="floating_imageSCP" style="text-align: center; border: 1px solid #BBB; margin: 1em auto; width: 100%;max-width: 100%;"
		+	\|-
		+	\|[[File:Review_687888297298_8754_Captura de Pantalla 2021-12-20 a la(s) 23.54.29.png\|216px\|Gráfico de las exactitudes del algoritmo de m-celdas con las variables longitud y ancho de pétalo del dataset Iris.]]
		+	\|- style="text-align: center; font-size: 75%;"
		+	\| colspan="1" \| '''Figura 7:''' Gráfico de las exactitudes del algoritmo de m-celdas con las variables longitud y ancho de pétalo del dataset Iris.
		+	\|}

	==5 Conclusiones==		==5 Conclusiones==

@@ Line 541: / Line 541: @@
 {|  class="floating_tableSCP wikitable" style="text-align: center; margin: 1em auto;min-width:50%;"
-|+ style="font-size: 75%;" |<span id='table-2'></span>Tabla. 1 Resultados de clasificación utilizando el algoritmo de <math>m</math>-celdas con aprendizaje hebbiano y diferentes valores de <math>s</math> con las variables longitud de sépalo y ancho de pétalo.
+|+ style="font-size: 75%;" |<span id='table-2'></span>Tabla. 2 Resultados de clasificación utilizando el algoritmo de <math>m</math>-celdas con aprendizaje hebbiano y diferentes valores de <math>s</math> con las variables longitud de sépalo y ancho de pétalo.
 |- style="border-top: 2px solid;"
 | style="border-right: 2px solid;" | <math display="inline">s</math>
@@ Line 601: / Line 601: @@
 {|  class="floating_tableSCP wikitable" style="text-align: center; margin: 1em auto;min-width:50%;"
-|+ style="font-size: 75%;" |<span id='table-3'></span>Tabla. 1 Resultados de clasificación utilizando el algoritmo de <math>m</math>-celdas con aprendizaje hebbiano y diferentes valores de <math>s</math> con las variables longitud de pétalo y longitud de sépalo.
+|+ style="font-size: 75%;" |<span id='table-3'></span>Tabla. 3 Resultados de clasificación utilizando el algoritmo de <math>m</math>-celdas con aprendizaje hebbiano y diferentes valores de <math>s</math> con las variables longitud de pétalo y longitud de sépalo.
 |- style="border-top: 2px solid;"
 | style="border-right: 2px solid;" | <math display="inline">s</math>
@@ Line 661: / Line 661: @@
-Por otro lado, en las tablas observamos cómo al reducir el tamaño de <math display="inline">\delta </math>, obtenemos mejores resultados de clasificación en el conjunto de entrenamiento, dando confirmación experimental del Teorema 2, pero al reducirse el tamaño de las vecindades también dejamos fuera a los datos que no son de entrenamiento, por lo que las exactitudes sobre los conjuntos de prueba y validación se reducen, tendiendo a <math display="inline">\frac{1}{3} </math>.
+Por otro lado, en las tablas observamos cómo al reducir el tamaño de <math display="inline">\delta </math>, obtenemos mejores resultados de clasificación en el conjunto de entrenamiento, dando confirmación experimental del Teorema 2, pero al reducirse el tamaño de las vecindades también dejamos fuera a los datos que no son de entrenamiento, por lo que las exactitudes sobre los conjuntos de prueba y validación se reducen, tendiendo a <math display="inline">\frac{1}{3} </math>. La primera tabla también está representada en la figura
 ==5 Conclusiones==