in

Cómo estimar el requisito de tiempo y memoria para el proceso gaussiano variacional y disperso (SVGP) con enfoque de minilotes

Estoy implementando el proceso gaussiano disperso y variacional (SVGP) usando la biblioteca GPflow usando minilotes. He estado tratando de buscar detalles sobre las complejidades de tiempo y memoria, por ejemplo, de esta fuente, pero sigue sin estar claro cómo obtener estas estimaciones.

Básicamente, tengo una matriz de datos que consta de aproximadamente dos millones de puntos de datos con 28 características de entrada, que es un conjunto de datos $\mathcal{D}_{2,000,000 \times 28}$ matriz que consiste en números de tipo flotante de Python (64 bits = 8 bytes), por lo que el tamaño de mi matriz de datos en la memoria es de aproximadamente 500 MB.

En mi proceso de aprendizaje automático, realizo la selección de hiperparámetros y características del modelo mediante validación cruzada y algoritmo genético. También aprovecho el procesamiento multinúcleo para acelerar los cálculos. Lo que me gustaría tener es una estimación de cuánto tiempo computacional y memoria necesita mi proceso (estoy usando una supercomputadora, así que necesito estimar los recursos necesarios). Para estimar la complejidad de mi proceso, necesito estimar cuánto tiempo y memoria toma un paso de descenso de gradiente basado en minilotes en el SVGP, ya que entendí que SVGP es un proceso iterativo, diseñado para abordar la escalabilidad de Gaussian Procese el modelo mediante el uso de un proceso similar al de las redes neuronales profundas, es decir, el aprendizaje por lotes (utilizando un subconjunto de los datos en cada iteración de entrenamiento).

Entonces mi pregunta es: dado que tengo un subconjunto de mi matriz de datos de tamaño $N\veces 28$ ($N$ puntos de datos, $28$ características), cómo puedo estimar 1) cuánto tiempo toma una iteración de ajuste SVGP y 2) cuánta memoria necesito en esta iteración. Básicamente, estoy preguntando las complejidades de tiempo y memoria aquí por iteración de minilote.

0

¿Te ayudó la respuesta?

Subscribirse
Notificar por
guest
0 Comentarios
Inline Feedbacks
Ver todas las Respuestas

Serie de Maclaurin de $\frac{x^2}{1- x \cot x}$

Confundido acerca de por qué tener coeficientes iguales satisface las reglas de cierre de espacios vectoriales