Estoy trabajando en un problema de clasificación con una imagen de conjunto de datos, de 11 clases. Contiene un total de 11.000 imágenes, con cada clase que tiene 1000 imágenes, almacenadas carpeta-sabio (11 carpetas). El tamaño del conjunto de datos es de alrededor de 40 mb. Después de cargar los datos de google drive en collab( que en realidad lleva algún tiempo) y pre-proceso antes de la alimentación para el modelo, la memoria de collab se convierte en el 95% de los instantáneamente. Cuando puedo empezar a entrenar, collab se bloquea, y el tiempo de ejecución se restablece. Esto no sucede cuando uso Keras de flujo de datos-de-directorio de la función. Soy incapaz de encontrar una solución. Captura de pantalla
0
Esto sucede porque, llamando ajuste con el tren y la validación de los conjuntos de datos que están obligando a colab para cargar todas las imágenes en la memoria ram en el mismo esto, usted necesita escribir un generador, una fácil solución con la mayor parte del código ya escrito es el uso de la tfrecords, keras se encargará del resto.
https://www.tensorflow.org/tutorials/load_data/tfrecord
usted necesita para almacenar las imágenes en el disco y tomar durante el entrenamiento, no todos en el inicio.
usted no tiene que utilizar tfrecords, puede utilizar cualquier generador que te gusta, pero eso viene de la derecha del palo
BestDogeStackoverflow
Bueno yo estoy usando Keras Sintonizador de aquí, así que no estoy seguro de si el generador se puede utilizar con un sintonizador de búsqueda o no
SDS