[OT] Migracion de datos sin consumir tanta memoria

[Julian]

Buenas a todos

Tengo una pregunta off topic. que hacerles a los administradores de base de
datos.

Resulta que desarrolle una aplicación web en php que maneja cantidades de
registros de 2-3 Millones (las especificaciones decian 1 Millon) el problema
se presento al migrar datos de una aplicación de escritorio a mi aplicación,
esta tarea es comun y se realiza una vez al mes de diferentes ciudades y
aqui se incorporan cantidades de registros de golpe al principio en php se
demoraba un par de horas el proceso y consumia grandes cantidades de ram
(2-3Gb), reescribie el proceso en java y consume 1.4gb y lo realiza en
minutos.


pero me gustaria que consumiera menos ram como puedo hacerle para optimizar
esto?

PD: he probado ETL (Talen Studio) aunque lo realiza de una manera rapida
consume lo mismo que en PHP (2-2.5GB)

-- 
Si la depuración es el proceso de eliminar errores, entonces la programación
debe ser el proceso de introducirlos
– Edsger W. Dijkstra
<http://twitter.com/#%21/rokemaster> <http://rkmax.tumblr.com/>