Le meilleur moyen pour 1 script PHP pour gérer le retour de grandes

Im en utilisant une API pour extraire des données d'un service de nuages. Je veux tirer quelque 30.000 dossiers et il ne fera que croître. La requête est tout simplement les dossiers dont la date de création est postérieure à une date que je précise. Je veux briser les données en modifiant la requête à des dates différentes. Quelle est la meilleure façon en utilisant PHP pour avoir 1 script d'envoyer continuellement la requête et le processus du retour? Dois-je juste la boucle de la requête et de gérer le retour (ce qui est XML), puis libérer mon variables ou est-il un moyen plus sophistiqué? mémoire Ive fait libérer le code dans le passé quand j'avais un script de porcs de la mémoire et il ne semble pas faire grand-chose et je pense que je me souviens juste de trouver un autre moyen de le faire si je n'ai pas eu à gérer la mémoire et du temps. Alors, j'ai pensé Id vérifier certaines opinions ici. Aussi, sur ma machine de test, j'ai accès au fichier php.ini mais la machine le script sera exécuté sur je ne vais pas si je vais devoir laisser le script apporter des modifications au fichier php.ini run-time.

Est-ce la "requête" juste une demande de page qui renvoie un fichier XML? Je sais comment le faire avec SQL, mais Im pas sûr de bien comprendre la façon dont vous faites la demande.

Si c'est juste une demande à une page vous pourriez être en mesure d'utiliser curl pour télécharger le fichier sur votre disque dur, puis d'interagir avec lui comment vous aimez.

Im en utilisant QuickBase API pour PHP. Il utilise une boucle pour envoyer la requête HTTP avec les en-têtes appropriés avec la requête autorisée jeton et. En fait, je pense que le problème est avec leur système se la requête et la réalisation de son retour trop de données et tout annuler si je n'ai jamais eu la chance de télécharger le fichier. Leur soutien a dit qu'ils ne sais vraiment pas combien la limite de données est 30k et que des documents est sans doute trop et je pourrais essayer dates de diviser les données en place. Cependant, j'ai été capable de le diviser en sections 10k en utilisant quelque chose comme un paramètre offset qu'ils ont sur leur API. Donc, je reviens du xml avec 10k documents, analyser le xml, et puis je unset () ma variable des résultats (qui détient la réponse XML à partir d'eux) et je vide tous mes autres variables. Il a travaillé et j'ai donc pensé qu'il n'allait pas sur mon php.ini pour la mémoire. Id plutôt modifier mon script et faire tout ce que je peux dans mon script pour la gestion de la mémoire que de changer mon php. ini parce que j'ai beaucoup de tâches planifiées (sans équipage scripts), de sorte Id déteste si quelque chose s'est passé et a causé un pas de mettre fin. Donc, je ne voulais pas mettre toutes les directions données dans le fichier php.ini à un nombre illimité.