Intégration de csv zippé

zig · #1 27-09-2007 15:56:30

Salut

Je voudrais integrer sur un site des flux tradedoubler
Ces flux sont au format csv et zippés et je voudrais savoir si quelqu'un a déjà intégrer de genre de flux sur un site et si oui comment
Je sais intégrer des flux rss sans problèmes mais je n'ai jamais intégrer ce format
Les fichiers csv faisant 10 mo qu'elle serait la meilleure méthode pour les intégrer ? Existe-t-il un script ou une librairie pour réaliser ça simplement ?

Merci de vos réponses

zig

bémol · #2 27-09-2007 16:20:48

Ce n'est pas comme les flux XML, tu ne peux pas travailler avec des flux CSV (encore qu'il existe peut-être des librairies). Normalement ce qu'il faut faire c'est importer ton flux dans une base de données et travailler à partir de cette base.

10 Méga ce n'est pas le bout du monde si le catalogue produit ne change pas tous les jours...

zig · #3 27-09-2007 16:25:23

ok merci de ta réponse, je vais faire comme ça
Le problème c'est que les flux sont mis à jour toutes les 4 heures donc il va falloir quand même que je fasse un script pour intégrer et mettre à jour les flux csv toutes les 4 heures dans la base de données

bémol · #4 27-09-2007 16:50:28

10 mégas toutes les 4 heures, personnellement je ne le tenterai pas .

Juste une précision technique pour tes mises à jour sur ce genre de données. Fais un erase complet (quitte à afficher un message d'indisponibilité sur ton site) plutôt qu'un update sinon même si tu as un très bon serveur tu vas le mettre à genou .

zig · #5 27-09-2007 16:52:58

10 mo par flux zippé et il y en a 4

stoff · #6 30-09-2007 22:45:29

Sans indiscretion, il s'agit du flux de quel programme?

zig · #7 01-10-2007 18:44:54

ebay sur tradedoubler

neboo · #8 02-10-2007 16:35:36

Techniquement c'est possible à faire avec mise à jour (non suppression et réinsert ensuite).

Il y a un peu plus de 2 ans, je le faisais sur un site (avec serveur dédié celeron 1.8ghz/256mo) avec un csv de plusieurs dizaine de méga, et par expérience le mieu à faire (bien sûr) est d'optimisé au maximum la durée de traitement et si besoin est de coupé le traitement en plusieurs fois.

Par exemple, une partie qui fait les requêtes pour voir les changement, créer les requête sql et réécrire tout d'un coup dans un fichier temporaire et ensuite les mettres dans la base.

Je ne sais pas si je suis assez explicite, mais tout ça pour dire que c'est faisable

Intégration de csv zippé

#1 27-09-2007 15:56:30

#2 27-09-2007 16:20:48

#3 27-09-2007 16:25:23

#4 27-09-2007 16:50:28

#5 27-09-2007 16:52:58

#6 30-09-2007 22:45:29

#7 01-10-2007 18:44:54

#8 02-10-2007 16:35:36

Pied de page des forums