Récupération des posts de forum.prepas.org

[parlonsprepa.admin]

Bonjour à toutes et à tous,

J’ai récemment vu passer un commentaire sur mon post Reddit à propos d’une possible récupération des posts de l’ancien forum. Tout ce que je peux dire pour l’instant, c’est que le processus est en cours mais c'est extrêmement chronophage (environ 150 000 URL ont déjà été recensées).
Quant à la remise en forme et l'analyse syntaxique, ce sera une toute autre histoire. Étant donné que mes compétences en informatique sont assez rouillées (la dernière fois que j'ai monté un site web, c'était en cours de SNT en seconde), je préfère ne pas faire de promesse à ce sujet. Je peux seulement vous assurer que je ferai de mon mieux.

Je vous tiendrai au courant sous ce post.

Bon week-end.

[parlonsprepa.admin]

Le scraping touche à sa fin… il ne reste que 10 000 URL à traiter.

[parlonsprepa.admin]

Après 11h33 de scraping (soit un fichier toutes les quatre secondes), c'est terminé.

[parlonsprepa.admin]

Bonjour à toutes et à tous,

J’espère que vous allez bien !

Je me permets de faire un petit update de ce qu’il se passe de mon côté. Le scraping a bel et bien pris fin.
Je suis actuellement en train de bidouiller sur Python afin de reconstruire la base de données de phpBB, et je vais déployer le forum localement sur mon ordinateur pour faire quelques tests.

Si tout se passe bien, je ferai ensuite une version un peu plus propre et je l’intègrerai dans le forum pour que tout le monde puisse accéder aux posts.
Quant à l’organisation des posts (triage des posts en fonction des catégories), je verrai ça plus tard une fois que la structure sera en place.

Bonne journée !

[parlonsprepa.admin]

Bonjour,

Après une semaine et demie de galère, je vous informe que j’ai réussi à importer les posts de forum.prepas.org et à les placer dans une rubrique spéciale intitulée « Archives – forum.prepas.org ».

Vous avez probablement remarqué qu’il subsiste quelques bugs, notamment au niveau des dates des messages ou la présence de doublons de posts. Je ferai de mon mieux pour corriger tout cela dans les semaines à venir.

Bon après-midi !

EDIT: Il manque beaucoup de posts, car le script les a sautés. Je vais regarder cela en détail.