Une journée de m£rd€

Hier, nous avions programmé une migration de nos serveurs dans une nouvelle classe d'adresses. Un bête déménagement, quelques adresses IP à changer, l'histoire d'une heure ou deux, maximum.
A 8h30, nous étions dans la salle climatisée des serveurs, motivés, fringants et dynamiques. Un ordinateur portable branché en direct sur notre connexion internet nous certifiait que tout fonctionnait parfaitement, il n'y avait plus qu'à...

Et là, c'est le drame.
Nous commençons par le routeur de tête, vulgairement appelé aussi firewall. Deux ou trois fichiers de config à modifier, un reboot, une ou deux vérifications avec des "pings" bien choisis et... Ah ben tiens, non, ça pingue pas. Ça pingue même pas du tout, on atteint rien, même pas la passerelle de notre fournisseur d'accès. Pourtant tout à l'heure ça marchait, non ? Le doute s'installe, la réaction ne se fait pas attendre, on trouve une bonne dizaine de fausses bonnes raisons pour que ça ne marche pas.
On s'est trompé de masque, on a oublié de modifier un fichier, notre fournisseur est en panne, la carte réseau est défecteuse... On essaie à nouveau sur le portable, ça marche. On remet le cable sur le routeur, marche plus.
Le doute laisse place à l'incompréhension... Après des dizaines d'essais dans tous les sens, surtout dans les mauvais (sens), histoire de bien nous éloigner de notre scénario idéal, nous essayons un autre cable réseau et là miracle : ça marche.

Deux heures perdues pour un bête cable qui marchait avec le portable (carte gigabit avec auto-négociation), mais pas avec le routeur (carte 100Mb classique). Il est 11h00, on n'a encore rien fait. Qu'importe, maintenant, ce n'est qu'une question de minutes. Le routeur est en place, il voit enfin le réseau internet, on attaque les machines qui sont derrière, le serveur web, le serveur de messagerie... On identifie un nouveau problème : il nous faut deux sous-classes réseau pour que le firewall soit efficace. Le hic, c'est que cela modifie notre plan d'adressage, que l'on avait déjà communiqué à notre registrar pour que la diffusion de nos nouvelles adresses se fassent rapidement (délai de 48h, c'est long). Qu'à cela ne tienne, on est obligé, on le fait. Vers 13h00, la faim commençant à nous tenailler, nous pensons avoir fini. Les lumières se sont éteintes automatiquement laissant les couloirs et les toilettes (par exemple !) dans le noir le plus complet. Heureusement, la luminosité des écrans nous permet de voir encore ce qu'on fait, et le soleil donne à l'extérieur. Il y a longtemps qu'il n'avait pas fait si beau un samedi, c'était le bon jour pour travailler !
Sur le point de nous quitter, nous faisons les dernières vérifications d'usage. Bizarrement, alors que les adresses sont déjà diffusées sur certains serveurs DNS, nous ne recevons pas de mail. Pas un. Rien. Le désert le plus complet. Notre registrar nous indique par ailleurs qu'il ne voit pas nos machines. Flûte et zut, il y a twist.

La division en deux sous-classes n'étaient pas prévue. Notre fournisseur d'accès n'en ayant pas connaissance, il a gardé le masque d'origine (qui lui permet de voir l'ensemble de la classe d'adresses), mais ne lui permet pas de voir nos deux sous-réseaux. Nous essayons de le joindre, sans succès. Deux d'entre nous avaient des rendez-vous l'après midi, nous ne sommes plus que deux pour continuer à nous prendre la tête, dans l'obscurité, et le ventre vide (les machines distributrices de boissons et autres gourmandises sont dans un lieu protégé par une alarme, alarme qui nous empêche également de sortir, sous peine de ne pas pouvoir rentrer ensuite...). Résumons-nous : les deux sous-classes ne donnent pas les résultats escomptés, et il nous faudrait pouvoir prévenir le FAI de ce changement pour qu'il fasse le nécessaire avant lundi. Il est injoignable, le courrier électronique n'attend pas : si on veut que ça marche lundi matin, et que les utilisateurs ne nous tombent pas sur le dos, il faut revoir à nouveau notre copie. On revient à la solution de départ : une seule classe d'adresses, et du NAT sur le firewall pour régler les problèmes de sécurité. Inconvénient : on n'a jamais fait de NAT, même pas en test.

J'ai oublié de dire qu'à 13h00, quand on pensait que tout fonctionnait, j'ai testé la connexion avec mon serveur perso, en allant sur Merome.net, et bizarrement, ça ne fonctionnait pas, ou pas bien. Il s'avère que le démon apache ne voulait plus se lancer, et tous les process httpd devenaient <defunct> au bout d'un moment. Pas le temps de regarder ça maintenant, mais cela m'agace, quand tout part en sucette le même jour, on craint la malédiction... Dans mon bureau, où je fais les tests "clients", le soleil tape à travers les vitres faisant monter la température autour de 25°. Dans la salle serveur, où je coure de temps à autre pour modifier un fichier de config, il fait 15 ou 16°...

Vers 16h30, de guerre lasse, nous jetons l'éponge. Nous avons une solution bancale, mais qui fonctionne. On verra pour le NAT lundi. Ras le bol. Envie d'arrêter l'informatique et de devenir homme au foyer.

Epilogue : le probleme de Merome.net était dû aux logs d'apache qui dépassaient la taille maxi. J'avais pourtant mis en place une rotation de logs automatiques qui étaient censée éviter cela. La rotation de log n'était plus effective, je n'ai pas compris pourquoi. Hier, il ne fallait pas m'énerver...