En route pour le housing : ça stocke !

En route pour le housing : ça ping !Bonjour à toutes et à tous, déjà près de 4 semaines se sont écoulés depuis notre article En route pour le housing : ça ping ! soit presque 10 semaines depuis l’article En route pour le housing : objectif atteint ! et nous ne pensions vraiment pas que cela serait aussi long. Je pourrais même commencer cet article comme le précédent : « nous en avons parcouru du chemin, résolu des problèmes, fait des kilomètres, passé des nuits à -ne pas- dormir… Un jolie chemin parsemé d’embûches plus énervantes les unes que les autres. De bonnes doses de stress vous amenant par moment à vous poser la question « Non mais qu’est-ce qui nous a pris de nous lancer là dedans ?! » Sans parler des problèmes qui amènent à des dépenses totalement imprévues… heureusement que votre générosité à toutes et tous nous a permit d’avoir un peu de trésorerie de côté pour ne pas avoir en plus à se soucier (trop) de l’aspect financier… » car c’est à peu près le même discours que nous pouvons tenir ce jour.

Mais avec tout de même une différence -considérable- : tout est en place et la migration va commencer !

Avant de vous donner le récit de ces 4 dernières semaines donc, je vous informe que nous allons effectivement débuter la migration cette semaine (première semaine du mois de juillet). Nous aurions aimé pouvoir prévenir longtemps à l’avance mais nous avons rencontré tellement de petits problèmes auxquels se sont accumulés beaucoup d’incidents sur l’infrastructure actuellement utilisée par vos sites que nous allons devoir procéder rapidement, pour ne pas dire dans l’urgence… 🙁

Rassurez vous, vous n’aurez rien à faire et les opérations seront quasiment transparente et la plupart seront effectuées la nuit. Sachez d’ailleurs qu’Aurélien PONCINI (moi-même donc) a prit deux semaines de congés qui seront intégralement dédiées à Web4all. De même Benoit GEORGELIN (résidant au Canada) a également prit deux semaines de congés et rentre spécialement en France pour procéder à la migration des données et à la prise en main de tout ce qui a été fait ces dernières semaines.

Vous voyez, malgré que Web4all ne soit uniquement composée de bénévoles, nous faisons tout pour que le service soit le meilleur possible.

La migration se déroulera ainsi :

  • 01-02 juillet : Migration du portail Web4all : site, forums, outils interne… afin de valider le fonctionnement de l’infrastructure
  • 02-03 juillet : Migration des serveurs DNS ns1.web4all.fr / ns2.web4all.fr Ne vous inquiétez pas, aucun impact de votre côté et aucune modification à effectuer !
  • 04-05 juillet : Migration de la plate-forme de stockage + FTP + HTTP + MySQL : tous les sites internet devraient basculer. Aucune modification n’est à effectuer de votre côté. Seuls les clients qui n’utilisent pas les DNS de Web4all auront des modifications à faire, ils seront individuellement prévenus. Web4all met des solutions en place pour que ces derniers n’aient pas de coupure de service
  • Après le 05 juillet : Migration Zimbra : en attente pour le moment

Comme vous le voyez, vous n’avez aucune modification de votre côté à effectuer. La coupure de service pour la bascule FTP/HTTP/MySQL ne devrait pas excéder 60 minutes (que nous tenterons de réduire).

L’architecture de production actuelle rencontre de sérieux problèmes et il est temps de la mettre à la retraite. Pour ne rien vous cacher le Filer qui contient les fichiers commence à faiblir. Aucun risque de perte de données car nous avons des répliquas mais en cas de casse il faudra alors procéder à une migration dans l’urgence ce qui serait encore moins agréable…

Voilà, nous allons désormais vous raconter ce qu’il s’est passé ces 4 dernières semaines. Les photos servant à illustrer l’aventure ont été prises sur le coup, tel que nous avons vécu l’événement, sans forcément avoir le temps de prendre la pose… alors pardonnez nous pour la médiocre qualité de certaines photos.

Certains d’entre vous ont pu suivre en quasi temps réel cet événement puisque nous avions relayé cela sur les réseaux sociaux. A ce sujet, je vous rappelle que vous pouvez suivre l’actualité de Web4all sur les différents réseaux FacebookTwitter et Google+

Perception du matériel de stockage…

Le dernière article avait été publié juste avant que nous recevions la dernière partie du matériel, dédiée au stockage.
Cette partie est composée de :
– 1 SAN pour le stockage des machines virtuelles
– 1 serveur de backups
– 2 serveurs pour publier les données des sites internet (publient le NFS pour les serveurs HTTP)
– 1 DAS qui stocke les disques dur pour les deux serveurs sus-cités (reçu juste avant la rédaction du précédent article)

Des cartons, encore des cartons... La dernière livraison est enfin là !Des cartons, encore des cartons… La dernière livraison est enfin là !

L'arrière du SAN DELL MD3620i. Equipé de double contrôleurs 10 GB.L’arrière du SAN DELL MD3620i. Equipé de double contrôleurs 10 GB.

L'avant du SAN DELL MD3620i. Equipé de 24 disques de 900GB SAS 10k 2.5L’avant du SAN DELL MD3620i. Equipé de 24 disques de 900GB SAS 10k 2.5

Serveurs pour le cluster ZFS. Double cartes 10GB. 256GB de ram. Cartes SAS à ajouter.Serveurs pour le cluster ZFS. Double cartes 10GB. 256GB de ram. Cartes SAS à ajouter.

Serveurs pour le cluster ZFS avec leur baie de disques. Les fichiers des sites seront là !Serveurs pour le cluster ZFS avec leur baie de disques. Les fichiers des sites seront là !

Avant du serveur de backup. 6HDD de 4ToAvant du serveur de backup. 6HDD de 4To

Arrière du serveur de backup. 6 cartes 1GB (deux sont inutilisables car de marques Broadcom donc incompatibles avec Nexenta, d'où l'ajout de 4 cartes Intel).Arrière du serveur de backup. 6 cartes 1GB (deux sont inutilisables car de marques Broadcom donc incompatibles avec Nexenta, d’où l’ajout de 4 cartes Intel).

On amène le SAN et le serveur de backup au datacenter…

Oui pour le moment nous n’amenons pas le cluster ZFS car il reste du travail à faire dessus… il reste donc dans le salon d’Aurélien PONCINI… :/

Encore une fois, la voiture se retrouve bien chargée... heureusement qu'on ne paye pas les trajets au poids...Encore une fois, la voiture se retrouve bien chargée… heureusement qu’on ne paye pas les trajets au poids…

Il faut connecter le SAN 10GB sur ces ports, à l'arrière des switchs 24 ports. Assez difficile d'accès car cela n'est ni à l'avant de la baie, ni à l'arrière maisau millieu du fait de la faible profondeur des switchs...Il faut connecter le SAN 10GB sur ces ports, à l’arrière des switchs 24 ports. Assez difficile d’accès car cela n’est ni à l’avant de la baie, ni à l’arrière maisau millieu du fait de la faible profondeur des switchs…

On a un petit peu oublié de préparer les repères sur les câbles. Donc on fait sur place. Heureusement Web4all a sa petite Dymo portable :)On a un petit peu oublié de préparer les repères sur les câbles. Donc on fait sur place. Heureusement Web4all a sa petite Dymo portable 🙂

Câbles 10GB pour le SAN...Câbles 10GB pour le SAN…

Le SAN est dans la place !!!Le SAN est dans la place !!!

Chantal QUINQUIS participe également, et pas juste pour la photoChantal QUINQUIS participe également, et pas juste pour la photo

A nouveau Chantal :)A nouveau Chantal 🙂

Au tour d'Aurélien PONCINI...Au tour d’Aurélien PONCINI…

Ça commence a se remplir. Il manque encore 2 serveurs et un DAS. #avantDeLaBaieÇa commence a se remplir. Il manque encore 2 serveurs et un DAS. #avantDeLaBaie

Ça commence a se remplir. Il manque encore 2 serveurs et un DAS. #arrièreDeLaBaieÇa commence a se remplir. Il manque encore 2 serveurs et un DAS. #arrièreDeLaBaie

Configuration du Cluster ZFS à la maison…

Il faut désormais s’occuper du cluster ZFS qui va stocker les fichiers des sites internet.
Ce dernier devra assurer la publication des données en NFS pour les serveurs Web de manière rapide et permanente. Si tout se passe correctement nous devrions donc sur cette partie de l’infrastructure bénéficier d’un fort avantage comparé à aujourd’hui. En effet nous aurons désormais un cluster et non un serveur tout seul qui, en cas de défaillance, ne publie plus rien… et nous passons de 8 HDD à 24.. le RAID devrait aller plus vite… beaucoup plus vite 🙂

Il faut alors ajouter les cartes HBA dans les serveurs, configurer le tout, faire quelques essais et pour le coup on vous a même fait une petite vidéo… Juste pour que vous voyez le bruit que cela peut faire dans mon salon durant la phase de configuration 🙂

A côté, le bruit des switchs juste derrière le canapé était relativement faible…

Mais avant cela nous avons dû commander deux modules de stacking pour les swicths 48 ports afin d’unifier le tout en un switch 96 ports… Merci à la société Ineonet qui nous aura permis d’être livré dans la journée ! Et merci à Autolib’ qui nous aura encore une fois bien dépanné… ce jour là, il aura tout de même fallu 1H45 pour faire 5 kms en région parisienne… de quoi devenir fou 🙁

Ca y est, on a les cartons des stack !Ca y est, on a les cartons des stack !

Voilà les fameux modules de stack avec leurs câbles 40GBVoilà les fameux modules de stack avec leurs câbles 40GB

Les cartes HBA pour que nos serveurs se connectent aux disques dans la baie de stockage.Les cartes HBA pour que nos serveurs se connectent aux disques dans la baie de stockage.

Cartes insérées dans le support...Cartes insérées dans le support…

Cartes en place dans les serveurs !Cartes en place dans les serveurs !

Parrallèlement à tout cela, nous avons commencé à répliquer les serveurs de sauvegardes pour bénéficier des données au sein de la baie 🙂

Allez on tire un peu sur le filer de backupsAllez on tire un peu sur le filer de backups

On tire un peu sur le Transit @NeoTelecoms pour début de migration. Ca marche très bien...et on est qu'à 1/3On tire un peu sur le Transit @NeoTelecoms pour début de migration. Ca marche très bien…et on est qu’à 1/3

Cluster Nexenta en cours d'install ! Et on a même le JBOD affiché ! (pas d'origine ^^) Ca en fait du disque ! Cluster Nexenta en cours d’install ! Et on a même le JBOD affiché ! (pas d’origine ^^) Ca en fait du disque !

Yeah \o/ Ca prend forme ! nmc@zfs-clu-01a:/$ zpool iostat & nmc@zfs-clu-01a:/$ zpool statusYeah \o/ Ca prend forme ! nmc@zfs-clu-01a:/$ zpool iostat & nmc@zfs-clu-01a:/$ zpool status

Et comme promi, une petite vidéo :

On amène le Cluster ZFS au datacenter !

Les fameux modules de stack mis en place avec leur câbles 40GB en RING (on assure ainsi la redondance)Les fameux modules de stack mis en place avec leur câbles 40GB en RING (on assure ainsi la redondance)

Allez pour changer... encore un petit chargement dans la voiture ? Promis, c'est le dernier !Allez pour changer… encore un petit chargement dans la voiture ? Promis, c’est le dernier !

A un moment, la lumière s'est éteinte... et là ca clignote de partout...A un moment, la lumière s’est éteinte… et là ca clignote de partout…

Il faut monter les racks de la MD3060e / Un peu galère !Il faut monter les racks de la MD3060e / Un peu galère !

Puis on amène le monstre, duquel on a retiré les disques, alim, controleur, ventilation... Trop Lourd :/Puis on amène le monstre, duquel on a retiré les disques, alim, controleur, ventilation… Trop Lourd :/

Maintenant il faut remettre alims, ventilos et contrôleurs à l'arrière de la MD3060eMaintenant il faut remettre alims, ventilos et contrôleurs à l’arrière de la MD3060e

On rack, on rack...On rack, on rack…

MD3060e remontée (pour la partie arrière) !MD3060e remontée (pour la partie arrière) !

Et maintenant on passe à la partie avant. Il faut mettre les HDDEt maintenant on passe à la partie avant. Il faut mettre les HDD

Et voilà la baie remplie (avec quelques câbles non rangés car temporaires) !Et voilà la baie remplie (avec quelques câbles non rangés car temporaires) !

Le haut de la baie... difficile d'avoir toute la baie d'un coup en raison du manque de recul :(Le haut de la baie… difficile d’avoir toute la baie d’un coup en raison du manque de recul 🙁

La partie Stockage au complet !!! La partie Stockage au complet !!!

Et voilà, petite photo devant la baie complète (avec des câbles à retirer et à ranger !!!)Et voilà, petite photo devant la baie complète (avec des câbles à retirer et à ranger !!!)

Voilà maintenant on passe à la configuration et peu de photo à montrer de cela…

Un article à notre sujet a été publié sur le site de Neo-Telecoms 🙂 http://www.neotelecoms.com/fr/actualites/paris-bienvenue-lhebergeur-web4all

Merci, merci et encore merci !

Aurélien PONCINI

Président Fondateur de Web4all

aurelien.poncini

Conseil d'Administration

16 réponses à “En route pour le housing : ça stocke !

  1. Je reste bouche ‘baie’ 😉 (jeu de mot comme dirait Capello !) quand je vois tout ce matos et les compétences qu’il doit falloir pour faire fonctionner tout ça… vous êtes véritablement passés dans la cour des pros, bravo !

    Et merci pour ces petits récits, c’est intéressant à lire et les photos sont sympa.

    Maintenant, reste à espérer que la migration se passera sans imprévu, je croise les doigts. 😉

    Cordialement,

    damien.

    PS.: J’espère que Chantal n’a pas fait trop de scoubidous avec les jarretières ! 😉

    1. Merci pour ce commentaire 🙂
      Sincèrement il y a eu pas mal de moments où il a fallu acquérir les compétences car elles manquaient :/

      Au bout d’un moment c’est dur… car cela fait beaucouuuppp de choses à apprendre, encore et encore en peu de temps avec un bon stress :/

      Mais cela devient plaisant quand sa fonctionne 🙂

  2. Hé bé vous n’avez pas du vous ennuyer…Vivement vivement!!!

    Et comme dit Damien c’est sympa de nous tenir au courant et de nous montrer des photos (je préfère celles avec Chantal 😉 )

    Bon courage pour vos 2 semaines de congés.

  3. Bravo pour tout ce que vous faites. C’est tellement de temps et de travail… Et cela sur vos congés en plus. Merci mille fois.
    Et ça fait tellement plaisir d’héberger son site via un association.

    Félicitations à vous tous !

  4. bravo pour tout ce travail, ces heures passées ( pour le plaisir … lol ) au service des « sangsues » que nous sommes parfois ( surtout quand nous nous rendons compte que nos « belles créations » sont down ou piratées…
    Merci, 1000 fois our tout celà, un service inégalable à ce jour au vu du faible investissement demandé.
    Que de galères évitées, et pour une qualité sans cesse en progrès.
    Bon vent pour ce moment délicat.
    On croisera les doigts et si nécessaire ( on n’ y croit pas ) on patientera…en silence.

  5. Félicitations à tous les bénévoles qui s’investissent dans ce projet ! C’est trop technique pour moi mais j’imagine votre état d’excitation lors du déballage du matériel et l’allumage de tous ces voyants. Ca me fait penser à mon premier train électrique (il y a longtemps…). On croise les doigts pour que la suite se passe comme prévu. Vous l’avez bien mérité.

  6. bonjour,un très, très grand merci de la part de l’équipe de la revue Silence pour votre travail et votre « professionnalisme bénévole » à notre service.
    Vos explications et photos nous aident à découvrir ce qui se trouve « derrière » notre site, avec transparence.
    Bravo !
    Guillaume

  7. et oui je rentre de 8 mois de croisière sur mon voilier , pendant lesquels mon blog hébergé ici a super bien fonctionné et je découvre tout le travail qui se fait dans l’ombre.
    bravo à toute l’équipe et félicitations.
    amicalement
    Alain

  8. Bonjour et bravo pour tout !!

    Je découvre Web-4all et reste en fait bouche bée !!! Je m’interroge par ailleurs…

    Je m’explique. J’ai longtemps travaillé dans une association (env 100 salariés). Nous avions une finalité associative mais l’importance du travail nécessitait des salariés en plus d’un conseil d’administration bénévole…

    Tout cela pour dire, qu’un tel fonctionnement serait peut-être utile pour vous… et sécurisant pour des clients … potentiellement membres de l’association par ailleurs.

    Conclusion : encore Bravo et bon vent

    1. Bonjour,
      merci pour votre message 🙂

      A terme il serait en effet très bien de pouvoir avoir des employés 🙂 Mais pour le moment ce n’est pas réalisable financièrement 🙁

  9. Je comprends,
    Vous êtes des défricheurs d’une nouvelle contrée des possibilités associatives. Courage…
    PS1 : En outre, travailler en asso, c’est humainement intéressant…

    PS2 : je serai très prochainement client chez vous. Le temps que je m’organise

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *