En route pour… le BGP / Changement de datacenter

PetitNuage en visite chez NeoTelecoms

Bonjour à toutes et à tous. Une importante opération de maintenance est programmée fin juin, dans la nuit du 28 au 29 et aura un impact sur la disponibilité des services.

De plus les adresses IP de Web4all vont toutes être modifiées au cours de cette nuit. Nous vous invitons donc à lire les explications qui suivent.

Si vous ne souhaitez pas tout lire, rendez-vous sur la partie la plus importante : Avant le déménagement ainsi que la suite : Le déménagement… Au sujet de la coupure : impact

 

 

 

Historique du projet Housing et BGP de 2013 à aujourd’hui

Le 07 avril 2013, Web4all lançait son projet En-route-pour-le-housing et faisait appel à la générosité de ses adhérents, clients, visiteurs pour acquérir une trésorerie permettant d’effectuer la migration avec ses mois de locations en doubles. En quelques jours seulement, l’objectif des 7777 € était atteint et même dépassé ! http://blog.web4all.fr/en-route-pour-le-housing-objectif-atteint/ Encore un grand merci à vous toutes et tous !

Quelques semaines après, le 9 juin 2013, nous réalisions notre premier ping et pouvions avancer sur la migration http://blog.web4all.fr/en-route-pour-le-housing-ca-ping/

L’été fut chaotique en raison de problème de BIOS sur les serveurs de virtualisation. Le problème fut corrigé début août après prêt de 4 semaines de dures journées et nuits de recherches.

Le 25 février 2014 à 11H28 nous recevions ce fabuleux mail de la part du RIPE :

We are pleased to welcome Association WEB4ALL as a Local Internet Registry (LIR) and member of the RIPE NCC.

Web4all obtenait alors le statut de LIR : https://apps.db.ripe.net/search/query.html?searchtext=ORG-AW16-RIPE#resultsAnchor

Le 26 février à 13H16 nous recevions une allocation d’adresses IPv6 :

We have allocated the following prefix of IPv6 address space to your registry fr.web4all: 2a01:9de0::/32

Toujours le 26 février, 13H19, allocation d’adresses IPv4… issu du dernier /8 disponible auprès du RIPE NCC :

We have allocated the following prefix of IPv4 address space to your registry fr.web4all (you will receive the assignment approval shortly): 185.49.20.0/22

Et pour finir, le 27 février à 12H32…… Web4all se voyait attribuer son AS !

The RIPE NCC has today assigned the following Autonomous System Number AS199712 to Association WEB4ALL

Nous allons y revenir dans la suite de cet article mais vous pouvez aussi trouver pas mal d’informations sur un de nos articles précédents : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#bgp

Avril 2014, nous ajoutions deux serveurs de virtualisation portant à 6 le nombre d’hyperviseur (soit 1.5 To de RAM).

Mai 2014 : Web4all souscrit à une offre Anti-DDOS Arbor Networks, nous vous en parlions là : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#ddos

Fin juin 2014 : mise en place des nouveaux firewalls, des routeurs BGP, déménagement dans la nouvelle baie, changement des adresses IP

Et nous devrions au cours de l’été 2014 recevoir trois serveurs de virtualisation ainsi qu’une unité de stockage (SAN).

Pourquoi un déménagement / migration

En 2013 Web4all a fait le choix d’une baie d’hébergement avec 46U disponible et 3kVA de capacité électrique. Nous avions alors cela :

  • 2 firewalls
  • 2 switchs 48 ports
  • 2 switchs 24 ports pour l’iSCSI
  • 4 serveurs de virtualisation
  • 1 serveur de backup
  • 1 baie de stockage (DAS)
  • 2 serveurs reliés au DAS pour publier les fichiers des hébergements
  • 1 SAN

Bref, ca donnait ça :

baie_sans_legende2013

 

Avec cela, on avait un peu de marge…

Le soucis, c’est que comme nous venons de le dire, nous avons depuis ajouté deux serveurs de virtualisation et même une baie Equallogic que Web4all s’est faite offrir en début d’année (d’occasion). Bien souvent la limitation dans une baie de serveurs est atteinte non pas la capacité à déposer des équipements… mais plutôt pas la capacité d’alimentation électrique.

Bref, ca donnait ça :

baie_sans_legende2013vs2014

 

A l’heure actuelle, nous dépassons quasiment en permanence cette capacité électrique de 3kVA. Bien que cela ne soit pas gênant en temps normal (nous pouvons monter à 3kVA sur chaque bandeau et nous en avons deux) cela serait une terrible erreur. En cas de perte d’une des arrivées électrique nous perdrions toute redondance car la seule arrivée qui serait encore active serait en limite.

Il s’agit là d’un problème dont nous avions pleinement conscience et nous n’avons pas attendu le mois de mai pour prévoir une issue de secours… Dès le mois de février nous étions en discussion avec notre commerciale de Neo Telecoms pour envisager de changer de baie (notre baie ne permettant pas de monter au-delà des 3kVA).

Après avoir étudié les différents avantages et inconvénients dans les différents datacenter où Neo Telecoms est présent et les différentes capacités électriques disponibles, nous avons optés pour le dernier datacenter Neo Telecoms, inauguré en septembre 2013 en plein cœur de Paris ! Une petite présentation ? 

Nous serons sur une baie de type haute-densité avec une capacité de 5kVA et la possibilité de monter à 7kVA si cela est nécessaire sans déménager à nouveau.

Et donc au final… voilà à quoi va ressembler la baie une fois déménagée et le matériel en cours de commande :

baie_sans_legende2013vs2014vs2014v2

 

Le but de cette opération est donc triple :

  • Mettre en place notre matériel dans une nouvelle baie afin de pouvoir accueillir encore plus de matériel ;
  • Avoir un seul interlocuteur pour le datacenter et réseau. Actuellement nous ne travaillons qu’avec Neo Telecoms mais le datacenter appartient à Equinix. Là nous n’aurons que Neo Telecoms comme interlocuteur ;
  • Mettre en place notre nouveau matériel réseau qui va nous permettre de diffuser notre AS et nos IP.

AS, IP… Késako ?

Le but de cet article n’est pas de détailler les points techniques, si vous souhaitez des informations vous trouverez cela sur mon précédent article : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#bgp

On pourrait dire que désormais Web4all sera une (toute) petite partie d’Internet. Nous serons identifié en tant que Web4all et non plus Neo Telecoms (et avant 2013 nous sortions en OVH).

Avec la pénurie d’adresses IPv4 les adresses IP coutent chères et sont limités. Chez Neo Telecoms nous n’en avons que 64. Chez OVH 254 mais à plus d’un euros par IP et par mois… cela fait vite un sacré budget.

En devenant LIR, avec notre AS et nos IP nous allons disposer de 1024 adresses IP sans coût direct. Il y a en revanche des coûts indirect : l’infrastructure BGP notamment mais nous ne faisons pas tout cela que pour les IP.

Avant le déménagement

Vous n’avez rien à faire. La préparation est effectuée par Web4all. Manquant de connaissance dans le domaine du routage BGP, Web4all a fait appel à une société dont c’est le métier : un opérateur. Il s’agit de la société INEONET qui nous avait déjà aidé dans le projet en 2013 : http://www.ineonet.com

Un ingénieur d’INEONET travaille déjà avec nous depuis plusieurs semaines (mois, même…) pour préparer tout cela. Il a déjà configuré la partie routage dans leurs ateliers ainsi que les nouveaux firewalls puisque nous remplaçons nos pare-feu par des modèles plus puissants.

Cet ingénieur va monter sur Paris la semaine prochaine afin de mettre en place le matériel avec nous et valider le bon fonctionnement. Si tout est bon, alors nous pourrons passer à l’étape suivante.

Le déménagement… Au sujet de la coupure : impact

Autant ne pas perdre de temps et dire les choses rapidement : il y aura une coupure de service de 02H30 à 05H30 dans la nuit du samedi 28 juin au dimanche 29 juin.

Dans la nouvelle baie, nous aurons déjà les équipements réseaux en place (routeurs et firewalls).

  • Il nous faudra alors démonter de l’ancienne baie tous les serveurs, les baies de stockages, les swicths. Cela prendra environ 45 minutes ;
  • Ensuite nous allons charger le matériel dans nos véhicules et devoir faire la route de Saint-Denis à Paris 2. N’ayant pas d’avertisseur lumineux ou sonore, nous comptons environ 20 minutes de trajet ;
  • Nous déchargerons le matériel et le mettrons en place dans la nouvelle baie. Il faut compter 1H00 ;
  • Nous relançons le tout et effectuons des tests… comptez 30 minutes.

Nous arrivons donc à 2H35 soit 3H00 en laissant une petite marge. Mais il est fort probable si tout se passe correctement que nous parvenions à effectuer les opérations en moins de temps.

Web4all n’est pas en mesure d’avoir une infrastructure doublée pour effectuer une migration sans coupure. Bien que cela ait été étudié, le coût était de plus de 20000 € de matériel à acheter.

Durant ce temps là…

  • Les sites ne seront plus accessibles ;
  • Le webmail et les mails en POP / IMAP ne seront plus accessibles ;
  • Les mails seront TOUJOURS réceptionnés par un serveur dédié à cela chez ONLINE. Aucune perte de mail à prévoir. Il s’agit du fonctionnement habituel des MTA, donc c’est déjà en place ;
  • Les zones DNS seront toujours publiés chez ONLINE et OVH. Aucun impact donc ;
  • quelques personnes avec des polos Web4all courront dans Equinix PA2 et Paris… si vous êtes dehors cette nuit là ne prenez pas peur…

Et après le déménagement / la coupure ?

Web4all devra modifier les zones DNS afin de faire pointer sur les bonnes adresses IP.

  • Si vos zones DNS sont gérées par Web4all (ce qui est le choix par défaut pour vos domaines) alors vous n’aurez rien à faire ;
  • Si vos zones DNS ne sont pas gérées par Web4all alors vous serez contacté sous peu pour gérer cette modification ;
  • Si vous ne savez pas, alors dites-vous que si vous ne recevez pas de mails de notre part d’ici la migration c’est que vous n’avez rien à gérer.

Sachez que Web4all fera en sorte que les flux de l’ancien datacenter soient redirigés sur le nouveau durant quelques jours, la modification des IP dans les zones DNS ne sera donc pas urgente pour les clients gérants leurs zones. Nous vous contacterons dans les jours qui viennent.

Voilà je pense avoir fais le tour. Nous contacterons les clients qui ont des modifications à effectuer d’ici la migration. Pour les autres vous n’avez rien à gérer, Web4all s’en charge.

Une fois tout cela terminé, Web4all travaillera avec ses adresses IP qui ne seront donc plus liés à un fournisseur ni à un emplacement géographique. Nous ne devrions plus avoir de problématique de modification d’adresse IP dans le futur !

En vous remerciant de votre compréhension.

Note : le patch Zimbra devrait sortir dans les jours qui viennent selon l’éditeur Zimbra.

aurelien.poncini

Conseil d'Administration

24 réponses à “En route pour… le BGP / Changement de datacenter

  1. Bonjour à tous et merci pour ces explications claires et nettes.
    Moi qui d’habitude ne comprends rien à votre « monde », là, parfait !

    Bon courage et bonne chance pour cette nuit du 28 au 29 juin !

    Admirativement,

    Pascale

  2. Bonjour,

    Rien a redire, l’explication est très claire.

    Merci à toute l’équipe pour continuer à toujours augmenter l’infrastructure et les possibilités offertes.

    Bon courage à vous.

  3. Ah c’est bien de faire travailler la famille avec Ineonet 🙂 (c.f. mentions mégales « Directeur de la Publication : Alexandre PONCINI, Gérant de la société Ineonet. »).

    Bon courage pour les migrations.

  4. Bravo les gars… et bon courage pour les prochains jours… qui comme les semaines passées s’annoncent intense…

    Etant un peu néophyte je ne saisi pas complètement l’importance et l’intérêt pour l’utilisateur final de ces modifications (si quelqu’un peu donner plus de détails je suis preneur) mais je vous fais 100% confiance !

    1. Bonjour,
      vous faites bien de demander, c’est vrai que j’ai oublié d’en parler.

      Côté utilisateur, c’est une des rares opérations où cela n’apporte rien de manière directe.

      Là où j’aurais du appuyer en revanche c’est sur le fait que actuellement nous avons une fibre (pour arrivée Internet) non redondée et que là nous en aurons deux permettant ainsi de retirer le seul SPOF que nous avions.

  5. Beau projet 🙂

    Petite question sur le DNS. Dans le cas où on a activé une zone DNS W4A mais qu’en réalité la zone est hébergée ailleurs (OVH) et qu’un simple pointage IN A est présent, allez-vous le détecter ?

  6. Merci pour toutes ces informations, même technique (et j’avoue, parfois incompréhensible pour moi ^^…).
    Est-ce que ce changement permettra aussi l’arrêt régulier des erreurs 503 que mes sites subissent depuis plusieurs mois déjà ?
    Merci.
    En tout cas, Web4all, vous êtes des champions ! 😀

  7. Ayant fait moi-même plusieurs fois ce genre d’opérations de déménagement, vu le nombre de machines, et les impondérables qui ne manqueront pas de venir mettre leur grain de sel, on peut craindre que votre estimation de durée soit très…optimiste ! Enfin, je ne veux pas vous porter la poisse…bon courage

  8. Bon courage et merci pour tout ce travaille pour rendre l’utilisation toujours plus performante et sécurisée !
    J’éspère juste que tout ce passera bien dans cette fameuse nuit !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *