Web4all… c’est terminé.

Bonjour à toutes et à tous,

fin janvier nous vous avons contacté afin de recueillir vos avis au sujet de la « gestion du non-futur » de Web4all puis nous avons contacté les adhérents en février pour leur soumettre au vote une pré-dissolution de l’association dans le cadre d’une Assemblée Générale Extraordinaire.

Commençons par reprendre les explications au sujet de cette pré-dissolution…

Deux membres de l’équipe de Web4all ont annoncés aux membres du Conseil d’Administration de Web4all qu’ils allaient quitter la structure Web4all, ceci de manière anticipée afin de pouvoir étudier tous les scénarios possibles et ne pas laisser le reste de l’équipe et les clients dans l’embarras.

Ont fait part de leur souhait de quitter Web4all :

  • Aurélien PONCINI, Président fondateur de Web4all (moi donc) ;
  • Benoit GEORGELIN, administrateur système, membre du Conseil d’Administration de Web4all depuis 2010 ;

Nous sommes tous deux très attachés à Web4all et aurions aimé pouvoir transformer Web4all en société, nous consacrer pleinement à notre passion, celle qui a porté Web4all à son rang de premier hébergeur associatif français. Cependant la loi n’autorise pas de transformer une association loi 1901 en société commerciale (et c’est tout à fait normal).

Nous avons donc décidé de créer une société, totalement nouvelle, qui vient (enfin !) d’être enregistrée au greffe du tribunal de commerce de Paris, la dénomination commerciale est yulPa

Devant cette annonce de départ, les autres membres de l’équipe ont annoncés qu’ils ne continueraient pas l’aventure Web4all. Soyons réaliste, nous sommes déjà fortement en difficulté avec une équipe de 7 personnes, alors deux départs qui plus est, les plus anciens de l’équipe auraient été très difficilement gérable, pour ne pas dire impossible, pour le reste de l’équipe.

La situation est la suivante : si Aurélien et Benoit quittent Web4all et que dans le même temps le reste de l’équipe arrête aussi, il n’y a plus personne pour gérer la technique et le Conseil d’Administration se retrouve sans membre. Il s’agirait alors d’une dissolution de fait, Web4all arrêterait ses activités et les clients n’auraient plus qu’à partir vers un autre hébergeur, perdant ainsi les sommes déjà payées auprès de Web4all.

Aurélien et Benoit ont alors proposé, dans le cas ou personne ne souhaiterait reprendre les activités de Web4all, d’accueillir la clientèle actuelle de Web4all sans impact technique ou financier.

Une discussion a eu lieu sur les forums, mal compris par certains qui voyaient cela comme une reprise de Web4all par yulPa, ce qui n’est pas le cas puisque les structures n’ont aucun lien. Je comprends que certains prennent les choses ainsi car ils considèrent que yulPa va hériter du fruit du travail de Web4all…

C’est pour cette première raison que nous avons décidé dès 2016 de renoncer à la dénomination commerciale Web4all pour qu’il soit clair que yulPa n’est pas la continuité de Web4all (plus clairement : ce n’est pas Web4all SAS).

Nous avons pris en compte les remarques de chacun puis avons proposé en Assemblée Générale Extraordinaire à qui le souhaitait de candidater pour reprendre les activités. Aucun candidat ne s’est présenté à nous. 

Il était dans le même temps demandé aux adhérents si ils acceptaient que yulPa reprenne la clientèle de Web4all avant dissolution afin de pouvoir gérer cette transition au mieux. Et ce en insistant sur le fait qu’il n’y aurait aucun impact financier pour les clients de Web4all.

Il est également à prendre en compte que en cas de refus et sans vouloir faire peur ou faire pression que nous aurions abouti à une situation où Web4all entamerait une procédure de dissolution sans que yulPa ne reprenne la clientèle, laissant comme indiqué précédemment, les clients dans l’embarra…

J’insiste là dessus, car les personnes nous reprochant « de nous approprier le fruit de Web4all » sont celles qui nous ont annoncé qu’il aurait été inadmissible que yulPa ne reprenne pas les clients de Web4all sans compensation financière.

Il a été demandé pourquoi nous ne pas créer une SCOP avec la participation des adhérents et clients de Web4all. Nous, moi-même et Benoît, ne voyons pas yulPa comme la continuité de Web4all mais comme une nouvelle aventure indépendante. Rien ne justifiait en conséquence d’y associer les adhérents.

Précisons que les membres de l’équipe ont été associés à toutes les discussions depuis des mois.

Au cours de cette assemblée générale extraordinaire nous avons eu :

  • 203 adhérents conviés à participer
  • 103 adhérents qui ont votés

Il a été validé à 92.3 % des suffrages exprimés par les adhérents que la société yulPa pouvait reprendre la clientèle de Web4all, sans attendre la dissolution. 

Le résultat détaillé est en fin d’article.

Nous avons pris en compte toutes les remarques de l’AGE ainsi que celles issues des discussions sur les forums. Peu de personnes se sont opposées à ce projet mais certains propos nous ont poussés à faire quelques changements.

Le nom de domaine sera utilisé pour effectuer des redirections et guider les clients existants migrant de Web4all à yulPa… et c’est tout. Cela signifie que le blog que vous lisez actuellement, les forums, le site… quasiment tout, seront abandonnés. C’est pourquoi nous pouvons réellement parler de la fin de Web4all.

Nous aurions vraiment voulu continuer l’aventure sous la bannière Web4all. Certains clients nous ayant menacé de représailles juridiques, nous ne préférons prendre aucun risque. Il est dommage que certains préfèrent ainsi voir la fin de Web4all plutôt qu’une continuité de l’activité. Voulant nous obliger à tirer un trait sur onze années de travail et abandonner la communauté qui s’était formée…

En revanche nous utiliserons le logo et le nom de Web4all pour faire perdurer l’histoire de Web4all sur des pages dédiées à cela.

Concrètement à compter d’aujourd’hui un message sur le manager indique aux utilisateurs le changement d’entité qui est prévu. Dans les jours qui viennent il sera indiqué qu’il est fortement déconseillé d’utiliser un autre moyen de paiement que le paiement en ligne. Les virements et chèques réceptionnés après le premier avril ne seront pas traités.

Le 1er avril 2017 :

  • le manager Web4all passera en lecture seule, permettant uniquement d’accéder à vos factures si vous aviez besoin d’en récupérer ;
  • tous les clients et utilisateurs ayant au moins un service actif seront exportés du manager Web4all pour être importés sur l’infrastructure de yulPa :
    • SAUF les clients qui s’y opposeront explicitement, voir plus bas ;
    • les clients ayant des services suspendus NE SERONT PAS transférés car non actifs ;
    • les commandes non réglées avant le 31 mars ne pourront pas être traitées ;
    • les domaines en cours de transferts seront affichés comme ACTIFS afin que la facture puisse être éditée par Web4all ;
  • les forums de Web4all passeront en lecture seule avec accès réservés uniquement aux adhérents ;
  • les documentations ne seront, en grande partie, pas reprises ;
  • tout le reste disparaîtra au moment de la dissolution de Web4all en fin d’année 2017 au plus tard.

Ce qui signifie que yulPa :

  • va négocier la reprise des contrats de Web4all afin que Web4all n’ait pas de pénalité sur les ruptures de contrats en cours ;
  • va accueillir les clients de Web4all gratuitement en reprenant les dates d’échéances que Web4all indique sur le manager actuel ;
  • compte conserver les mêmes offres d’hébergements que celles de Web4all, il n’est pas prévu pour le moment de les modifier ;
  • compte conserver les mêmes tarifs d’hébergements que Web4all, il n’est pas prévu pour le moment de les modifier ;
  • prends les mêmes engagements que Web4all au sujet de la vie privée, de la conservation et de la non transmission des données à des tiers mais également sur le fait d’héberger uniquement les données en France (sauf indication contraire acceptée explicitement par le client en ce qui concerne la localisation des données) ;
  • s’engage à conserver les données techniques de Web4all afin de les fournir aux autorités en cas de réquisition après bascule des services, tant que Web4all n’aura pas été officiellement dissout.

Il ne sera donc pas demandé la moindre participation financière aux clients de Web4all pour cette migration et aucune action ne sera nécessaire. La migration sera intégralement prise en charge par les équipes de Web4all et yulPa.

Concernant l’esprit de yulPa… yulPa est porté par les mêmes personnes que Web4all, une grande partie de l’équipe de Web4all (peut-être toute l’équipe) va se lancer dans cette nouvelle aventure alors il n’y a pas de raison que chacun d’entre vous n’y trouve sa place 😉


Si vous souhaitez vous opposer à ce que vos données soient transférées à la SAS YULPA au 1er avril 2017, vous devez vous connecter sur le manager de Web4all AVANT le 1er avril 2017 00h00 puis pour chacun des services que vous ne souhaitez pas voir migré, aller sur la fiche du service en question et cliquer sur Résilier par anticipation. Cela aura pour conséquence de supprimer le service dès le lendemain et le service ne sera alors pas migré au 1er avril.

Une fois le 1er avril passé, il sera impossible d’annuler la migration. En effet la SAS YULPA aura l’obligation légale de conserver un an toutes les données liés à ses clients, mêmes si ces derniers ne l’auront été que quelques heures, cela inclut les données personnelles et les données techniques (logs des serveurs web notamment). 


Résultats AGE

Acceptez vous que la SAS yulPa reprenne les clients de Web4all ?  les clients seront consultés et pourront s’opposer individuellement au transfert de leur comptes et données ; aucune participation financière ne sera demandée aux clients ; les dates d’échéances seront conservées sur l’ensemble des services ; seuls les clients ayant au moins un service actif seraient importés, aucune donnée liée à des comptes inactifs ne serait importée ; les données resteraient sur des serveurs en France, et aucune action technique ne serait nécessaire pour les clients. Aucune interruption de service à prévoir. 
Réponse Décompte Pourcentage
OUI, je suis d’accord avec cette proposition (OUI) 95 92.23%
Je ne me prononce pas (NSPP) 7 6.80%
NON, je ne suis pas d’accord avec cette proposition (NON) 1 0.97%

 

Acceptez vous que la SAS yulPa puisse reprendre à son actif certaines données de l’association Web4all : forums de discussions avec leurs contenu afin de conserver l’historique des participations ; documentations ; toutes applications permettant d’améliorer le service utilisateur (portail de travaux avec historique, données de supervision) mais en aucun cas de données personnelle (voir question 1).
Réponse Décompte Pourcentage
OUI, je suis d’accord avec cette proposition (OUI) 94 91.26%
Je ne me prononce pas (NSPP) 7 6.80%
NON, je ne suis pas d’accord avec cette proposition (NON) 2 1.94%

 

Acceptez vous que la SAS yulPa : puisse faire usage du nom commercial « WEB4ALL » puisse faire usage du nom de domaine web4all.fr puisse via l’usage de la marque, du nom commercial et du nom de domaine afin de faire en sorte de préserver les liens (URL) existantes (en fonction de la question 2) mais également lancer des nouveaux services sous la marque WEB4ALL tel que du soutien à des projets libres, à des associations…
Réponse Décompte Pourcentage
OUI, je suis d’accord avec cette proposition (OUI) 92 89.32%
Je ne me prononce pas (NSPP) 4 3.88%
NON, je ne suis pas d’accord avec cette proposition (NON) 7 6.80%

En route pour… le BGP / Changement de datacenter

PetitNuage en visite chez NeoTelecoms

Bonjour à toutes et à tous. Une importante opération de maintenance est programmée fin juin, dans la nuit du 28 au 29 et aura un impact sur la disponibilité des services.

De plus les adresses IP de Web4all vont toutes être modifiées au cours de cette nuit. Nous vous invitons donc à lire les explications qui suivent.

Si vous ne souhaitez pas tout lire, rendez-vous sur la partie la plus importante : Avant le déménagement ainsi que la suite : Le déménagement… Au sujet de la coupure : impact

 

 

 

Historique du projet Housing et BGP de 2013 à aujourd’hui

Le 07 avril 2013, Web4all lançait son projet En-route-pour-le-housing et faisait appel à la générosité de ses adhérents, clients, visiteurs pour acquérir une trésorerie permettant d’effectuer la migration avec ses mois de locations en doubles. En quelques jours seulement, l’objectif des 7777 € était atteint et même dépassé ! http://blog.web4all.fr/en-route-pour-le-housing-objectif-atteint/ Encore un grand merci à vous toutes et tous !

Quelques semaines après, le 9 juin 2013, nous réalisions notre premier ping et pouvions avancer sur la migration http://blog.web4all.fr/en-route-pour-le-housing-ca-ping/

L’été fut chaotique en raison de problème de BIOS sur les serveurs de virtualisation. Le problème fut corrigé début août après prêt de 4 semaines de dures journées et nuits de recherches.

Le 25 février 2014 à 11H28 nous recevions ce fabuleux mail de la part du RIPE :

We are pleased to welcome Association WEB4ALL as a Local Internet Registry (LIR) and member of the RIPE NCC.

Web4all obtenait alors le statut de LIR : https://apps.db.ripe.net/search/query.html?searchtext=ORG-AW16-RIPE#resultsAnchor

Le 26 février à 13H16 nous recevions une allocation d’adresses IPv6 :

We have allocated the following prefix of IPv6 address space to your registry fr.web4all: 2a01:9de0::/32

Toujours le 26 février, 13H19, allocation d’adresses IPv4… issu du dernier /8 disponible auprès du RIPE NCC :

We have allocated the following prefix of IPv4 address space to your registry fr.web4all (you will receive the assignment approval shortly): 185.49.20.0/22

Et pour finir, le 27 février à 12H32…… Web4all se voyait attribuer son AS !

The RIPE NCC has today assigned the following Autonomous System Number AS199712 to Association WEB4ALL

Nous allons y revenir dans la suite de cet article mais vous pouvez aussi trouver pas mal d’informations sur un de nos articles précédents : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#bgp

Avril 2014, nous ajoutions deux serveurs de virtualisation portant à 6 le nombre d’hyperviseur (soit 1.5 To de RAM).

Mai 2014 : Web4all souscrit à une offre Anti-DDOS Arbor Networks, nous vous en parlions là : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#ddos

Fin juin 2014 : mise en place des nouveaux firewalls, des routeurs BGP, déménagement dans la nouvelle baie, changement des adresses IP

Et nous devrions au cours de l’été 2014 recevoir trois serveurs de virtualisation ainsi qu’une unité de stockage (SAN).

Pourquoi un déménagement / migration

En 2013 Web4all a fait le choix d’une baie d’hébergement avec 46U disponible et 3kVA de capacité électrique. Nous avions alors cela :

  • 2 firewalls
  • 2 switchs 48 ports
  • 2 switchs 24 ports pour l’iSCSI
  • 4 serveurs de virtualisation
  • 1 serveur de backup
  • 1 baie de stockage (DAS)
  • 2 serveurs reliés au DAS pour publier les fichiers des hébergements
  • 1 SAN

Bref, ca donnait ça :

baie_sans_legende2013

 

Avec cela, on avait un peu de marge…

Le soucis, c’est que comme nous venons de le dire, nous avons depuis ajouté deux serveurs de virtualisation et même une baie Equallogic que Web4all s’est faite offrir en début d’année (d’occasion). Bien souvent la limitation dans une baie de serveurs est atteinte non pas la capacité à déposer des équipements… mais plutôt pas la capacité d’alimentation électrique.

Bref, ca donnait ça :

baie_sans_legende2013vs2014

 

A l’heure actuelle, nous dépassons quasiment en permanence cette capacité électrique de 3kVA. Bien que cela ne soit pas gênant en temps normal (nous pouvons monter à 3kVA sur chaque bandeau et nous en avons deux) cela serait une terrible erreur. En cas de perte d’une des arrivées électrique nous perdrions toute redondance car la seule arrivée qui serait encore active serait en limite.

Il s’agit là d’un problème dont nous avions pleinement conscience et nous n’avons pas attendu le mois de mai pour prévoir une issue de secours… Dès le mois de février nous étions en discussion avec notre commerciale de Neo Telecoms pour envisager de changer de baie (notre baie ne permettant pas de monter au-delà des 3kVA).

Après avoir étudié les différents avantages et inconvénients dans les différents datacenter où Neo Telecoms est présent et les différentes capacités électriques disponibles, nous avons optés pour le dernier datacenter Neo Telecoms, inauguré en septembre 2013 en plein cœur de Paris ! Une petite présentation ? 

Nous serons sur une baie de type haute-densité avec une capacité de 5kVA et la possibilité de monter à 7kVA si cela est nécessaire sans déménager à nouveau.

Et donc au final… voilà à quoi va ressembler la baie une fois déménagée et le matériel en cours de commande :

baie_sans_legende2013vs2014vs2014v2

 

Le but de cette opération est donc triple :

  • Mettre en place notre matériel dans une nouvelle baie afin de pouvoir accueillir encore plus de matériel ;
  • Avoir un seul interlocuteur pour le datacenter et réseau. Actuellement nous ne travaillons qu’avec Neo Telecoms mais le datacenter appartient à Equinix. Là nous n’aurons que Neo Telecoms comme interlocuteur ;
  • Mettre en place notre nouveau matériel réseau qui va nous permettre de diffuser notre AS et nos IP.

AS, IP… Késako ?

Le but de cet article n’est pas de détailler les points techniques, si vous souhaitez des informations vous trouverez cela sur mon précédent article : http://blog.web4all.fr/zimbra-attaques-projets-2014-et-salon-solution-linux/#bgp

On pourrait dire que désormais Web4all sera une (toute) petite partie d’Internet. Nous serons identifié en tant que Web4all et non plus Neo Telecoms (et avant 2013 nous sortions en OVH).

Avec la pénurie d’adresses IPv4 les adresses IP coutent chères et sont limités. Chez Neo Telecoms nous n’en avons que 64. Chez OVH 254 mais à plus d’un euros par IP et par mois… cela fait vite un sacré budget.

En devenant LIR, avec notre AS et nos IP nous allons disposer de 1024 adresses IP sans coût direct. Il y a en revanche des coûts indirect : l’infrastructure BGP notamment mais nous ne faisons pas tout cela que pour les IP.

Avant le déménagement

Vous n’avez rien à faire. La préparation est effectuée par Web4all. Manquant de connaissance dans le domaine du routage BGP, Web4all a fait appel à une société dont c’est le métier : un opérateur. Il s’agit de la société INEONET qui nous avait déjà aidé dans le projet en 2013 : http://www.ineonet.com

Un ingénieur d’INEONET travaille déjà avec nous depuis plusieurs semaines (mois, même…) pour préparer tout cela. Il a déjà configuré la partie routage dans leurs ateliers ainsi que les nouveaux firewalls puisque nous remplaçons nos pare-feu par des modèles plus puissants.

Cet ingénieur va monter sur Paris la semaine prochaine afin de mettre en place le matériel avec nous et valider le bon fonctionnement. Si tout est bon, alors nous pourrons passer à l’étape suivante.

Le déménagement… Au sujet de la coupure : impact

Autant ne pas perdre de temps et dire les choses rapidement : il y aura une coupure de service de 02H30 à 05H30 dans la nuit du samedi 28 juin au dimanche 29 juin.

Dans la nouvelle baie, nous aurons déjà les équipements réseaux en place (routeurs et firewalls).

  • Il nous faudra alors démonter de l’ancienne baie tous les serveurs, les baies de stockages, les swicths. Cela prendra environ 45 minutes ;
  • Ensuite nous allons charger le matériel dans nos véhicules et devoir faire la route de Saint-Denis à Paris 2. N’ayant pas d’avertisseur lumineux ou sonore, nous comptons environ 20 minutes de trajet ;
  • Nous déchargerons le matériel et le mettrons en place dans la nouvelle baie. Il faut compter 1H00 ;
  • Nous relançons le tout et effectuons des tests… comptez 30 minutes.

Nous arrivons donc à 2H35 soit 3H00 en laissant une petite marge. Mais il est fort probable si tout se passe correctement que nous parvenions à effectuer les opérations en moins de temps.

Web4all n’est pas en mesure d’avoir une infrastructure doublée pour effectuer une migration sans coupure. Bien que cela ait été étudié, le coût était de plus de 20000 € de matériel à acheter.

Durant ce temps là…

  • Les sites ne seront plus accessibles ;
  • Le webmail et les mails en POP / IMAP ne seront plus accessibles ;
  • Les mails seront TOUJOURS réceptionnés par un serveur dédié à cela chez ONLINE. Aucune perte de mail à prévoir. Il s’agit du fonctionnement habituel des MTA, donc c’est déjà en place ;
  • Les zones DNS seront toujours publiés chez ONLINE et OVH. Aucun impact donc ;
  • quelques personnes avec des polos Web4all courront dans Equinix PA2 et Paris… si vous êtes dehors cette nuit là ne prenez pas peur…

Et après le déménagement / la coupure ?

Web4all devra modifier les zones DNS afin de faire pointer sur les bonnes adresses IP.

  • Si vos zones DNS sont gérées par Web4all (ce qui est le choix par défaut pour vos domaines) alors vous n’aurez rien à faire ;
  • Si vos zones DNS ne sont pas gérées par Web4all alors vous serez contacté sous peu pour gérer cette modification ;
  • Si vous ne savez pas, alors dites-vous que si vous ne recevez pas de mails de notre part d’ici la migration c’est que vous n’avez rien à gérer.

Sachez que Web4all fera en sorte que les flux de l’ancien datacenter soient redirigés sur le nouveau durant quelques jours, la modification des IP dans les zones DNS ne sera donc pas urgente pour les clients gérants leurs zones. Nous vous contacterons dans les jours qui viennent.

Voilà je pense avoir fais le tour. Nous contacterons les clients qui ont des modifications à effectuer d’ici la migration. Pour les autres vous n’avez rien à gérer, Web4all s’en charge.

Une fois tout cela terminé, Web4all travaillera avec ses adresses IP qui ne seront donc plus liés à un fournisseur ni à un emplacement géographique. Nous ne devrions plus avoir de problématique de modification d’adresse IP dans le futur !

En vous remerciant de votre compréhension.

Note : le patch Zimbra devrait sortir dans les jours qui viennent selon l’éditeur Zimbra.

Zimbra / Attaques / Projets 2014 et salon Solution Linux !

Plaquettes Web4all

Les jours qui viennent de s’écouler furent intenses. Tant pour l’équipe de Web4all que pour vous, utilisateurs de notre plate-forme. Comme vous avez pu le constater nous avons du faire face (et c’est d’ailleurs toujours le cas) à deux problèmes majeurs vous impactant directement : la mise à jour Zimbra qui comporte un bug rendant très lente l’ouverture du webmail –voir quasi impossible pour de rares utilisateurs– et des attaques à répétitions ces deux dernières semaines et principalement ce dernier week-end et début de semaine, attaques qui sont qualifiés de DDoS, nous y reviendrons pas la suite mais rassurez vous aucune intrusion sur l’architecture n’a été détecté et donc aucun piratage de données ne semble lié à ces attaques qui avaient pour unique but de mettre sur les genoux notre infrastructure.

Concernant l’équipe Web4all ce ne sont pas que les derniers jours qui furent intense mais les dernières semaines. Car, comme l’an dernier à cette époque de l’année, nous avons de nombreux projets en cours qui sont très prenant en temps : acquisition de nouveau matériel stockage et serveurs, passage en LIR auprès du RIPE, acquisition de matériel réseau dit « BGP« , fabrication d’objets de communication, déménagement de datacenter en vue et l’organisation du salon Solution Linux au CNIT à la Défense les 20 et 21 mai où Web4all aura, pour la première fois, un stand pour vous accueillir ! Face aux récents problèmes et aux différents projets, nous nous devions de communiquer auprès de vous tous, certains utilisateurs ont d’ailleurs exprimés cette attente sur les réseaux sociaux et forums, mais cela était prévu, nous souhaitions juste vous apporter des réponses concrètes sur certains points et pour cela il fallait que certains dossiers aient avancés. Et par soucis de transparence, nous avons décidé de rendre cette communication publique sur notre blog, communication unique pour tous ces points afin de ne pas importuner nos clients avec le mails de notification pour chaque article important.

Je n’aborde pas la faille Heartbleed, sachez que même si nous n’avons pas eu le temps de communiquer là dessus, Web4all a corrigé tous les serveurs le jour même où la faille a été rendu publique et les certificats SSL de Web4all ont tous été régénérés.

Autre sujet qui prends du temps ces dernières semaines, l’externalisation de la comptabilité. Les discussions sont en cours et pour rester dans un esprit associatif, nous avons pris attache avec un cabinet associatif, le CER France.

Je pense que cela sera déjà pas mal en terme d’informations, je vous laisse donc lire le détail de tout cela. Bien que certains titres puissent contenir des termes techniques, je vais essayer d’être le plus compréhensible possible afin que tout le monde puisse prendre un minimum de plaisir à lire cet article. Si jamais une partie venait à être un peu trop complexe, je ne doute pas que vous demanderez des informations.  Je vous invite si vous avez des commentaires à les faire ici-même ou mieux encore (ouvre plus facilement à des réponses si cela est attendu) sur nos forums à cette adresse : http://forums.web4all.fr/topic/9434-blog-zimbra-attaques-projets-2014-et-salon-solution-linux/

Et n’oubliez pas que vos critiques nous permettent d’avancer, qu’elles soient bonnes ou mauvaises 😉

Mise à jour Zimbra provoquant de fortes perturbations sur l’utilisation de la messagerie


Dans la nuit du 26 au 27 avril nous avons procédé à une mise à jour de la suite logicielle Zimbra, solution utilisée pour vous fournir un service de messagerie électronique (Emails) dans le cadre des hébergements mutualisés. Cette tâche avait été annoncée sur la plate forme « Web4all Travaux » : http://travaux.web4all.fr/task/258

Comme de nombreux utilisateurs vous avez du constater que cette mise à jour à pour effet de ralentir énormément l’ouverture du webmail et pour certains utilisateurs –très peu– il est quasiment impossible d’utiliser le webmail correctement. Il s’agit là d’un problème que nous prenons très au sérieux, nous sommes nous mêmes utilisateurs de cette plate forme de messagerie à titre personnel, professionnel pour certains de l’équipe et bien entendu, dans le cadre de Web4all il s’agit là de notre principal outil de travail.

De nombreuses questions nous ont été posées au sujet de cette mise à jour : « Pourquoi ne pas avoir testé la mise à jour ? », « Pourquoi ne pas avoir attendu qu’elle soit fiable ? », « Pourquoi ne pas faire un retour arrière ? »… Je vais donc vous apporter quelques réponses qui même s’ils ne rendront pas la messagerie fonctionnelle tout de suite pour autant, vous permettrons, je l’espère de comprendre « le pourquoi du comment ».

La mise à jour a été testé sur deux serveurs Zimbra par les personnes de Web4all. Nous avons validé le fonctionnement et aucun problème ne s’est présenté que ce soit dans le cas d’une nouvelle installation ou d’une mise à jour. Nous avons donc pris toutes les précautions mais un test reste un test et tous les paramètres d’un environnement de production ne sont jamais réunis à commencer par la charge lié aux utilisateurs et les actions des utilisateurs qui sont très variées et impossible à reproduire en intégralité.

La mise à jour en question ne datait pas de la veille. Web4all a attendu près de un mois avant de déployer cette mise à jour qui était minime (pas de gros changement), des corrections de bugs principalement, bugs qui impactaient certains d’entre vous sur les affichages et impressions d’emails. Cette mise à jour était donc nécessaire pour certains utilisateurs, il y avait une réelle plus-value. Web4all a consulté les forums de la communauté Zimbra francophone et anglophone comme nous le faisons à chaque fois afin de voir si certains utilisateurs remontaient des dysfonctionnement : personne ne s’en plaignait.

L’infrastructure Zimbra chez Web4all est complexe, composée de nombreux serveurs avec des rôles bien définit. La mise à jour modifie les données du LDAP, des bases MySQL et d’autres paramètres. Un retour arrière est impossible à notre connaissance. De plus le problème ayant été constaté plusieurs heures après, un rollback complet aurait été plus grave puisque les données traités durant ce laps de temps auraient été perdues.

A titre d’information, pour ceux qui connaissent un petit peu Zimbra, notre infrastructure actuelle est composée ainsi :

  • 1 serveur LDAP Master contenant l’intégralité des données de provissionning (comptes, listes de distributions, alias, domaines…) ayant également un rôle de STORE pour les requêtes API venant du manager IWAL ;
  • 5 serveurs MTA et répliquas LDAP pour la réception et l’envoi des emails, et pour soulager le LDAP master ;
  • 9 serveurs STORE pour le stockage des boites mails ;
  • 2 serveurs PROXY pour avoir un point d’accès unifié quelque soit le STORE où est positionné la boite email de l’utilisateur ;
  • 2 serveurs HA-PROXY (non Zimbra) pour répartir la charge entre les PROXY et gérer les indisponibilités éventuelles ;
  • 2 serveurs APACHE (non Zimbra) pour la gestion du ActiveSync (Push pour smartphones, tablettes…) ;
  • 1 serveur MYSQL (non Zimbra) pour le provissionning Push.

Mais revenons en au problème qui vous (et nous) impacte. Une fois le problème constaté nous avons d’abord cherché de notre côté si nous n’avions pas un problème avant d’alerter la communauté Zimbra. Une fois tout vérifié et validé de notre côté nous avons demandé à la communauté Zimbra francophone si des problèmes similaires avaient été constatés par des membres. Personne ne semble avoir rencontré ce problème.

Nous nous sommes alors tourné vers les forums anglophones et là encore personne ne semblait rencontrer de problème similaire.

Le 27 avril soit le soir même de la mise à jour (difficile d’être plus réactif) Benoit GEORGELIN (Expert Infrastructure chez Web4all) a ouvert un bug sur l’interface Zimbra dédiée à cet effet. Vous pouvez d’ailleurs en prendre connaissance ici : https://bugzilla.zimbra.com/show_bug.cgi?id=89504

A l’heure actuelle nous ne pouvons malheureusement qu’attendre que les équipes de Zimbra sortent un fix pour ce bug (un correctif). Les équipes Zimbra ont bien reconnu qu’ils s’agissaient d’un bug et le Bugzilla mentionne d’ailleurs qu’à ce jour nous ne sommes plus les seuls à avoir remonté ce gros problème.

Pour finir sur ce point critique, des utilisateurs nous ont demandés pourquoi nous ne passions par en version payante de Zimbra et inclure cela dans nos offres afin de bénéficier d’un support Zimbra. Il faut savoir qu’à ce jour la version payante semble être impacté de la même manière, cela ne change donc rien. De plus, le coût de la version payante en licence est d’un peu de moins de 2€ HT par mois par utilisateur. Faites le calcul sur un hébergement Start et vous pouvez multiplier le prix de l’hébergement par 20 ce qui est impossible, soyons réaliste.

Web4all prend ce problème très au sérieux, nous avons pleinement conscience de l’impact pour vous mais nous ne pouvons malheureusement rien faire à part attendre que Zimbra corrige cela. Et le statut associatif ne change rien à cela, nous serions une société il en serait exactement de même.

Attaques DDoS récurrentes début mai 2014 et mesures prises


Comme vous l’avez surement constaté ou lu sur les réseaux sociaux (où je vous invite à nous suivre Facebook / Twitter / Google+ ) ces derniers jours, Web4all a été la cible d’attaques dites DDoS (Attaque par déni de service). Ces attaques ont pour but de mettre sur les genoux l’infrastructure en la bombardant de requêtes… une fois à saturation le trafic légitime ne peut plus être traité et l’infrastructure ne répond plus.

La définition de Wikipédia est simple à comprendre :

Une attaque par déni de service (denial of service attack, d’où l’abréviation DoS) est une attaque informatique ayant pour but de rendre indisponible un service, d’empêcher les utilisateurs légitimes d’un service de l’utiliser. Il peut s’agir de :

  • l’inondation d’un réseau afin d’empêcher son fonctionnement ;

  • la perturbation des connexions entre deux machines, empêchant l’accès à un service particulier ;

  • l’obstruction d’accès à un service à une personne en particulier.

L’attaque par déni de service peut ainsi bloquer un serveur de fichiers, rendre impossible l’accès à un serveur web ou empêcher la distribution de courriel dans une entreprise.

L’attaquant cracker n’a pas forcément besoin de matériel sophistiqué. Ainsi, certaines attaques DOS peuvent être exécutées avec des ressources limitées contre un réseau beaucoup plus grand et moderne. On appelle parfois ce type d’attaque « attaque asymétrique » (en raison de la différence de ressources entre les protagonistes). Un cracker avec un ordinateur obsolète et un modem lent peut ainsi neutraliser des machines ou des réseaux beaucoup plus importants.

Le premier point qu’il faut prendre en compte c’est que Web4all n’est pas visé en particulier. En temps normal il peut s’agir du site d’un client et pas forcément de l’entité Web4all. De plus, de nombreux articles relatent un pic historique d’attaques DDoS ces derniers jours avec notamment dans les pays ciblés… la France 🙁 Web4all n’échappent donc pas à cela.

Malheureusement face à une attaque DDoS il n’y a pas grand chose à faire à part attendre que l’assaillant cesse. Ces dernières années ce type d’attaques s’étant considérablement répandues, les constructeurs d’équipements réseaux ont pris des mesures pour proposer des solutions afin de stopper l’impact (ou le limiter dans le cas de très grosses attaques).

Web4all a donc pris des mesures sans attendre. Dès dimanche matin (le 11 mai) nous étions en contacts avec nos fournisseurs en équipements réseaux (INEONET, opérateur et expert en Infrastructures et sécurité réseaux) et NeoTelecoms, notre fournisseur de transit Internet. Et oui chez Web4all on est sympa on fais bosser nos fournisseurs n’importe quand mais c’est aussi pour cela que nous les avons choisit car il y a un vrai accompagnement de leur part.

Vu qu’il s’agit de dossiers à plusieurs milliers d’euros, même dans l’urgence, il n’est pas possible de prendre des décisions à la va-vite. Nous avons donc étudié avec ces deux fournisseurs les actions que nous pouvions entreprendre et dans quels délais.

Du côté d’INEONET nous avons pu définir que les firewalls que nous avons ne sont plus suffisamment dimensionnés pour notre infrastructure. Nous avons donc étudié la gamme de firewall qui nous est accessible (l’aspect budgétaire est à prendre en compte, certains firewalls coûtants plusieurs dizaines de milliers d’euros, à multiplier par deux pour assurer une redondance). Nous avons pu dégager plusieurs modèles nous correspondant et nous arrêter sur un modèle qui devrait nous être livré d’ici quelques jours.

Du côté de NeoTelecoms, des mesures de protection ont été mise en place dans l’urgence afin de nous aider en attendant de trouver des solutions. Merci à NeoTelecoms de nous sauver un peu InExtremis ! Nous avons donc souscrit chez NeoTelecoms aujourd’hui l’offre IpDefender reposant sur des boitiers Arbor Networks qui assure une protection contre les attaques de types DDoS. Là aussi le coût n’est pas négligeable, on parle en milliers d’euros par an. Si vous souhaitez en savoir plus sur l’offre de protection DDoS vous trouverez les informations ici : http://www.neotelecoms.com/fr/ip-defender/caracteristiques-detaillees

Le système, n’est pas encore complètement en place, Benoit GEORGELIN et moi-même (Aurélien PONCINI) devons assister à une formation pour prendre l’outil en main puis procéder à la configuration en fonction de notre infrastructure. Il se peut donc que nous connaissions encore quelques dysfonctionnements dans les jours à venir si nous sommes à nouveau la cible d’attaque.

ipdefender

Acquisition de nouveaux matériels de types stockages et serveurs


Nous y reviendrons d’ici deux ou trois mois, mais depuis quelques semaines nous travaillons sur l’évolution de l’infrastructure matérielle. Comme vous l’avez peut-être lu sur les réseaux sociaux (sur lesquels je vous invite -à nouveau- à nous suivre 🙂  Facebook / Twitter / Google+ ) nous avons début avril mis en place deux nouveaux serveurs de virtualisation, apportant 512 GB de RAM et du CPU ce qui s’est clairement ressenti sur la navigation de vos sites.

Mais cela n’était qu’un petit peu de souffle neuf, nous travaillions sur l’acquisition de matériel avant la mise en place des serveurs mais ces dossiers sont long à gérer de part notre statut associatif 🙁 Il est donc prévu si tout va bien que nous rajoutions d’ici quelques semaines une unité de stockage haute performance d’un peu plus de 10To (en RAID10 10k) ainsi que trois serveurs de virtualisation dotés des tout derniers CPU Intel Xeon-V2 dans leur modèle les plus puissants.

A titre d’information le budget pour les serveurs et la baie de stockage est de 40.000 €

Affaire à suivre 🙂

Voici les serveurs de virtualisation, il y en a un en plus qui est temporaire et n’est pas sur la photo :
hyperviseur

Acquisition de nouveaux matériels de types réseaux BGP


Je ne vais pas recommencer le paragraphe comme le précédent mais là aussi sur les réseaux sociaux vous auriez pu lire que… ok j’arrête avec les réseaux sociaux 😉 Courant février 2014 Web4all a procédé, non sans mal, à son inscription auprès du RIPE, organisme « en charge de la gestion d’internet en Europe« , vous trouverez une explication sur Wikipédia là aussi 😉

Ainsi Web4all :

Nous sommes donc là aussi sur un gros projet puisque cela nécessite d’acquérir des routeurs BGP, de se former sur ces technologies nouvelles pour nous et de préparer une mise en place sans aucune coupure de service. Encore une fois, il faut bien prendre en compte qu’entre les frais d’inscriptions au RIPE et les acquisitions de routeurs BGP nous sommes sur un budget de plusieurs milliers d’euros annuel.

Quelques sites qui parlent très bien de tout cela :

Là aussi, affaire à suivre dans quelques semaines.

Fabrication des objets de communication


Sur les réseaux sociaux… ok j’arrête ! N’empêche que vous auriez pu y voir… nos objets de communication que nous avons fait fabriquer pour le salon. Pour le moment nous ne les avons pas encore tous reçus mais les premiers sont arrivés :

  • Tours de cous ;
  • Plaquettes ;
  • Kakémono ;
  • et nous attendons encore : stylos, tapis de souris, polos, chemises, mugs, nuages anti-stress (on en aura bien besoin !), cartes de visites…

Ces objets vous attendrons sur notre stand (voir ci-dessous) et très prochainement sur une boutique Goodies que nous allons mettre en ligne !

La création artistique a été réalisé par de jeunes talents Toulousain, AGITEO, n’hésitez pas à faire appel à eux si vous cherchez des personnes compétentes, dynamiques, sérieuses et débordantes d’idées ! Autre chose ? Ils sont rapide !

Retrouvez Agiteo sur leur site et sur Facebook ainsi que Twitter !

Agiteo_kakemono
Agiteo_plaquette
Agiteo_plaquette2
Agiteo_tour_cou

 

Salon Solution Linux au CNIT de la Défense les 20 et 21 mai 2014


Web4all sera pour la première fois depuis sa création, présent sur un salon. Et pas n’importe lequel puisqu’il s’agit DU salon Solution Linux qui se tient au CNIT à La Défense (92).

Nous serons présent deux jours et serons très heureux de vous accueillir sur notre stand pour vous offrir quelques cadeaux, un café, faire connaissance dans le monde réel ! Alors n’attendez plus et passez nous voir sur le stand D1 !

L’entrée y est gratuite, il suffit de demander votre badge ici : http://www.solutionslinux.fr/preinscription.html

Linux_FR

Web4all soutient l’ISAT Eco Rallye


Il y a quelques semaines, nous avons été contactés par des étudiants de l’ISAT (Institut Supérieur de l’Automobile et des Transports) qui portent un projet audacieux. Plutôt que de le décrire, je vous met ce qui est indiqué sur leur site, bien entendu hébergé chez Web4all :

 Le projet ISAT ECO RALLYE est un nouveau projet pédagogique à l’ISAT, Institut Supérieur de l’Automobile et des Transports. Il a pour but la création d’un véhicule de rallye écologique afin de courir lors du rallye de Monte-Carlo des énergies nouvelles, la version écologique du mythique rallye. Nous participerons également au Mondial de l’Automobile 2014 à Paris.

 Cette compétition spécialisée est l’occasion de mettre en valeur les innovations et l’écologie. Le but n’est pas seulement d’être le plus rapide, mais surtout le plus respectueux de l’environnement.

 Nous souhaitons participer à cette compétition afin d’approfondir nos connaissances sur les voitures de compétition moins polluantes. Notre but est de créer totalement un véhicule avec les technologies de demain afin de participer à cette compétition. Les maîtres-mots de ce projet sont l’écologie, l’innovation et la compétition.

Nous avons tout de suite aimé le concept, parce que certains d’entre nous aiment l’automobile (quoi, moi ?) mais surtout car l’automobile est un secteur d’activité indispensable à l’économie française et que la majorité des gens ont besoins d’une automobile. C’est un domaine qui vit une véritable révolution depuis des années sur la partie sécurité, habitable, assistance… et beaucoup de domaines mais qui reste encore très lié à l’énergie fossile. Aussi, le concept d’allier performances et énergies nouvelles nous a tout de suite plu et aussi car chez Web4all nous aimons les défis et sommes persuadé que l’équipe de l’ISAT Eco Rallye saura relever ce défi ! Nous les soutenons.

isat

A titre d’information, Web4all a offert l’hébergement du site internet et effectué un don de 750 €.

Le site : http://www.isat-eco-rallye.fr/

Le mot de la fin

Si vous êtes arrivé jusqu’ici, je ne peux que vous remercier pour votre attention ! La semaine se terminera pour Web4all par une réunion de quasiment l’ensemble de l’équipe sur Paris, nous vous mettrons quelques photos sur les réseaux sociaux 😉

Bonne semaine à toutes et à tous :)

En route pour le housing : ça stocke !

En route pour le housing : ça ping !Bonjour à toutes et à tous, déjà près de 4 semaines se sont écoulés depuis notre article En route pour le housing : ça ping ! soit presque 10 semaines depuis l’article En route pour le housing : objectif atteint ! et nous ne pensions vraiment pas que cela serait aussi long. Je pourrais même commencer cet article comme le précédent : « nous en avons parcouru du chemin, résolu des problèmes, fait des kilomètres, passé des nuits à -ne pas- dormir… Un jolie chemin parsemé d’embûches plus énervantes les unes que les autres. De bonnes doses de stress vous amenant par moment à vous poser la question « Non mais qu’est-ce qui nous a pris de nous lancer là dedans ?! » Sans parler des problèmes qui amènent à des dépenses totalement imprévues… heureusement que votre générosité à toutes et tous nous a permit d’avoir un peu de trésorerie de côté pour ne pas avoir en plus à se soucier (trop) de l’aspect financier… » car c’est à peu près le même discours que nous pouvons tenir ce jour.

Mais avec tout de même une différence -considérable- : tout est en place et la migration va commencer !

Avant de vous donner le récit de ces 4 dernières semaines donc, je vous informe que nous allons effectivement débuter la migration cette semaine (première semaine du mois de juillet). Nous aurions aimé pouvoir prévenir longtemps à l’avance mais nous avons rencontré tellement de petits problèmes auxquels se sont accumulés beaucoup d’incidents sur l’infrastructure actuellement utilisée par vos sites que nous allons devoir procéder rapidement, pour ne pas dire dans l’urgence… 🙁

Rassurez vous, vous n’aurez rien à faire et les opérations seront quasiment transparente et la plupart seront effectuées la nuit. Sachez d’ailleurs qu’Aurélien PONCINI (moi-même donc) a prit deux semaines de congés qui seront intégralement dédiées à Web4all. De même Benoit GEORGELIN (résidant au Canada) a également prit deux semaines de congés et rentre spécialement en France pour procéder à la migration des données et à la prise en main de tout ce qui a été fait ces dernières semaines.

Vous voyez, malgré que Web4all ne soit uniquement composée de bénévoles, nous faisons tout pour que le service soit le meilleur possible.

La migration se déroulera ainsi :

  • 01-02 juillet : Migration du portail Web4all : site, forums, outils interne… afin de valider le fonctionnement de l’infrastructure
  • 02-03 juillet : Migration des serveurs DNS ns1.web4all.fr / ns2.web4all.fr Ne vous inquiétez pas, aucun impact de votre côté et aucune modification à effectuer !
  • 04-05 juillet : Migration de la plate-forme de stockage + FTP + HTTP + MySQL : tous les sites internet devraient basculer. Aucune modification n’est à effectuer de votre côté. Seuls les clients qui n’utilisent pas les DNS de Web4all auront des modifications à faire, ils seront individuellement prévenus. Web4all met des solutions en place pour que ces derniers n’aient pas de coupure de service
  • Après le 05 juillet : Migration Zimbra : en attente pour le moment

Comme vous le voyez, vous n’avez aucune modification de votre côté à effectuer. La coupure de service pour la bascule FTP/HTTP/MySQL ne devrait pas excéder 60 minutes (que nous tenterons de réduire).

L’architecture de production actuelle rencontre de sérieux problèmes et il est temps de la mettre à la retraite. Pour ne rien vous cacher le Filer qui contient les fichiers commence à faiblir. Aucun risque de perte de données car nous avons des répliquas mais en cas de casse il faudra alors procéder à une migration dans l’urgence ce qui serait encore moins agréable…

Voilà, nous allons désormais vous raconter ce qu’il s’est passé ces 4 dernières semaines. Les photos servant à illustrer l’aventure ont été prises sur le coup, tel que nous avons vécu l’événement, sans forcément avoir le temps de prendre la pose… alors pardonnez nous pour la médiocre qualité de certaines photos.

Certains d’entre vous ont pu suivre en quasi temps réel cet événement puisque nous avions relayé cela sur les réseaux sociaux. A ce sujet, je vous rappelle que vous pouvez suivre l’actualité de Web4all sur les différents réseaux FacebookTwitter et Google+

Perception du matériel de stockage…

Le dernière article avait été publié juste avant que nous recevions la dernière partie du matériel, dédiée au stockage.
Cette partie est composée de :
– 1 SAN pour le stockage des machines virtuelles
– 1 serveur de backups
– 2 serveurs pour publier les données des sites internet (publient le NFS pour les serveurs HTTP)
– 1 DAS qui stocke les disques dur pour les deux serveurs sus-cités (reçu juste avant la rédaction du précédent article)

Des cartons, encore des cartons... La dernière livraison est enfin là !Des cartons, encore des cartons… La dernière livraison est enfin là !

L'arrière du SAN DELL MD3620i. Equipé de double contrôleurs 10 GB.L’arrière du SAN DELL MD3620i. Equipé de double contrôleurs 10 GB.

L'avant du SAN DELL MD3620i. Equipé de 24 disques de 900GB SAS 10k 2.5L’avant du SAN DELL MD3620i. Equipé de 24 disques de 900GB SAS 10k 2.5

Serveurs pour le cluster ZFS. Double cartes 10GB. 256GB de ram. Cartes SAS à ajouter.Serveurs pour le cluster ZFS. Double cartes 10GB. 256GB de ram. Cartes SAS à ajouter.

Serveurs pour le cluster ZFS avec leur baie de disques. Les fichiers des sites seront là !Serveurs pour le cluster ZFS avec leur baie de disques. Les fichiers des sites seront là !

Avant du serveur de backup. 6HDD de 4ToAvant du serveur de backup. 6HDD de 4To

Arrière du serveur de backup. 6 cartes 1GB (deux sont inutilisables car de marques Broadcom donc incompatibles avec Nexenta, d'où l'ajout de 4 cartes Intel).Arrière du serveur de backup. 6 cartes 1GB (deux sont inutilisables car de marques Broadcom donc incompatibles avec Nexenta, d’où l’ajout de 4 cartes Intel).

On amène le SAN et le serveur de backup au datacenter…

Oui pour le moment nous n’amenons pas le cluster ZFS car il reste du travail à faire dessus… il reste donc dans le salon d’Aurélien PONCINI… :/

Encore une fois, la voiture se retrouve bien chargée... heureusement qu'on ne paye pas les trajets au poids...Encore une fois, la voiture se retrouve bien chargée… heureusement qu’on ne paye pas les trajets au poids…

Il faut connecter le SAN 10GB sur ces ports, à l'arrière des switchs 24 ports. Assez difficile d'accès car cela n'est ni à l'avant de la baie, ni à l'arrière maisau millieu du fait de la faible profondeur des switchs...Il faut connecter le SAN 10GB sur ces ports, à l’arrière des switchs 24 ports. Assez difficile d’accès car cela n’est ni à l’avant de la baie, ni à l’arrière maisau millieu du fait de la faible profondeur des switchs…

On a un petit peu oublié de préparer les repères sur les câbles. Donc on fait sur place. Heureusement Web4all a sa petite Dymo portable :)On a un petit peu oublié de préparer les repères sur les câbles. Donc on fait sur place. Heureusement Web4all a sa petite Dymo portable 🙂

Câbles 10GB pour le SAN...Câbles 10GB pour le SAN…

Le SAN est dans la place !!!Le SAN est dans la place !!!

Chantal QUINQUIS participe également, et pas juste pour la photoChantal QUINQUIS participe également, et pas juste pour la photo

A nouveau Chantal :)A nouveau Chantal 🙂

Au tour d'Aurélien PONCINI...Au tour d’Aurélien PONCINI…

Ça commence a se remplir. Il manque encore 2 serveurs et un DAS. #avantDeLaBaieÇa commence a se remplir. Il manque encore 2 serveurs et un DAS. #avantDeLaBaie

Ça commence a se remplir. Il manque encore 2 serveurs et un DAS. #arrièreDeLaBaieÇa commence a se remplir. Il manque encore 2 serveurs et un DAS. #arrièreDeLaBaie

Configuration du Cluster ZFS à la maison…

Il faut désormais s’occuper du cluster ZFS qui va stocker les fichiers des sites internet.
Ce dernier devra assurer la publication des données en NFS pour les serveurs Web de manière rapide et permanente. Si tout se passe correctement nous devrions donc sur cette partie de l’infrastructure bénéficier d’un fort avantage comparé à aujourd’hui. En effet nous aurons désormais un cluster et non un serveur tout seul qui, en cas de défaillance, ne publie plus rien… et nous passons de 8 HDD à 24.. le RAID devrait aller plus vite… beaucoup plus vite 🙂

Il faut alors ajouter les cartes HBA dans les serveurs, configurer le tout, faire quelques essais et pour le coup on vous a même fait une petite vidéo… Juste pour que vous voyez le bruit que cela peut faire dans mon salon durant la phase de configuration 🙂

A côté, le bruit des switchs juste derrière le canapé était relativement faible…

Mais avant cela nous avons dû commander deux modules de stacking pour les swicths 48 ports afin d’unifier le tout en un switch 96 ports… Merci à la société Ineonet qui nous aura permis d’être livré dans la journée ! Et merci à Autolib’ qui nous aura encore une fois bien dépanné… ce jour là, il aura tout de même fallu 1H45 pour faire 5 kms en région parisienne… de quoi devenir fou 🙁

Ca y est, on a les cartons des stack !Ca y est, on a les cartons des stack !

Voilà les fameux modules de stack avec leurs câbles 40GBVoilà les fameux modules de stack avec leurs câbles 40GB

Les cartes HBA pour que nos serveurs se connectent aux disques dans la baie de stockage.Les cartes HBA pour que nos serveurs se connectent aux disques dans la baie de stockage.

Cartes insérées dans le support...Cartes insérées dans le support…

Cartes en place dans les serveurs !Cartes en place dans les serveurs !

Parrallèlement à tout cela, nous avons commencé à répliquer les serveurs de sauvegardes pour bénéficier des données au sein de la baie 🙂

Allez on tire un peu sur le filer de backupsAllez on tire un peu sur le filer de backups

On tire un peu sur le Transit @NeoTelecoms pour début de migration. Ca marche très bien...et on est qu'à 1/3On tire un peu sur le Transit @NeoTelecoms pour début de migration. Ca marche très bien…et on est qu’à 1/3

Cluster Nexenta en cours d'install ! Et on a même le JBOD affiché ! (pas d'origine ^^) Ca en fait du disque ! Cluster Nexenta en cours d’install ! Et on a même le JBOD affiché ! (pas d’origine ^^) Ca en fait du disque !

Yeah \o/ Ca prend forme ! nmc@zfs-clu-01a:/$ zpool iostat & nmc@zfs-clu-01a:/$ zpool statusYeah \o/ Ca prend forme ! nmc@zfs-clu-01a:/$ zpool iostat & nmc@zfs-clu-01a:/$ zpool status

Et comme promi, une petite vidéo :

On amène le Cluster ZFS au datacenter !

Les fameux modules de stack mis en place avec leur câbles 40GB en RING (on assure ainsi la redondance)Les fameux modules de stack mis en place avec leur câbles 40GB en RING (on assure ainsi la redondance)

Allez pour changer... encore un petit chargement dans la voiture ? Promis, c'est le dernier !Allez pour changer… encore un petit chargement dans la voiture ? Promis, c’est le dernier !

A un moment, la lumière s'est éteinte... et là ca clignote de partout...A un moment, la lumière s’est éteinte… et là ca clignote de partout…

Il faut monter les racks de la MD3060e / Un peu galère !Il faut monter les racks de la MD3060e / Un peu galère !

Puis on amène le monstre, duquel on a retiré les disques, alim, controleur, ventilation... Trop Lourd :/Puis on amène le monstre, duquel on a retiré les disques, alim, controleur, ventilation… Trop Lourd :/

Maintenant il faut remettre alims, ventilos et contrôleurs à l'arrière de la MD3060eMaintenant il faut remettre alims, ventilos et contrôleurs à l’arrière de la MD3060e

On rack, on rack...On rack, on rack…

MD3060e remontée (pour la partie arrière) !MD3060e remontée (pour la partie arrière) !

Et maintenant on passe à la partie avant. Il faut mettre les HDDEt maintenant on passe à la partie avant. Il faut mettre les HDD

Et voilà la baie remplie (avec quelques câbles non rangés car temporaires) !Et voilà la baie remplie (avec quelques câbles non rangés car temporaires) !

Le haut de la baie... difficile d'avoir toute la baie d'un coup en raison du manque de recul :(Le haut de la baie… difficile d’avoir toute la baie d’un coup en raison du manque de recul 🙁

La partie Stockage au complet !!! La partie Stockage au complet !!!

Et voilà, petite photo devant la baie complète (avec des câbles à retirer et à ranger !!!)Et voilà, petite photo devant la baie complète (avec des câbles à retirer et à ranger !!!)

Voilà maintenant on passe à la configuration et peu de photo à montrer de cela…

Un article à notre sujet a été publié sur le site de Neo-Telecoms 🙂 http://www.neotelecoms.com/fr/actualites/paris-bienvenue-lhebergeur-web4all

Merci, merci et encore merci !

Aurélien PONCINI

Président Fondateur de Web4all

En route pour le housing : ça ping !

En route pour le housing : ça ping !Bonjour à toutes et à tous, déjà plus de 6 semaines se sont écoulés depuis notre article En route pour le housing : objectif atteint ! et nous en avons parcouru du chemin, résolu des problèmes, fait des kilomètres, passé des nuits à -ne pas- dormir… Un jolie chemin parsemé d’embûches plus énervantes les unes que les autres. De bonnes doses de stress vous amenant par moment à vous poser la question « Non mais qu’est-ce qui nous a pris de nous lancer là dedans ?! » Sans parler des problèmes qui amènent à des dépenses totalement imprévues… heureusement que votre générosité à toutes et tous nous a permit d’avoir un peu de trésorerie de côté pour ne pas avoir en plus à se soucier (trop) de l’aspect financier…

L’architecture de production actuelle nous prend énormément de temps actuellement, nous rencontrons beaucoup de problèmes notamment de performances et cela tombe vraiment mal…

Nous allons vous raconter ici ce qu’il s’est passé depuis que nous avons atteint l’objectif. Les photos servant à illustrer l’aventure ont été prises sur le coup, tel que nous avons vécu l’événement, sans forcément avoir le temps de prendre la pose… alors pardonnez nous pour la médiocre qualité de certaines photos.

Certains d’entre vous ont pu suivre en quasi temps réel cet événement puisque nous avions relayé cela sur les réseaux sociaux. A ce sujet, je vous rappelle que vous pouvez suivre l’actualité de Web4all sur les différents réseaux FacebookTwitter et Google+

Avant la perception du matériel…

Fin février 2013, nous prenons attache avec DELL (ce qui avait déjà été fait mi 2012 pour une première étude du projet). Des confs-call, encore des confs-call, des outils d’analyse d’infrastructure (Dpack mis à disposition par DELL afin d’analyser les ressources utilisées sur l’infra) nous permettent de cibler le besoin réel. On se plonge dans les graphiques de Cacti pour en tirer des courbes d’évolutions : quelle quantité d’espace disque pour les sites web en 2010 ? en 2011 ? 2012 ? Idem pour les boites mails, les bases de données…

Il nous faut être capable de prévoir (avec une marge d’erreur bien entendu, ce n’est qu’une prévision) quelle quantité d’espace sera nécessaire fin 2013, 2014 et 2015… et vu qu’on est un peu parano, on prend quasiment 50% de plus que le besoin…

Nous prenons également attache avec la société Ineonet Systèmes & Réseaux pour la partie réseaux et hyperviseurs. Pourquoi passer par un intermédiaire pour le matériel ? Nous franchissons un cap important, nous allons devoir gérer des éléments et des technologies que nous n’avions pas à gérer jusqu’alors et il est indispensable de pouvoir s’appuyer sur les compétences de personnes dont le réseau est la spécialité. En tant qu’opérateur, Ineonet maîtrise parfaitement le monde du réseau.

Les mois de mars et avril ont été consacrés à l’étude du projet, la réalisation de devis, la recherche de financement. Il aura aussi fallu faire le point avec la MAIF (notre assureur) afin de modifier le contrat pour que l’intégralité du matériel soit couvert ainsi que le transport du matériel effectué par nos soins (on est jamais trop prudent…).

Nous sommes le 24 avril 2013, l’objectif des dons est atteint. Nous n’avions bien entendu pas attendu ce moment pour commander le matériel. A cet instant précis tout est déjà commandé… sauf que… vous verrez par la suite que tout n’est pas aussi simple…

6 mai 2013 : réception du matériel réseaux et hyperviseurs

Là où la majorité des Français ont pu profiter d’une semaine où le nombre de jours fériés a dépassé le nombre de jours travaillés, Aurélien PONCINI a pris la route  en direction de l’Ariège, plus précisément Verniolle où se trouve la société Ineonet Systèmes & Réseaux

Après quelques heures pour faire le point sur ce que l’équipe de Web4all avait décidé, le lundi aura permis en compagnie de M. DUTTO Jean-Pierre (Directeur Technique, INEONET),  de découvrir les firewalls Fortinet qui seront en tête de l’infrastructure Web4all. Découverte, mise à jour, tests pour coller aux besoins de Web4all… le simple déballage du matériel vous ramène en enfance, vous ouvrez votre cadeau les yeux émerveillés…

Un emballage de qualité. Cela fait fortement penser aux produits Apple où je dois reconnaître qu'ils font fort sur la finition des emballages :)Un emballage de qualité. Cela fait fortement penser aux produits Apple où je dois reconnaître qu’ils font fort sur la finition des emballages 🙂

En cas de doute sur la marque... c'est écrit assez gros ? :)En cas de doute sur la marque… c’est écrit assez gros ? 🙂

En route pour le housing : ça ping !

Le vidéo projecteur est tout de même bien pratique pour une formation :)Le vidéo projecteur est tout de même bien pratique pour une formation 🙂
Le mardi sera dans la continuité de la veille avec la prise en main des switchs 48 ports qui serviront à tout le réseau Web4all excepté le réseau iSCSI qui lui passera sur un couple de switchs 24 ports.

Non il ne s'agit pas d'un sapin de Noël mais des deux switchs 48 ports.Non il ne s’agit pas d’un sapin de Noël mais des deux switchs 48 ports.

En route pour le housing : ça ping !Nous allons désormais pouvoir commencer à faire travailler le tout ensemble… 🙂

Il n'y a pas grand chose de connecté mais cela permet déjà de configurer le tout !Il n’y a pas grand chose de connecté mais cela permet déjà de configurer le tout !

Passons désormais au déballage du premier serveur. Là aussi comme pour le reste du matériel, c’est tout bête mais qu’est ce que ça fait plaisir d’ouvrir les cartons et de déballer tout cela !
Ces serveurs, au nombre de 4, auront un rôle d’hyperviseur : ils hébergeront quasiment l’intégralité des services proposés par Web4all. Il s’agit de serveurs DELL R620 Bi-Xeon, 256GB de RAM, 16 cartes réseaux 1GB (il nous était impossible de passer en full 10GB du côté des switchs en raisons d’un tarif encore trop élevé, nous avons donc opté pour des serveurs avec beaucoup de ports réseaux permettant de faire des agrégats de liens.

En route pour le housing : ça ping !

Beaucoup d'emplacements disques durs laissés vides, ces serveurs n'ont pas besoin de stockage en local. Les données seront stockées sur des baies de disques externes. La carte Flash permet quant à elle d'installer un système d'exploitation situé dessus, même sans accès physique au serveur.Beaucoup d’emplacements disques durs laissés vides, ces serveurs n’ont pas besoin de stockage en local. Les données seront stockées sur des baies de disques externes. La carte Flash permet quant à elle d’installer un système d’exploitation situé dessus, même sans accès physique au serveur.

Les fameux 16 ports 1GB. Celui tout en bas à gauche étant à part car il s'agit du port iDRAC. Ce système permet de gérer intégralement le serveur à distance, même s'il est éteint (pas débranché hein... juste éteint).Les fameux 16 ports 1GB. Celui tout en bas à gauche étant à part car il s’agit du port iDRAC. Ce système permet de gérer intégralement le serveur à distance, même s’il est éteint (pas débranché hein… juste éteint).

La miniaturisation au maximum...La miniaturisation au maximum…

En route pour le housing : ça ping !

Les caches noir sont des emplacements de mémoire disponibles. Nous avons volontairement pris des serveurs permettant d'ajouter encore de la mémoire RAM dans les mois à venir si cela venait à être nécessaire. Ces caches permettent de conserver une circulation d'air telle qu'elle a été prévue.Les caches noir sont des emplacements de mémoire disponibles. Nous avons volontairement pris des serveurs permettant d’ajouter encore de la mémoire RAM dans les mois à venir si cela venait à être nécessaire. Ces caches permettent de conserver une circulation d’air telle qu’elle a été prévue.

Ca boot... et c'est long... il faut compter 7 minutes pour la phase de démarrage du serveur (sans parler de l'OS, juste le serveur).Ca boot… et c’est long… il faut compter 7 minutes pour la phase de démarrage du serveur (sans parler de l’OS, juste le serveur).

Installation du serveur comme si nous ne l'avions pas à portée de mains : tout est fait via la console iDRAC que vous voyez sur la gauche de l'écran.Installation du serveur comme si nous ne l’avions pas à portée de mains : tout est fait via la console iDRAC que vous voyez sur la gauche de l’écran.

Le mercredi et le jeudi, qui étaient fériés, auront eux aussi permit d’avancer sur le projet. Des questions soulevés au cours de la configuration avec M. DUTTO auront nécessité des recherches, des tests…
Le vendredi il faut charger tout cela dans le semi-remorque Web4all ^^ et direction Paris !

Afin de gagner de la place, nous mettons deux serveurs par carton en retirant une partie de l'emballage. Nous laissons tout de même la mousse sous le serveur du bas, entre les deux et sur le dessus afin de conserver une protection...Afin de gagner de la place, nous mettons deux serveurs par carton en retirant une partie de l’emballage. Nous laissons tout de même la mousse sous le serveur du bas, entre les deux et sur le dessus afin de conserver une protection…

Qui a dit que cela ne rentrerait pas dans la voiture ?Qui a dit que cela ne rentrerait pas dans la voiture ?

Go !Go !

12 mai 2013 : configuration  du matériel au siège de Web4all

Le matériel est enfin là, nous allons pouvoir procéder aux premiers tests…

A ce moment là on se dit que ça y’est tout est lancé, qu’il ne reste plus que le stockage à recevoir, que la configuration du matériel déjà reçu va aller vite… Qu’on aura quelques soucis alors on provisionne cela dans le planning… Et bien figurez vous qu’on était loin de la réalité… je dirais que là où nous avions prévu 25 %  de temps en plus il aura fallu 75% de temps en plus… bref un méchant sentiment de ne pas avancer voir même de reculer par moment…

Des soucis de configuration comme l’utilisation du mode « Redundant Interface » sur les firewall Fortinet avec les vLans sur lesquels nous auront passé plusieurs jours… des soucis de configurations des switchs / hyperviseurs pour l’utilisation du mode LACP.

Et puis il aura fallu prendre le temps de faire la liste complète de tous les câbles réseaux nécessaires : différentes tailles, couleurs, catégories (en fonction de si 1GB ou 10GB)…

Tout cela était sans compter qu’au moment de la validation effective de la commande de matériel chez DELL, un de leur ingénieur technique ne valide pas la commande (et heureusement) car il s’était aperçu que le modèle de baie de disque pour le cluster ZFS (qui permet de stocker et publier les fichiers de vos sites vers les serveurs web et FTP) ne permettait pas du tout de faire ce que nous souhaitions. En effet, un serveur ne pouvait accéder qu’à la moitié des disques même si l’autre serveur était à l’arrêt. Cela retirait tout l’intérêt du cluster que nous souhaitions faire. Nous étions au pied du mur, et n’avions plus le temps de modifier tout le projet… Il fallait trouver une solution et très rapidement. Nous avons alors passer une nuit complète à éplucher tout le catalogue de stockage DELL et à envisager différentes solutions de replis. Après des heures de discussions et de négociation avec DELL nous sommes parvenus à acquérir la baie 60 disques pour à peine plus cher que la baie 24 disques initialement prévue. Il nous aura fallu toutefois commander des disques et des cartes HBA qui n’étaient pas prévues mais bon… 🙁 L’essentiel est que cette partie soit enfin bouclée, le stockage est en cours de livraison 🙂
Les cartons sont arrivés dans l'appartement et ne prennent pas trop de place ^^Les cartons sont arrivés dans l’appartement et ne prennent pas trop de place ^^

On installe le matériel pour commencer la configurationOn installe le matériel pour commencer la configuration

Notre sapin de Noël :)Notre sapin de Noël 🙂

Il faut partir récupérer les câbles réseaux dans le 78. Jérome BEHUET, de l'équipe Web4all, s'est occupé de la commande. Aurélien PONCINI part à sa rencontre et ce n'était pas prévu... Autolib à la rescousse !Il faut partir récupérer les câbles réseaux dans le 78. Jérome BEHUET, de l’équipe Web4all, s’est occupé de la commande. Aurélien PONCINI part à sa rencontre et ce n’était pas prévu… Autolib à la rescousse !

Phase de décélération : on récupère l'énergie... on fait pareil sur nos serveurs ? :)Phase de décélération : on récupère l’énergie… on fait pareil sur nos serveurs ? 🙂

Voilà les câbles réseaux (il en manque quelques uns)Voilà les câbles réseaux (il en manque quelques uns)

Ce projet ne se résume pas qu'à de l'informatique... il faut étiqueter tout le matériel, les câbles... Soirée DYMO en tête à tête :(Ce projet ne se résume pas qu’à de l’informatique… il faut étiqueter tout le matériel, les câbles… Soirée DYMO en tête à tête 🙁

Nicolas DEVOUGE (à droite) avec Aurélien PONCINI pour configurer le matériel le temps d'un week-end...Nicolas DEVOUGE (à droite) avec Aurélien PONCINI pour configurer le matériel le temps d’un week-end…

Là, doit y avoir un truc qui marche pas...Là, doit y avoir un truc qui marche pas…

Là, doit y avoir un truc qui marche mieux...Là, doit y avoir un truc qui marche mieux…

Il n'y a pas (encore) beaucoup de câbles connectés... ça va venir...Il n’y a pas (encore) beaucoup de câbles connectés… ça va venir…

50 % des prises serveurs sur une prise, 50% sur une autre... et on surveille ce que cela donne sur le compteur EDF...50 % des prises serveurs sur une prise, 50% sur une autre… et on surveille ce que cela donne sur le compteur EDF…

Nicolas DEVOUGE reprend un peu de café... il va en avoir bien besoin...Nicolas DEVOUGE reprend un peu de café… il va en avoir bien besoin…

Des étiquettes... faites à la DYMO, on colle sur les colliers prévus à cet effet.Des étiquettes… faites à la DYMO, on colle sur les colliers prévus à cet effet.

On réparti les étiquettes avec les câblesOn réparti les étiquettes avec les câbles

On réparti les étiquettes avec les câblesOn réparti les étiquettes avec les câbles

Même notre trésorière Chantal QUINQUIS se prend au jeu :)Même notre trésorière Chantal QUINQUIS se prend au jeu 🙂

Un premier câblage à la va vite pour avancer et valider les tests...Un premier câblage à la va vite pour avancer et valider les tests…

Réception d'un colis... LSI ^^Réception d’un colis… LSI ^^

Et oui, LSI... nos fameuses cartes HBA qui n'étaient pas prévuesEt oui, LSI… nos fameuses cartes HBA qui n’étaient pas prévues

Le 08 juin, gros coup de stress en voyant que la carte ne rentrerait pas dans nos serveurs qui sont très compact ! Là ce fût un peu le dégoût... mais en cherchant bien dans le carton on trouve l'adaptateur... Ouf, Sauvé !Le 08 juin, gros coup de stress en voyant que la carte ne rentrerait pas dans nos serveurs qui sont très compact ! Là ce fût un peu le dégoût… mais en cherchant bien dans le carton on trouve l’adaptateur… Ouf, Sauvé !

Réception de colis... Ca y va en ce moment ! Pour la petite histoire, les colis du bas, qui contiennent des objets publicitaires ont été posés par le livreur sur le palier comme ça... :/Réception de colis… Ca y va en ce moment ! Pour la petite histoire, les colis du bas, qui contiennent des objets publicitaires ont été posés par le livreur sur le palier comme ça… :/

Disques durs commandés en plus, câbles SAS...Disques durs commandés en plus, câbles SAS…

Réception des GBIC pour l'arrivée de la fibre dans la baie. Tout ce qui va arriver dans la baie Web4all, passera par là !Réception des GBIC pour l’arrivée de la fibre dans la baie. Tout ce qui va arriver dans la baie Web4all, passera par là !

Il faut ranger un peu les câbles dans la baie ! On prend des bandes Velcro prévues à cet effet. Les couleurs permettront de différencier les groupes de câbles.Il faut ranger un peu les câbles dans la baie ! On prend des bandes Velcro prévues à cet effet. Les couleurs permettront de différencier les groupes de câbles.

Réception des modules 10GB qui seront à l'arrière des switchs pour les réseaux iSCSI et NFSRéception des modules 10GB qui seront à l’arrière des switchs pour les réseaux iSCSI et NFS

Mise en place des modules 10GBMise en place des modules 10GB

Dé-câblage complet pour contrôle et marquage des derniers câbles.Dé-câblage complet pour contrôle et marquage des derniers câbles.

Et on re-câble !Et on re-câble !

La baie est arrivée (100Kgs) ! Aurélien PONCINI part la récupérer au sud du 77 afin de ne pas avoir à attendre la livraison la semaine suivante... Il va falloir faire rentrer cela dans la Laguna... Cette fois-ci, l'autolib n'a pas été retenue :)La baie est arrivée (100Kgs) ! Aurélien PONCINI part la récupérer au sud du 77 afin de ne pas avoir à attendre la livraison la semaine suivante… Il va falloir faire rentrer cela dans la Laguna… Cette fois-ci, l’autolib n’a pas été retenue 🙂

Sur le chemin du retour, ptit clin d'oeil avec enfin du ciel bleuSur le chemin du retour, ptit clin d’oeil avec enfin du ciel bleu

La baie, débaléeLa baie, débalée

Il faut la porter, et la poser, tout seul, ca pèse !Il faut la porter, et la poser, tout seul, ca pèse !

5 tiroirs pour accueillir les disques5 tiroirs pour accueillir les disques

Double alimentation. Double contrôleur SASDouble alimentation. Double contrôleur SAS

Des cartons... vides... en fait la palette a une taille standard quelque soit le nombre de disques durs commandés. Dans notre cas nous n'avons pris que 24 disques sur 60, DELL a donc mis des cartons vides pour combler le vide sur la paletteDes cartons… vides… en fait la palette a une taille standard quelque soit le nombre de disques durs commandés. Dans notre cas nous n’avons pris que 24 disques sur 60, DELL a donc mis des cartons vides pour combler le vide sur la palette

C'est mieux avec des disques !C’est mieux avec des disques !

Vu le poids de la baie à vide, on comprend que les disques ne soient pas dedans ;)Vu le poids de la baie à vide, on comprend que les disques ne soient pas dedans 😉

600GB SAS 10k600GB SAS 10k

Les slots 0, 3, 6, 9 doivent obligatoirement être remplis sur les 5 tiroirs. On met donc 5 disques par tiroirs...Les slots 0, 3, 6, 9 doivent obligatoirement être remplis sur les 5 tiroirs. On met donc 5 disques par tiroirs…

Ca a quand même Ca a quand même « de la gueule » vous ne trouvez pas ?!

 

08 juin 2013 : installation du matériel dans le Datacenter !

Vous avez sûrement vu la photo de la Tour Eiffel plus haut… Il fait beau… il commence à faire chaud et c’est super, cela fait vraiment du bien au moral. En revanche, les serveurs eux n’aiment pas trop la chaleur, il devient donc impossible de les faire fonctionner sans climatisation avec des températures qui montent de jour en jour. Hors de question de prendre le moindre risque !

Et puis je dois reconnaître que le bruit des switchs juste derrière le canapé quand on prend le temps de regarder un film (oui il arrive de lâcher un peu le PC quand même…) devient pénible…

Alors vu que le 30 mai je suis allé effectuer la perception de la baie dans le datacenter, que le lien Fibre Optique est opérationnel et que nous avons suffisament avancé dans la configuration du matériel pour permettre de travailler à distance… on va emmener tout ce beau monde au datacenter…

Petite peur en arrivant à côté du Stade de France car comme à chaque évènement musical / sportif c’est un peu le bazar… le datacenter étant à 400 mètres j’ai eu un peu peur de me retrouver dans les bouchons mais finalement c’est passé nikel 🙂

L’installation du matériel aura ainsi pris 5 heures, de nuit pour Chantal QUINQUIS et Aurélien PONCINI.

On remballe tout et on met le tout dans la Laguna... Pas de place pour mettre les équipements réseaux dans les cartons... Moins de 5 kms à faire, ca va le faire...On remballe tout et on met le tout dans la Laguna… Pas de place pour mettre les équipements réseaux dans les cartons… Moins de 5 kms à faire, ca va le faire…

Il faut penser à tout : le diable, les outils, le PC portable pour les tests, à boire...Il faut penser à tout : le diable, les outils, le PC portable pour les tests, à boire…

Voici la baie B5, celle de Web4all !Voici la baie B5, celle de Web4all !

Firewalls et switchs 48 ports installés. La fibre n'est pas encore connectée.Firewalls et switchs 48 ports installés. La fibre n’est pas encore connectée.

On rack les serveursOn rack les serveurs

Ca, c'est NOTRE fibre ! :DCa, c’est NOTRE fibre ! 😀

Après près de 4 heures d'installation, on branche, on modifie la Gateway et l'IP du Fortinet et paf tout marche, c'est plaisant !Après près de 4 heures d’installation, on branche, on modifie la Gateway et l’IP du Fortinet et paf tout marche, c’est plaisant !

10 € la photo souvenir ! Première photo d'Aurélien PONCINI devant la baie.10 € la photo souvenir ! Première photo d’Aurélien PONCINI devant la baie.

On boot les serveurs et on rentre faire dodo...On boot les serveurs et on rentre faire dodo…

Et après ?

Nous devrions recevoir le matériel de stockage cette semaine :

  • deux serveurs R620 pour le cluster qui vont avec la baie de disques déjà reçue
  • un SAN DELL MD3620i pour le stockage des machines virtuelle
  • un R520 pour les backups

Un article vous relatera la suite des événements ! 🙂

Un article à notre sujet a été publié sur le site de Neo-Telecoms 🙂 http://www.neotelecoms.com/fr/actualites/paris-bienvenue-lhebergeur-web4all

Merci, merci et encore merci !

Aurélien PONCINI

Président Fondateur de Web4all

En route pour le housing : objectif atteint !

En route pour le housing : objectif atteint !Bonjour à toutes et à tous,

c’est avec une grande joie, un immense plaisir, une satisfaction des plus totales… que j’ai l’honneur de vous annoncer que nous avons atteint l’objectif des 7777 € dans le cadre du projet En-route-pour-le-Housing !

Certains d’entre vous l’avaient sûrement constaté avant la publication de cet article puisque nous avions relayé cela sur les réseaux sociaux. A ce sujet, je vous rappelle que vous pouvez suivre l’actualité de Web4all sur les différents réseaux Facebook, Twitter et Google+

Alors forcément je ne peux que, au nom de toute l’équipe vous remercier pour votre générosité ! Je peux même adresser ces remerciements au nom de l’association et de ses adhérents puisque certains des donateurs ne sont ni adhérents ni même clients !

Au-delà de vos dons, de votre soutien à ce projet, nous avons sincèrement été touchés par vos commentaires de soutien et d’encouragement. C’est vraiment ultra motivant pour nous de savoir qu’autant de monde est satisfait de nos services et prêt à continuer l’aventure en notre compagnie… ou plutôt d’en démarrer une nouvelle ! 🙂

Mais, pourquoi 7777… ?!

Certains d’entre vous se sont demandé « pourquoi 7777 € ?! » Pourquoi une telle somme et pourquoi que des 7…

Comme expliqué sur la page consacré au projet, nous devons acquérir du matériel, qui sera pris en location longue durée (leasing) et louer une baie pour accueillir ce matériel.  Cette location de baie comporte des frais de mise en service (mise en service de la baie et des deux connections réseaux) auxquels viennent s’ajouter les dépenses de renouvellement de serveurs actuels le temps de procéder à la migration.

Il ne faut pas oublier les accessoires (câbles réseaux, étiquetage…) ainsi que les frais liés à la mise en place pour les personnes qui vont y participer : l’association pourra quand même leur payer un sandwich (pas le temps d’un resto hein ;)) entre deux rackage de serveurs ! Avouez que c’est la moindre des choses… tout d’même. 😉

Nous avions besoin d’environ 8000 € alors nous avons décidé de définir l’objectif à 7777 car cette année, Web4all fête ses 7 ans d’existence ! 7 ans à vos côtés, à votre service, bénévolement.

Que va-t-il se passer maintenant ?

Les commandes de matériel prennent un peu de retard, nous espérons pouvoir réceptionner le tout le plus rapidement possible, début / mi-mai…

Actuellement l’équipe est en train de recréer la future architecture sur une infrastructure de pré-production afin de minimiser les tâches une fois que nous aurons reçu le matériel. Nous pourrons ainsi nous concentrer sur la partie matérielle et surtout, la migration des données de nos clients.

Quel sera le fournisseur de Web4all ?

Nous vous avions indiqué que nous ne communiquerions sur ce sujet qu’après signature du contrat. Et bien nous avons signé le contrat vendredi avec notre fournisseur pour le Housing ! Après avoir comparé plusieurs prestataires, notre choix s’est porté sur la société Neo Telecoms.

Neo Telecoms est une société Française, forte de dix années d’expérience se positionnant comme le second opérateur de transit IP en France. Présent dans 8 datacenters (centre de données) en France, Neo Telecoms assure une présence mondiale au niveau du réseau disposant de plus de 500 Gbps/s, présent dans plus de 50 datacenters répartis dans 10 pays (Europe et USA).

Le choix s’est porté sur Neo Telecoms en raison de leur qualité reconnue, de leurs implantations géographique, de leur parfaite connectivité à tous les FAI (Fournisseurs d’Accès Internet) français garantissant à vos visiteurs la meilleure connexion possible mais aussi pour l’esprit de cette société avec qui un contact de qualité a parfaitement été établi.

En effet, Neo Telecom reste une société à taille humaine, avec des collaborateurs motivés, passionnés par leur métier et une proximité avec les clients telle que celle que nous recherchions.

A ce sujet je tiens à remercier grandement notre commerciale pour le temps accordé, l’écoute, le conseil et le professionnalisme dont nous avions besoin pour nous lancer dans cette nouvelle aventure. Un grand merci également à tous ses collaborateurs et son directeur général qui m’ont accueilli avec beaucoup de sympathie.

Quelques chiffres :

  • 2 ème opérateur de transit français
  • 1 er opérateur IPv6 français
  • 10 ème opérateur IPv6 mondial

Plus d’informations sur Neo Telecom : http://www.neotelecoms.com/fr/reseaux

L’autre acteur que nous avions retenu pour le transit était la société Iliad où nous avons reçu un accueil sympathique et professionnel. Dans la mesure où nos serveurs secondaires et de backups sont actuellement là-bas, il aurait fallu migrer également cette partie pour ne pas tout centraliser. Par ailleurs, la taille de la société correspondait moins à ce que nous recherchions (proximité / société à taille humaine).

La migration : quand et comment ?

Tant que nous ne connaissons pas les dates exactes de réception du matériel, nous ne pouvons annoncer de dates pour le lancement de la migration. Soyez certains que vous serez informés sur le blog, les forums, les réseaux sociaux… et par mail. Bref, vous ne pourrez pas louper l’information 😉

Voilà, il ne nous reste plus qu’encore une fois à vous remercier grandement.

Vous n’avez pas eu le temps d’effectuer un don ? Il n’est pas trop tard, le portail en-route-pour-le-housing restera en ligne quelques temps encore et bien que l’objectif soit atteint nous ne sommes pas non plus « larges » financièrement parlant.

L’associatif a pu s’exprimer dans toute sa splendeur sur ce projet. Chacun d’entre vous a eu l’occasion d’apporter sa pierre à l’édifice ou plutôt son morceau de baie, et la baie s’est peu à peu dévoilée sur le portail jusqu’à obtenir cela, grâce à vous !

En route pour le housing : objectif atteint !

Merci, merci et encore merci !

Aurélien PONCINI

Président Fondateur de Web4all

Mise à jour de l’interface travaux.web4all.fr

Nouvelle interface travaux.web4all.fr

Cela faisait pas mal de temps que nous n’avions pas mis à jour l’interface Travaux : http://travaux.web4all.fr qui vous permet de rester informé des maintenances, évolutions, incidents en cours. Et on peut dire qu’elle commençait sérieusement à accuser un coup de vieux… Voilà qui est corrigé, une nouvelle version est en place. Nous espérons que cette dernière vous permettra de mieux suivre les maintenances à venir, et elles vont être nombreuses en raison du projet En-Route-Pour-Le-Housing… mais rassurez vous il n’y aura quasiment pas d’impact pour vous 🙂

Comme vous le savez nous essayons toujours de prévenir les maintenances que nous effectuons sur les différentes plateformes, lorsque cela nous est possible.

Alors n’hésitez pas à sauvegarder dans vos favoris cette page 😉 Pour rappel, elle est hébergée sur une infrastructure différente de la production Web4all. Ainsi, même si notre infrastructure principale est complètement down (cela n’arrive jamais mais qui sait…) cette page reste accessible.

 

Deux vues vous sont désormais proposées, la vue standard (comme avant) :

Nouvelle interface travaux.web4all.fr

Ainsi qu’une toute nouvelle présentation :

Nouvelle interface travaux.web4all.fr

Egalement un sacré lifting sur la visualisation des tâches :

Nouvelle interface travaux.web4all.fr

Et n’oubliez pas les autres moyens de rester informés de l’actualité Web4all !

Le projet En-Route-Pour-Le-Housing arrive à son terme, grâce à vous, un article arrive à ce sujet ! 🙂 Mais nous pouvons d’or et déjà vous remercier !

HappyNewYear4all & retour sur les récentes modifications

Logo Web4all

Bonjour à toutes et à tous. Quoi de mieux pour commencer cette nouvelle année que le traditionnel « bonne année et meilleurs voeux« . Rien d’original certes, il y a sûrement bien mieux. Nous vous souhaitons sincèrement nos meilleurs voeux, en espérant que vos sites internet se développent autant que vous le voudrez (et que vous vous en donnerez les moyens). Nous ferons tout pour vous accompagner dans cette aventure.

L’année 2012 chez Web4all aussi se termine, beaucoup de projets auront vu le jour en cette année, certains auront mis du temps à être mis en production, certains sont visibles pour vous, d’autres moins… Nous allons donc revenir sur la dernière modification d’architecture qui a eu lieu le 25 et 26 décembre et qui a fortement impacté les sites de certains d’entres vous.

Si l’on devait résumer en une phrase cette modification ce serait compliqué tant les modifications sont conséquentes, mais les principales sont : Apache Worker & SuExec avec mise à jour du manager permettant à l’utilisateur de choisir sa version de PHP sans oublier l’apport du SSH ! Nous avons pour habitude de ne jamais faire de modification trop massive pour éviter en cas de problème de ne pouvoir isoler l’origine de ces derniers. Mais cette fois ci les modifications étaient dépendantes les unes des autres, nous obligeant à les mettre en production toutes en même temps.

Je vais essayer d’être le plus clair possible, certains passages seront un peu technique mais sans trop, je vous le promet 😉

Sommaire :

Cette fois ci je ne vous donnerais pas les temps passés sur chaque tâches, cela se compte en milliers d’heures

Il faut savoir que ce projet a débuté en 2009 (oui, vous avez bien lu, en 2009 !). Seulement, la croissance de Web4all nous obligeant en permanence à revoir notre copie, à refaire des essais, à laisser un peu de côté le projet pour se consacrer à d’autres…

Ce qui a changé et pourquoi


Les raisons sont nombreuses. La plus importante : la sécurité. Vient ensuite l’amélioration des performances ou encore l’apport possible de nouvelles fonctionnalités comme le SSH. Je vais donc vous expliquer un peu ce qui change par rapport à avant en prenant en exemple un hébergement.

Un hébergement avant la modification :

Avant la modification, cet hébergement ressemblait à cela :

Web4all Ancienne arborescence

L’hébergement se nomme w4a100010, cela n’a pas changé. Pour les clients les plus anciens, l’hébergement porte parfois comme nom celui d’un nom de domaine. Ensuite dans ce répertoire il y avait les données de vos sites. Un répertoire par domaine (en général, cela diffère d’un hébergement à un autre, ces valeurs étant personnalisables). Les fichiers appartenaient tous à l’utilisateur nommé www-data. Il s’agit sur le système de l’utilisateur dédié au serveur Web Apache qui publie vos sites.

Lorsqu’une personne naviguait sur votre site, le contenu statique (.html .css .js .gif .png…..) était servit par le serveur web Apache. Et lorsqu’il s’agissait d’un fichier .php alors Apache servait également le fichier grâce à « libapache2-mod-php5 » qui est le module lui permettant de traiter du PHP5.

Ainsi nous avions donc un serveur Web (enfin, plusieurs serveurs) qui servaient avec un même programme, sous un même utilisateur, pour tous les sites, tout le contenu quel qu’il soit.

Pour finir, ce serveur était configuré avec ce que nous appelons le « mod Prefork« . Le serveur lorsqu’il démarre créé un processus, le processus parent. Puis ensuite à chaque demande il va créer des threads enfants.

Voila une image que j’ai trouvé sur un site (non les serveurs ne sont pas en MacOSx mais en Linux, mais l’image étant assez parlante j’ai préféré prendre celle là que refaire quelque chose). Comme vous pouvez le voir nous avons bien le processus parent et les threads enfants :

Web4all Apache Prefork

Alors si l’on commençait par là… Notre premier soucis c’est celui là : Apache fait tout, il en fait trop. Alors nous allons faire différemment  nous allons faire travailler Apache sur le contenu pour lequel il a été conçu et pas plus. Le reste nous allons l’externaliser.

De plus, vu que Apache fait tout, avec un seul et même utilisateur : www-data, la sécurité était loin d’être parfaite. En effet, bien que nous ayons mis des protections sur la couche PHP avec OpenbaseDir et quelques modifications ou scripts « faits maison« , il était possible pour un utilisateur ayant un minimum de compétence dans le domaine, d’utiliser certaines failles pour hacker la plate forme comme cela s’est vu à quelques reprises depuis 2007.

Tout commence donc par l’utilisation de Apache, non plus en mode Prefork mais désormais en mode Worker ! Un processus parent au démarrage de l’application puis des processus enfants qui eux mêmes vont lancer des threads :

Web4all Apache Worker

Tout à l’heure nous disions :

« Lorsqu’une personne naviguait sur votre site, le contenu statique (.html .css .js .gif .png…..) était servit par le serveur web Apache. Et lorsqu’il s’agissait d’un fichier .php alors Apache servait également le fichier grâce à « libapache2-mod-php5″ qui est le module lui permettant de traiter du PHP5. »

Désormais, lorsqu’une personne navigue sur votre site, le contenu statique (.html .css .js .gif .png…..) est servit par le serveur web Apache. C’est tout. Alors que se passe t-il si le fichier est un fichier .php ? Et bien c’est très simple, Apache va envoyer la requête à PHP qui n’est plus un module de Apache, il est indépendant. Ceci grâce à Fast-CGI. Ainsi le contenu PHP de votre site est envoyé à l’application PHP qui va la traiter avec un utilisateur dédié à cela. Non plus www-data mais un utilisateur PHP dédié à cela et différent pour chaque hébergement ! Ainsi en cas de faille de sécurité sur un hébergement, l’utilisateur étant différent des autres hébergements, il ne pourra impacter les autres utilisateurs.

Cela nous oblige donc à créer un utilisateur sur chaque serveur Web pour chaque hébergement. Nous avons alors poussé l’idée plus loin, et nous avons créé au sein de chaque hébergement une arborescence système. Ainsi vous avez au sein de votre hébergement un ensemble de répertoire un peu comme si vous étiez seul sur le serveur. Cela va nous permettre par la suite de vous proposer certaines fonctionnalités telle que l’accès SSH.

Un hébergement après la modification :

Désormais un hébergement ressemble à cela :

Web4all Nouvelle arborescence

 

Oui, je vous l’accorde cela change beaucoup, alors ne vous inquiétez pas, nous allons détailler tout cela.

  • backups : il s’agit d’une nouveauté encore non officielle. Dans ce répertoire vous trouverez des liens vers les snapshots de votre hébergement. Il s’agit de clichés instantanés de votre hébergement tel qu’il était à certains moments. J’y reviendrais par la suite.
  • bin, dev, etc, lib, lib64, tmp, usr : il s’agit de répertoires systèmes utilisés par… le système. Vous ne pouvez pas écrire dedans, ils sont réservés à Web4all et nous permettrons certaines évolutions (encore une fois : comme le SSH)
  • var : c’est votre répertoire, celui dans lequel vos données vont se trouver. Ce dernier va contenir différents sous répertoires :
    • awstats : il contient les scripts pour les statistiques de vos sites (le fichier perl de génération et visualisation des statistiques ainsi que le fichier htpasswd pour protéger l’accès aux données). Comme vous le savez, Web4all, chaque nuit, génère les statistiques de visites de vos sites et vous permet d’y accéder via http://votresite.tld/stats Vous pouvez depuis le manager créer des comptes utilisateurs statistiques afin de donner un accès à des tiers. Le gros avantage de Awstats comparé à un logiciel comme Google Analytics ou encore Piwik, c’est qu’il voit ce que les autres ne voient pas. Si une page n’existe pas, cela va générer une erreur, ni Analytics, ni Piwik ou autre système de statistiques ne verront cette demande en erreur alors que Awstats lui travaille avec les logs de Apache, il sera donc en mesure de vous donner la liste des éléments appelés et qui ont retournés une erreur à vos visiteurs.
    • log : il contient les logs de visites de vos sites dans un sous répertoire apache2 (attention, sur la nouvelle version du manager vous devez demander à ce que la copie des logs soit effectué depuis la gestion de votre hébergement. Ceci n’est plus définit par défaut). Il contient également un autre sous répertoire, nommé awstats qui lui contient les données des statistiques dont nous venons de parler juste avant.
    • www : nous y voila, votre répertoire, le vrai, celui dans lequel se trouvent vos sites. Pour résumer, tout ce qui se trouvait avant dans votre hébergement a été déplacé ici !

Une dernière modification que vous aurez peut-être remarqué, l’utilisateur propriétaire des données n’est plus www-data, il s’agit désormais de w4a100010 qui a pour uid 100010 (dans cet exemple).

Comme dit plus haut, les données PHP sont désormais exécutées par PHP avec un utilisateur dédié par hébergement, cela implique donc que les données de chaque hébergement appartiennent à un utilisateur définit.

Cela est très bien mais impose certaines contraintes (positives !) en termes de sécurité. L’utilisateur PHP w4a100010 doit pouvoir lire les fichiers de votre site. Cela ne pose pas de soucis, elles lui appartiennent (il est le propriétaire de ces fichiers comme nous venons de le voir). En revanche, les autres fichiers (.html .css .js .gif .png…..) eux seront lus par le serveur Apache qui lui s’exécute toujours en www-data, il faut donc que ces fichiers lui soit accessible ! Vous devez donc sur ces fichiers avoir un CHMOD qui permette une lecture à un utilisateur autre c’est à dire au minimum un 4 sur le dernier chiffre.

Par exemple un fichier en lecture uniquement pour PHP : 0600 alors qu’un fichier lisible aussi pour apache devra avoir 0604 au minimum. L’avantage c’est que si vous indiquez par exemple 0400 sur le fichier de configuration de votre Joomla ou WordPress, il ne sera lisible que par votre site et par aucun autre ! Indispensable lorsque l’on sait que ce fichier contient vos identifiants d’accès à votre base de données !

Nous avons réalisé un topic sur nos forums qui explique tout cela : http://forums.web4all.fr/topic/3727-bien-choisir-les-permissions-sur-vos-fichiers/

Afin de ne pas impacter vos connexions FTP et notamment pour les personnes qui automatisent la récupération de données, nous avons déplacé les données de / vers var/www dans chaque hébergement et avons donc modifié les utilisateurs FTP afin qu’ils soient définit comme avant mais avec var/www en plus dans leurs chemins. Nous y reviendrons plus tard dans la partie « L’impact : attendu et inattendu » car cela a eu quelques conséquences sur les connexions au serveur de sauvegardes.

Ce qu’il faut donc retenir c’est que désormais, un hébergement contient une arborescence complète sur laquelle vous n’avez pas totalement la main. Une partie vous est réservée et appartient à un utilisateur dédié à votre hébergement. Ceci améliore donc considérablement la sécurité. Et grâce à la nouvelle architecture Apache / PHP, les performance s’en trouvent améliorées. Mais n’oubliez pas, vous devez gérer finement les permissions sur vos fichiers !

 

La mise en production


Lors de la mise en production, nous avons eu plusieurs éléments à modifier. Comme nous venons de le voir nous avons modifié la partie Apache et PHP mais pas uniquement. Je vais donc rapidement vous dire ce qui a été fait.

Manager :

Mise en production de la nouvelle version 1.5 de IWAL (il s’agit du nom du manager, entièrement développé par nos soins). Pour cette mise en place, nous avons mis en place une nouvelle plate forme afin de pouvoir travailler en parallèle de la production. L’ancienne version était sur un serveur Web et utilisait un petit serveur MySQL.

Voici donc ce qui a changé :

  • Mise en place d’un nouveau serveur MySQL à Roubaix avec réplication temps réel sur un autre serveur à Paris. Sauvegardes des bases de données toutes les heures à Paris.
  • Mise en place de deux serveurs avec répartition de charge pour la publication du manager afin d’assurer une haute disponibilité même en cas de maintenance.
  • Mise en place d’un serveur « CLI » (Command Line Interface), ce serveur assure le pilotage de l’infrastructure : système de fichiers, serveurs Web Apache, gestion des utilisateurs PHP / SSH, mises à jour des données et quotas, système de relance en cas d’impayés / échéance… traitement automatisé des paiements CB / Paypal… et bien d’autres tâches.

Cette nouvelle version du manager arbore un nouveau design. Esthétiquement différent mais également plus large ! Ce design va encore être un peu modifié suite aux remontées de certains utilisateurs. Nous avons quelques soucis d’affichage sur Internet Explorer et iPad, nous travaillons à la correction de cela. Mais déjà, nous avons uniformisés le design, les boutons d’actions, les « boites » d’informations à destination des utilisateurs… Nous avons essayé de le rendre plus cohérent. Nous espérons que cela est vraiment le cas.

Notez que vous retrouverez ce design prochainement sur le site internet de Web4all qui a prit un peu de retard 🙁 Un grand remerciement à Jean-Baptiste DEBAUCHe de chez Welovemedias pour ce design.

Web4all Accueil Manager

 

Allez je vous fais faire un petit tour rapide, nous allons nous contenter de la partie hébergement qui est celle qui a le plus changé 🙂

 

Web4all Manager Hébergement L’accueil de l’hébergement a subit quelques modifications. Pas forcément très visible… Les boutons d’actions ont été uniformisés, la synthèse de gestion des délégations se voit légèrement plus aéré et les bargraphs affichant l’utilisation des quotas ne sont plus gérés avec des images mais en CSS (quelques soucis sur Internet Explorer pour ce dernier point).
La partie Fichiers & accès se voit intégralement refaite : une synthèse est affichée afin de vous donner toutes les informations dont vous pouvez avoir besoin. La gestion des utilisateurs SSH est enfin arrivée et le tout est cohérent avec la charte graphique dans le reste du manager. Web4all Manager Hébergement
Web4all Manager Hébergement La gestion des domaines est aussi bien retouchée ! Comme dans d’autres parties du manager, nous avons mis en place des tableaux utilisant du Javascript permettant une présentation plus jolie mais surtout plus pratique (notez que les couleurs des lignes doivent être modifiées). Un champ de recherche vous permet en temps réel d’effectuer une recherche sur n’importe quel élément du tableau. De plus les en-têtes des colonnes sont cliquables afin de pouvoir modifier l’ordre d’affichage des données. Il est désormais possible d’afficher l’intégralité des données sur une seule et même page 🙂 Exit donc le bug au delà de 100 éléments que certains d’entre vous nous avaient remonté !
La visualisation d’un domaine… voilà sûrement la partie qui a le plus changé. En effet elle a été refaite de zéro (et doit encore se voir greffer quelques modifications notamment graphique). Outre l’harmonisation avec la charte graphique, cette partie se voit désormais découpé de manière structurée en plusieurs parties : la publication web Apache, la partie DNS et la partie Mail Zimbra. Concernant la partie web Apache, on y retrouve désormais la gestion de la configuration de Apache, des répertoires utilisés mais aussi et surtout, la nouveauté tant attendu depuis très longtemps, la possibilité de sélectionner la version de PHP parmi les versions 5.2, 5.3 et 5.4 ! Web4all Manager Hébergement
Web4all Manager Hébergement Comme pour la partie Fichiers & accès, la partie Zimbra se voit remise au goût du jour et surtout, se voit apporter des explications sur la page d’accueil. Nous recevions beaucoup de questions relative à Zimbra, nous avons donc essayé de synthétiser cela 🙂
La vue qui permet de visualiser les comptes emails Zimbra créé sur l’hébergement est modifié de la même manière que la gestion des domaines, Bis : nous avons mis en place des tableaux utilisant du Javascript permettant une présentation plus jolie mais surtout plus pratique (notez que les couleurs des lignes doivent être modifiées). Un champ de recherche vous permet en temps réel d’effectuer une recherche sur n’importe quel élément du tableau. De plus les en-têtes des colonnes sont cliquables afin de pouvoir modifier l’ordre d’affichage des données. Web4all Manager Hébergement
Web4all Manager Hébergement Pour finir, de très légères modifications sur la partie Awstats. Nous avons là aussi ajouté des informations afin de vous donner le plus d’infos possible. Nous y avons même indiqué quelques références en la matière comme Google Analytics, Piwik ou encore Open Web Analytics si vous désirez compléter ce que Web4all met à votre disposition.

Sachez également que de nombreux bugs ont été corrigés, la partie MySQL par exemple sur la gestion des utilisateurs et des mots de passe ou encore la mise à jour des quotas Zimbra et MySQL.

D’autres modifications doivent être effectuées dans les prochaines semaines 🙂

Revenons en à notre mise en production. Comme nous venons de le voir le manager a subit de lourdes modifications. Les scripts d’installation / mise à jour auront pris quelques minutes à passer les milliers de requêtes SQL modifiant le schéma de la base de données ainsi que  les données…

La partie Système de fichiers

Je ne vais pas m’attarder sur cette partie, nous avons vu plus haut que l’arborescence au sein d’un hébergement avait complètement été modifiée. Il nous aura ainsi fallu procéder de la sorte :

  • création de var/www dans chaque hébergement
  • déplacement de toutes les données de chaque hébergement dans le répertoire var/www
  • modification du propriétaire de tous les fichiers dans var/www pour qu’ils appartiennent à l’utilisateur w4axxxxxx correspondant à l’hébergement
  • modification des CHMOD de tous les fichiers afin de garantir que les fichiers soient correctement lisibles par Apache et PHP comme expliqué plus haut.

Cette partie là, j’y reviendrais dans la partie « L’impact : attendu et inattendu » a causé quelques problèmes 🙁

La partie Publication des données

Nous avions jusqu’alors 7 serveurs Web qui servaient les données Apache et PHP 5.2 et un serveur qui servait du Apache / PHP 5.3.

Mais ça, c’était avant… 🙂

Désormais nous avons mis en place :

  • 11 serveurs web qui publient Apache et PHP 5.x (toutes les versions).
  • 2 serveurs web qui publient le contenu CGI-BIN et Awstats car la sécurité est géré différemment dessus. Ce sont nos répartiteurs de charge qui routent différemment les requêtes sur les serveurs.

Le soucis, c’est que durant la migration dès qu’un hébergement se voyait modifié par notre script qui migrait les données comme expliqué au dessus dans « La partie Système de fichiers », les sites de cet hébergement ne fonctionnait plus du tout. Nous avons donc mis en place plusieurs script afin de permettre une interruption maximale de 1 minute par hébergement. Là aussi pour certains cela aura duré plus longtemps que cela, et là aussi j’y reviendrais après.

Nous avions donc réalisé entre autre un script qui dès que l’hébergement était modifié au niveau du système de fichiers, routait le site vers une plate forme web différente. Ainsi nous avons dû laisser en parallèle les 7 + 13 serveurs Web et cela donnait :

  • Tout le monde par défaut est routé sur l’ancienne architecture
  • Si l’hébergement est modifié, envoie d’une instruction aux répartiteurs de charges : les sites x, y, z… de cet hébergement doivent désormais être routés sur la nouvelle plate forme
  • Une fois tout le monde modifié, inversion du fonctionnement, la nouvelle plate forme devient celle par défaut.
  • Retrait de l’ancienne plate forme.

La partie Statistiques

Nous en avons profité pour mettre à jour Awstats. Il y aura eu une coupure de deux jours mais nous avons rejoué les scripts afin que vous ne perdiez pas les données de ces deux journées. Peu de modifications sur cette partie de votre côté. Amélioration considérable de notre côté sur la gestion des logs Apache et des statistiques.

La partie sauvegarde

Nous progressons vers la nouvelle plate forme de sauvegarde… le chemin à parcourir se réduit et nous vous en donnons un avant goût ! 🙂 Ce n’est pas inclut officiellement dans les offres, et tout le monde ne conservera probablement pas cela dans son offre (différence entre les offres haute sécurité et non HS).

Désormais à la racine de votre hébergement, vous trouverez un répertoire « backups ». Ce dernier vous fournit 4 liens vers des clichés instantanés (Snapshots) de votre hébergement :

Web4all Backups Snapshots

 

  • snap-hourly-1-latest : le dernier snapshot horaire qui a été effectué. Toutes les heures.
  • snap-daily-1-latest : le dernier snapshot journalier qui a été effectué. Tous les jours à 05H00 du matin.
  • snap-weekly-1-latest :  le dernier snapshot hebdomadaire qui a été effectué. Tous les dimanches à 07H00 du matin.
  • snap-monthly-1-latest : le dernier snapshot mensuel qui a été effectué. Tous les premiers du mois à 08H00 du matin.

Ces données sont en lecture seule. Pour y accéder votre utilisateur FTP doit avoir accès à l’ensemble de votre hébergement. Il ne doit donc pas avoir de repertoire de restriction définit sur le manager.

 

L’impact : attendu et inattendu

Il y avait certaines choses que nous avions prévues, et nous avions donc fait en sorte de ne pas avoir de soucis, comme expliqué plus haut à l’aide de script qui ont modifiés les données, les ont déplacés, ont agît sur les répartiteurs de charges pour avoir une période d’indisponibilité la plus courte possible pour chaque hébergement.

Et pourtant, comme vous l’avez peut-être constaté sur votre site, nous avons eu de gros soucis sur certains sites internet. En effet l’utilisation un peu surprenante de la part de certains de leur hébergement nous a posé quelques soucis.

Les directives Apaches

Par exemple le fait d’utiliser des fichiers .html ou .css contenant du PHP. Des choses courantes que malheureusement nous n’avions pas prises en compte 🙁 Vous faisiez cela car le serveur était le même pour Apache et PHP. Désormais il faudra indiquer au serveur de gérer cela :

AddHandler application/x-httpd-php .html

De même sur les FollowSymLinks qui nécessitent désormais un + obligatoirement au risque de générer une erreur 50x :

Options +FollowSymLinks

Les permissions sur les fichiers

Comme expliqué en début d’article, les permissions sur les fichiers sont désormais très importantes (voir également ce topic sur la gestion des permissions) . Ainsi nous avions passé un script pour modifier cela. Seulement nous avons rencontrés un petit soucis. PHP générait les fichiers avec un CHMOD en 0600 ce qui fait que lorsque Joomla, WordPress ou autre générait des fichiers de cache, Apache n’avait pas le droit de lire ces fichiers. Et en général vous n’aviez plus de Javascript ou de CSS sur votre site 🙁

Nous avons rapidement avec l’aide de certains d’entre vous isolé le problème et recompilé SuExec avec un usmak 0022 afin de ne plus générer les fichiers PHP en 0600 mais en 0644.

Les .htaccess

Certains d’entre vous ont eu des soucis de redirections liés à un bug de Apache lorsqu’il est utilisé avec Fast-CGI. Nous avons trouvé grâce à l’aide de certains d’entre vous comment résoudre cela. Ainsi il faut ajouter dans certains cas un ? après le index.php Dans cet exemple, si nous retirons le ? après index.php cela ne fonctionnera pas alors que cela fonctionnait très bien auparavant 🙁

RewriteEngine on 
RewriteRule ^fr/(.*) ./index.php?/fr/$1
RewriteRule ^en/(.*) ./index.php?/en/$1

D’autres utilisateurs ont eu des soucis à cause des .htaccess qui contenaient des directives php_value et php_flag. Avant, cela ne servait théoriquement à rien car la plupart des directives n’étaient alors pas prises en compte. Le soucis, c’est que comme expliqué plus haut, PHP n’est désormais plus un module de Apache. Il est totalement indépendant. Ainsi, Apache ne sait pas interpréter ces directives et provoque donc une erreur 50x. Nous avons alors dans l’urgence passé des scripts pour commenter ces directives afin de ne plus générer ces erreurs.

Nous avons réunit ces modifications et informations à connaitre sur nos forums : http://forums.web4all.fr/topic/8468-les-erreurs-possible-sur-les-sites/

Le répertoire de base / point de montage de votre site

Nous avons modifié les paths des hébergements. Au lieu d’avoir du /var/www/virtual et /var/www/sites avec les hébergements dedans, nous sommes passés sur /datas/vol1 et /datas/vol2

Nous avons alors mis en place des liens afin que les anciens chemins restent valides. Ce que nous n’avions pas prévu c’est que certains CMS refusent de fonctionner si le DocumentRoot n’est pas celui définit dans leur configuration. Il aura donc fallu modifier pour certains d’entre vous les configurations de vos CMS.

Les sauvegardes

Comme vous avez pu le constater, l’accès aux sauvegardes a été impossible durant près de 5 jours. En effet la modification des arborescence a posé des soucis sur les accès FTP nous obligeant à réaliser pas mal de modifications sur cette partie. Etant assez débordé par tous les problèmes liés à la migration, nous n’avons pu gérer cela rapidement 🙁

De plus la modification de l’arborescence dans les hébergements fait que les backups ne sont plus accessible pour tous les utilisateurs FTPPour y accéder votre utilisateur FTP doit avoir accès à l’ensemble de votre hébergement. Il ne doit donc pas avoir de repertoire de restriction définit sur le manager.

Les leçons à en tirer pour notre équipe

Malgré plus d’un an et demi de tests nous nous sommes retrouvés confrontés à des problèmes que nous n’avions pas constaté durant nos tests. De plus il y a des choses que nous n’avions pas correctement testés, avec du recul on s’en aperçoit. Les fautes qui suivent sont imputables à l’équipe de Web4all mais avant tout à moi. En tant que président et dirigeant en grande partie ce projet, j’aurais dû être bien plus perfectionniste. Je regrette terriblement la manière dont c’est déroulé cette mise en place et vous assure que nous allons en tirer les leçons pour les travaux à venir. Je vous présente donc toutes mes excuses 🙁

Le seul point positif, notre plus grande crainte était que l’architecture s’écroule en terme de ressources vu que nous avions changé beaucoup de paramétrage, satisfaction : ce n’est pas le cas, nous avons même gagné en performance ! 🙂

Des tests pas assez poussés

Nous avons réalisés de très nombreux tests, passés des centaines d’heures à faire et refaire les mêmes essais. Malheureusement nous n’avions pas les moyens financiers de créer la parfaite réplique de l’architecture de production. Cela implique que nous avons dû cibler nos tests et nous sommes donc passés à côté de nombreux points comme ceux que je viens d’évoquer ci-dessus. Nous aurions dû vous demander de participer à ces essais afin de couvrir bien plus de cas de figures.

Un manque de communication

Nous avons commencé à communiquer en 2009 sur la façon dont il fallait gérer les permissions puis en septembre 2011 sur la migration prévue. Autant dire que cela ne servait à rien. Beaucoup trop de temps s’est écoulé entre les messages sur les forums et sur l’interface de Travaux. Au final plus personne n’y pensait.

Vu que nos tests étaient très confortant et nous laissaient penser que nous n’aurions pas tout ces problèmes, nous n’avons pas jugé utile de vous prévenir. Il s’agit là d’une énorme faute et là encore je vous prie de nous en excuser 🙁

Une fois le tout lancé, nous avons été submergés par les demandes d’aide, plus de 150 tickets et plusieurs messages sur les forums. Nous n’avions alors plus le temps de faire une communication comme celle-ci 🙁

Le tout à la mauvaise période

L’équipe de Web4all a été très absente durant cette migration à l’exception de deux ou trois membres dans les meilleurs moments. Si cela est regrettable il faut surtout voir que j’aurais dû là aussi m’assurer que cette migration serait réalisée à un moment où la disponibilité de chacun aurait été de la partie 🙁

 

Voilà, je pense avoir fais le tour. Une migration qui apporte beaucoup d’améliorations sur la sécurité, les performances, la stabilité et les services inclus dans les hébergements mais qui pour une fois aura mal été gérée. Nous nous en excusons encore une fois et vous promettons que l’année 2013 ne sera que meilleure ! 🙂

Cordialement, 

Aurélien PONCINI

Président de l’association Web4all.

Lancement de la phase Bêta du SSL

Nous lançons la phase de test pour le SSL.

Cela signifie que le service est gratuit mais peut rencontrer quelques soucis (très peu probable).

Lorsque nous commercialiserons l’offre, il y a de forte chance que celle-ci ne soit disponible que sur les offres à partir de l’offre 5Go (pas la 1 et 3 donc). Je préfère vous prévenir à l’avance pour ne pas que vous ayez l’impression d’être forcé le jour du lancement de la « facturation ».

Comment cela se passe-t-il ? Il vous ouvrir un ticket sur le manager.

Pour le moment cela est effectué manuellement par notre équipe ce qui signifie qu’il faut bien réfléchir à ce que vous souhaitez car les modifications de configuration ne seront pas instantanée.

Il faut donc nous indiquer :

  • si vous souhaitez pour le SSL :
    • utiliser un sous domaine en .web4me.fr s
    • utiliser un certificat SSL que vous possédez déjà ou que vous allez acquérir
    • acquérir un certificat SSL via Web4all (en cours d’étude)
  • – si vous souhaitez concernant la publication :
    • que le HTTP et le HTTPS fonctionne en parallèle (autorisant ainsi les deux)
    • que seul le HTTPS fonctionne sur le domaine en question
    • que seul le HTTPS fonctionne et que tout ce qui arrive sur le HTTP soit automatiquement renvoyé vers le HTTPS

Dans tous les cas les fichiers de logs seront commun pour le HTTP et le HTTPS.