Jump to content
Journal du Freenaute : Les forums
Max

[DOSSIER] Visite du datacenter de Free

Recommended Posts

39_le_bon_encore.pngLéquipe du Journal du Freenaute a été conviée à une visite du datacenter de Free où sont hébergés les Dedibox ainsi quune bonne partie du coeur de réseau de lopérateur.

 

Après avoir passé certaines étapes de sécurité (sas, contrôles biométriques...), la visite a commencé par le stock où sont entreposés tous les équipements nécessaires au dégroupage cest à dire...

  • des switchs/routeurs pour relier les DSLAMs au réseau

  • des jarretières optiques et autres transceivers (SFP)

  • des DSLAMs (V2 et mini) et les cartes abonnés qui vont avec

  • ...

13_01_stock_dslams.jpg

 

 

Stock de DSLAM Freebox

 

 

26_02_stocks_cartes.jpg

 

 

Stock de cartes DSLAM Freebox

 

 

Une autre pièce sert de stock « réseau », cest là que sont entreposés les équipements nécessaires aux liaisons longue distance (DWDM), la téléphonie, mais également les vieux routeurs.

36_03_stock_gbic.jpg

 

 

Stock de SFP (convertisseurs optique)

 

 

36_04_cimetiere.jpg

 

 

Cimetière des télécoms :)

 

 

Puis nous avons continué avec la visite du quai de déchargement, cest ici que le matériel qui arrive est déchargé avant dêtre entreposé ou livré sur le lieu où il devra être mis en production.

27_08_quai_crs.jpg

 

 

De nouveaux équipements (des Cisco CRS) venant d'être livrés sur le quai de déchargement

 

 

Toute la visite de la partie stock est terminée, place au datacenter maintenant !

 

Voici la salle des onduleurs, cest là que sont stockées les 90 tonnes de batteries de 160 Ah chacune qui permettent dalimenter toute linfrastructure en cas de coupure de courant le temps du démarrage des groupes électrogènes. Ils permettent également de lisser la tension distribuée par EDF pour palier les variations.

 

Il y a au total 13 onduleurs, dont 4 servant en cas de défaillance des autres (redondance N+1), lautonomie annoncée est denviron 20 minutes (largement suffisante pour démarrer les groupes électrogènes).

37_09_onduleurs.jpg

 

 

La rangée d'onduleurs protégeant le site

 

 

47_10_batteries.jpg

 

 

Une petite partie des batteries des onduleurs

 

 

Plus loin dans la salle se trouvent des armoires de distribution électrique de 400 kVA chacune ainsi que les panneaux de contrôle des cinq groupes électrogènes.

59_11_distri_electrique.jpg

 

 

Les panneaux de contrôle des groupes électrogènes

 

 

15_12_afficheur_cat.jpg

 

 

Supervision de l'alimentation électrique de secours

 

 

Dans un local dédié se trouvent tout dabord les disjoncteurs principaux des arrivées 20 000 V ainsi que les fusibles de rechange.

25_13_disjoncteurs.jpg

 

 

Les disjoncteurs principaux du bâtiment

 

 

33_14_fusibles.jpg

 

 

En vert, les fusibles !

 

 

Après avoir passé une seconde porte nous arrivons aux fameuses arrivées 20 000 V où se trouvent les 4 transformateurs électriques qui abaissent la tension à 400 V, ceux-ci étant surmontés de barres de puissances (barres de cuivre) qui conduisent le courant (de simples câbles électriques nétant pas suffisants, ils fondraient immédiatement du fait de l'intensité).

43_15_arrivees_edf.jpg

 

 

Les transformateurs HT/BT

 

 

La visite continue toujours avec la partie électrique, mais cette fois-ci à l'extérieur du bâtiment, où se trouvent les shelters renfermant les groupes électrogènes.

 

Le gasoil nécessaire pour faire fonctionner les groupes est stocké dans 2 cuves souterraines de 30 000 litres chacune. Six pompes servent à alimenter les nourrices (de 4000 litres chacune) situées au dessus des groupes.

54_16_pompes_fuel.jpg

 

 

Les pompes de fuel

 

 

Des tests de charge des groupes électrogènes sont effectués tous les mois, dans le but de prévenir toute défaillance matérielle en cas de vrai besoin.

57_17_groupes.jpg

 

 

L'intérieur d'un shelter renfermant un groupe électrogène

 

 

Les groupes sont préchauffés en permanence : cela reviens à quelques milliers d'euros par mois en électricité mais assure un temps de démarrage de moins de 30 secondes.

 

30_18_batteries_groupes.jpg

 

 

Batteries des groupes électrogènes

 

 

Là aussi la redondance N+1 est de mise, 4 groupes suffisant à assurer la charge électrique du site, le dernier n'étant là qu'en cas de défaut des autres.

 

De retour à lintérieur du bâtiment, voici lune des 56 armoires de climatisation, chacune contient deux compresseurs de 96 kW en partage de charge, ceci permet dassurer une température constante de 19 C° dans les salles dhébergement.

39_19_armoire_clim.jpg

 

 

Armoire de climatisation

 

 

Attaquons maintenant le vif du sujet, à savoir les salles dhébergement de Free. Nous n'allons pas nous attarder sur les salles appartenant à Dedibox, car des photos officielles figurent sur leur site et plusieurs reportages photo ont été déjà publiés sur différents sites communautaires.

 

La visite commence par la partie « système », cest à dire les serveurs pour les mails, les newsgroups, les pages perso, dl.free.fr...

51_20_allee_serveurs.jpg

 

 

Une rangée de serveur (ici l'architecture historique des mails)

 

 

53_34_baies_dl.jpg

 

 

Une partie de l'infrastructure de dl.free.fr

 

 

01_21_serveurs_zimbra.jpg

 

 

Une partie de l'infrastructure Zimbra

 

 

Poursuivons ensuite par les serveurs pour la télévision, ces derniers réceptionnent les flux satellite et les réencodent au débit du bouquet Freebox TV. Ce sont essentiellement les chaînes étrangères qui subissent ce traitement, la plupart des autres chaînes arrivant directement encodées par fibre optique de chez Canalsat et Cognac Jay Image.

20_22_arrivees_coax.jpg

 

 

Arrivées satellite de certaines chaînes

 

 

Les flux des chaînes bas débit (MPEG-4) sont elles encodées sur place par le biais d'encodeurs de marque Ateme.

32_23_encodeurs_mpeg4.jpg

 

 

Encodeurs MPEG4

 

 

Voici ensuite les serveurs de TV Perso, avec le routeur (et ses 6x10G !) dans la baie du centre et les serveurs dans les 2 baies autour. Les serveurs de stockage sont situés au bas des baies.

51_24_bzn_6k_7.jpg

 

 

Le routeur bzn-6k-6 gérant la TV Perso

 

 

02_25_tv_perso.jpg

 

 

Serveurs TV Perso et baies de stockage en bas

 

 

Puis enchaînons par les différentes plates-formes de vidéo à la demande (VoD), avec la même configuration que pour TV Perso.

32_26_serveurs_vod2.jpg

 

 

Une petite partie des plates-formes de VOD.

 

 

La visite sest terminée par la salle de routage, cest ici que se trouve un des deux routeurs (Cisco CRS pour Carrier Routing System) qui assurent le routage du coeur du réseau de Free (bzn-crs16-1 pour ne pas le nommer) et où transitent la plupart des données des 3 millions dabonnés.

 

Celui-ci se compose de 3 châssis dont 2 appelés LCC pour Line Card Chassis, où sont connectés les liens et 1 appelé FCC pour Fabric Card Chassis qui assure linterconnexion des multiples LCC (le nombre maximum de LCC pouvant être de 72 chassis, chacun possédant une capacité de commutation denviron 1,2 Tbps).

24_27_crs16.jpg

 

 

Les 3 chassis du CRS

 

 

47_28_crs_fcc.jpg

 

 

Le chassis FCC

 

 

Chaque LCC contient 16 slots (8 en haut et 8 en bas) dans lesquels on insère des cartes 8x10G où sont connectés les liens 10G.

37_29_crs_routage.jpg

 

 

Les interfaces et les cartes de routage (au centre) d'un châssis Cisco CRS

 

 

Les deux cartes au centre en haut du châssis servent à gérer les ventilateurs, tandis que les deux du bas assurent le routage (Route Processor)

00_29_crs_ventilo.jpg

 

 

Au centre, les cartes gérant... les ventilateurs :)

 

 

Tout en haut du châssis se trouvent les alimentations qui délivrent lélectricité dans tout le châssis. Un FCC consomme au maximum 7 kW tandis que les LCC consomment eux 9,6 kW chacun.

00_29_alims_crs.jpg

 

 

Alimentation électrique d'un châssis

 

 

Dans un coin de la salle se trouvent les équipements longue distance (DWDM) de terminaison des liaisons, chaque châssis (de marque Huawei) correspond à une direction (par exemple Bordeaux, Nantes...)

14_30_chassis_huawei.jpg

 

 

Un châssis Huawei, et des redresseurs de tension à gauche

 

 

Cela permet de multiplexer sur une seule fibre 32 lambdas (longueurs d'onde) différents dans le but de multiplier le nombre de liens logiques dans une seule fibre optique.

 

Bien entendu cela nécessite un brin de fibre pour chaque direction (une pour l'émission et une pour la réception).

 

Après être passé par différentes cartes damplification/booster (cartes WPA et WBA) pour être régénéré et amplifié (sens montant et descendant) le signal optique est muxé et démuxé sur les cartes M32 et D32 avant dêtre envoyé sur des transpondeurs pour obtenir un signal 10 Gigabit Ethernet à partir du signal coloré.

02_31_huawei_wpa.jpg

 

 

Cartes WPA et WBA et les compensateurs de dispersion chromatique (en bas en noir)

 

 

26_31_huawei_cartes.jpg

 

 

Carte M32 et D32

 

 

44_32_transpondeurs2.jpg

 

 

Transpondeurs

 

 

Et pour finir deux autres routeurs (bzn-6k-1 et 2), plus petit que le CRS où sont connectés quelques liaisons 10G et 1G.

54_33_bzn_6k_2.jpg

 

 

Un routeur Cisco Catalyst 6509

 

 

05_34_bzn_6k_1.jpg

 

 

Ici se termine notre visite du cur de réseau de Free !

 

 

Merci à Rani Assaf et Frédéric Gander, nos guides d'un jour, de nous avoir ouvert les portes de leur antre :)

 

 

 

 

Lien vers la news

Edited by Admin

Share this post


Link to post
Share on other sites

Vraiment nickel le reportage ;) bravo les gars

Share this post


Link to post
Share on other sites

Les dernières images n'apparaissent pas comme des images inline mais comme des URL.

Share this post


Link to post
Share on other sites
Guest Invité

Le plus impressionant, c'est quand même la conso électrique de leurs installations : 10 MW rien que pour la climatisation !!! (Si je ne me trompe pas) Ca fait 1% d'une centrale nucléaire ! Sans compter le reste...

Share this post


Link to post
Share on other sites
Les dernières images n'apparaissent pas comme des images inline mais comme des URL.

 

Normal sur le forum (y a une limitation du nombre d'images autorisées par post), tu les as toutes dans le dossier.

Share this post


Link to post
Share on other sites
Guest Invité

Impressionnant ! On n'imagine pas l'infrastructure qu'il y a derrière chaque service quand on estr bien calé dans son fauteuil (au au téléphone en train d'engueuler la hotline ! :D )

Share this post


Link to post
Share on other sites

Quelle usine à gaz (et à fils) !

Share this post


Link to post
Share on other sites
Guest Invité
Quelle usine à gaz (et à fils) !

 

pourtant c'est relativement bien cablé ;)

Share this post


Link to post
Share on other sites

Très sympa et très précis / technique le reportage.

 

Je vais quand même me permettre une remarque à la mode en ce moment : Vous n'avez pas abordez le côté software et l'utilisation, très certainement, du parefeu open office made by Mme Albanel ;-)

 

Jef

Share this post


Link to post
Share on other sites
Vous n'avez pas abordez le côté software et l'utilisation, très certainement, du parefeu open office made by Mme Albanel ;-)

 

OpenOffice n'a pas encore été porté sur IOS XR ;)

Share this post


Link to post
Share on other sites

Ce qui m'énerve, c'est que même leurs fusibles sont 100x plus gros que les miens...

Share this post


Link to post
Share on other sites

Merci pour cette visite guidée!

 

Les flux des chaînes bas débit (MPEG-4) sont elles encodées sur place par le biais d'encodeurs de marque Ateme.

32_23_encodeurs_mpeg4.jpg

C'est rigolo on voit 4 Freebox TV (posées à l'envers).

 

Elles sont reliées à des TV? Il a quelqu'un qui surveille qu'elles arrivent à décoder le signal MPEG-4?

Edited by corrector

Share this post


Link to post
Share on other sites
Le plus impressionant, c'est quand même la conso électrique de leurs installations : 10 MW rien que pour la climatisation !!! (Si je ne me trompe pas) Ca fait 1% d'une centrale nucléaire ! Sans compter le reste...

C'est quand même assez aberrant thermo-dynamiquement de climatiser : c'est comme si on mettait son four dans son frigo!

 

La logique voudrait qu'on extrait la chaleur, plutôt!

Share this post


Link to post
Share on other sites
C'est quand même assez aberrant thermo-dynamiquement de climatiser : c'est comme si on mettait son four dans son frigo!

 

La logique voudrait qu'on extrait la chaleur, plutôt!

Que proposes tu pour le faire?

Share this post


Link to post
Share on other sites
Que proposes tu pour le faire?

Extraire l'air chaud directement, comme pour un projecteur de cinéma.

 

Je ne dis pas que c'est facile à agencer, et ça nécessite de tout aménager selon ce critère. Il faut des conduites d'air frais et d'air chaud, ce qui va occuper beaucoup d'espace. Il y a intérêt à standardiser la géométrie des équipements pour placer la prise froide et la prise chaude selon un arrangement commun (toute les entrées d'air d'un coté, toutes les sorties de l'autre; est-ce déjà le cas?) sinon ça sera un enchevêtrement de conduites absolument atroce, et boufeur d'espace.

 

Surtout, il ne faut mélanger l'air frais et l'air chaud!

 

Cela n'est peut être pas applicable à tout les équipements, je crois que les lasers ont besoin d'une température précise pour fonctionner à une longueur d'onde précise. Mais la plupart des matériels électroniques ne sont pas à quelques degrés prêt.

Share this post


Link to post
Share on other sites

Waouh, j'suis vraiment impressionné... j'pensais pas qu'il y avait tout çà derrière...

MDR, je pensais qu'il n'y avait que quelques développeurs/programmateurs dans des bureaux techniques, c'est tout !

j'savais pas qu'il y avait toute cette partie "matériel", sauf quelques serveurs.... lol

Çà représente combien de m² leur installation du coups ?

Share this post


Link to post
Share on other sites

ouaouuu !! merci pour cette excellent reportage ;)

Share this post


Link to post
Share on other sites
Guest danyaile

Ce qui m'a impressionné, c'est l'alimentation électrique de secours : batteries + groupes électrogènes maintenus en instance de démarrage.

Une actualité récente montre que nos hôpitaux pourraient envier une telle sécurité électrique.

On constate que la sécurité des télécommunications a davantage de prix que la vie des patients admis aux urgences des hôpitaux publics, des personnes en cours d'opération ou des prématurés en couveuse.

 

Cordialement,

Share this post


Link to post
Share on other sites

Merci pour ce reportage très intéressant et édifiant. Bon, j'imagine que les autres FAI sont plus ou moins équipés pareillement, mais ça fait sérieux quand même ! B)

Edited by Arnold

Share this post


Link to post
Share on other sites
Ce qui m'a impressionné, c'est l'alimentation électrique de secours : batteries + groupes électrogènes maintenus en instance de démarrage.

Une actualité récente montre que nos hôpitaux pourraient envier une telle sécurité électrique.

On constate que la sécurité des télécommunications a davantage de prix que la vie des patients admis aux urgences des hôpitaux publics, des personnes en cours d'opération ou des prématurés en couveuse.

 

Cordialement,

En principe :

- les hopitaux sont prioritaire pour la distribution d'électricité

- ils ont des systèmes de secours

 

En pratique, on a vu plusieurs cas où le secours électrique n'a pas fonctionné du tout!

 

Il est précisé que Free teste tous les mois le fonctionnement de son système de secours; je me demande si tous les hôpitaux vérifient régulièrement leurs équipements électriques de secours!

Share this post


Link to post
Share on other sites
Guest -Phach-

certains ont l'air surpris de la "propreté" du cablage. C'est déjà trés logique que ca soit bien cablé pour s'y repéré en cas d'intervention et surtout ils n'y touchent jamais. C'est le genre d'infra où t'es pénard car ca tourne forcément correctement et au pire, si y a une m*rde, ben tu interviens rapidement. La config est statique.

 

J'ai déjà bossé sur une infra de prod où tout les jours ca changait, ben ca n'a rien à voir.

 

Enfin bon, je reste perduadé que ce genre d'infra centralisée n'est absolument pas adapté à la fourniture de l'internet d'aujourd'hui.

Quand je vois qu'un CRS c'est quoi ? entre 500K pour la base et et 1M pour le full. J'ai pas les prix exact mais bon, c'est à peu prés ça.

 

mais bon, c'est un autre débat.

 

merci d'avoir présenté cette visite.

Share this post


Link to post
Share on other sites
Enfin bon, je reste perduadé que ce genre d'infra centralisée n'est absolument pas adapté à la fourniture de l'internet d'aujourd'hui.

Pourquoi?

Share this post


Link to post
Share on other sites

×