Contexte : Mobicoop et l’incendie OVH
L’hébergeur des serveurs et données de Mobicoop, OVH, a subi un incendie dans la nuit du 9 au 10 mars sur son site de Strasbourg. L’entreprise OVH héberge les ⅔ de l’internet français. Heureusement, personne n’a été victime physiquement de cet incendie. Par contre, un bâtiment a été entièrement détruit (SBG2) et un autre a été sérieusement endommagé (SBG1), et l’électricité a été coupée sur l’ensemble des bâtiments le jour-même. Voir l’article du Monde à ce sujet.
Résumé de la situation à la dernière mise à jour (le 09/04/21 à 15h) :
L’ensemble des données de Mobicoop hébergées à Strasbourg chez OVH ont brûlé le 10/03. Des sauvegardes existent mais certaines pourraient avoir brûlé aussi. OVH n’est pas en mesure de nous donner ces informations pour l’instant. Notre équipe est en mesure de relancer certaines plateformes et utilisera les sauvegardes récupérées dans les prochains jours pour les réalimenter.
Détail des événements :
Vendredi 02/04 :
- Remise en ligne de la plateforme de covoiturage des Hauts-de-France https://www.passpasscovoiturage.fr.
Mercredi 25/03 :
- Remise en ligne de la plateforme de covoiturage Ouestgo (Région Bretagne, Finistère, Rennes Métropole, Nantes Métropole, Brest Métropole, CARENE St Nazaire Agglomération, DREAL Bretagne) https://www.ouestgo.fr.
Lundi 22/03 :
- Remise en ligne de la plateforme de covoiturage du Pays Basque https://txiktxak-kovoit.fr/.
- Remise en ligne d’une plateforme de covoiturage solidaire partenariale.
- Remise en ligne de la plateforme de covoiturage de la métropole du Grand Lyon https://encovoit-grandlyon.com.
- Remise en ligne d’une plateforme de covoiturage pour un service public départemental.
Vendredi 19/03 :
- Remise en ligne de la plateforme nationale de covoiturage sans commission : https://www.mobicoop.fr.
Jeudi 18/03 :
- Remise en ligne de deux plateformes de covoiturage entreprise.
- Remise en ligne de la plateforme de covoiturage régionale Auvergne-Rhône-Alpes https://movici.auvergnerhonealpes.fr.
- Remise en ligne de la plateforme de covoiturage du Pays Cœur d’Hérault https://www.picholines.fr.
Mercredi 17/03 :
- Reconfiguration générale ! Pour finaliser la préparation à la relance des sites V2 (covoiturage, mobilité solidaire).
Mardi 16/03 :
- Relance et remise en ligne des plateformes de gestion de flotte en entreprise.
Lundi 15/03 :
- Les nouveaux serveurs sont configurés pour ajouter une couche de sécurité des données indépendante de celle fournie par OVH.
- Pas de nouvelles supplémentaires de la part d’OVH.
Dimanche 14/03 :
- Point de situation n°3 envoyé à l’ensemble des clients de Mobicoop. L’organisation des relances et remises en ligne des plateformes s’organise ensuite plateforme par plateforme.
- Un nouveau serveur pour le SIG est « reconstruit » par l’équipe technique Mobicoop.
Samedi 13/03 :
- Nous avons la confirmation que l’ensemble de nos données ont brûlé et sont non-récupérables. Toutes les machines virtuelles sont perdues.
- Nous utilisions Instance backup et Volume Backup, et dans une très moindre mesure Volume snapshot :
- Instance Backup nous permettrait de récupérer les copies des machines de la V2 et / ou de la V1.
- Volume Backup nous permettrait de récupérer les données sauvegardées par les machines, et c’est là que se trouve notre disque additionnel.
- Volume Snapshot ce sont des copies ponctuelles des machines, qu’on fait avant des grosses modifications, on n’en fait a priori quasiment jamais.
- Relance du site https://pro.mobicoop.fr et du blog
- Toujours sans attendre le retour d’OVH, un serveur pour la plateforme de gestion de flottes est configuré.
Vendredi 12/03 :
- Point de situation n°2 envoyé à l’ensemble des clients de Mobicoop.
- Notification push envoyée aux utilisateurs des applications mobiles.
- OVH ne nous dit pas encore où sont nos sauvegardes mais laisse entendre qu’elles pourraient avoir été installées dans le même bâtiment que les données aujourd’hui brûlées.
- Les instances backups du Public Cloud (là où on avait à peu près tout) seraient réparties sur SBG1 (encore en état à 66%) et SBG3 (non touché par l’incendie). Ovh espère restaurer ce qui peut l’être d’ici le 26 mars.
- Le site pro.mobicoop.fr est restauré sur une base de novembre 2020.
Jeudi 11/03 :
- Vu les nouvelles informations transmises par OVH, nous ne savons pas avec certitude si nos instances V2 sont dans SBG1, SBG2 ou SBG3.
- Les disques de sauvegarde ne sont pas localisables pour le moment.
- Au vu des dernières informations d’OVH et l’incertitude sur la relance et l’accès à nos serveurs aux données répliquées, nous décidons de recréer sans attendre des serveurs de production afin de pouvoir remettre en service au plus vite les plateformes de nos clients et mobicoop.fr.
- La relance de SBG1 est annoncée “semaine prochaine”.
- Une vidéo du Président et fondateur d’OVH nous apprend qu’il aurait certains backups dans la même salle que les données originales…
Mercredi 10/03 :
- Nous apprenons la nouvelle de l’incendie : SGB2 a brûlé totalement et SGB1 a brûlé aux ⅔. Par mesure de précaution, l’électricité a été coupée sur l’ensemble du site, ce qui impacte tous nos services à SBG1, SBG2, SBG3 et SBG4.
- Donc, nos sites et applications sont hors ligne.
- Nos boites mail sont indisponibles, mais sont rétablies dans la soirée.
- Nous savons que nos serveurs étaient dans SGB1 donc nous attendons les informations d’OVH pour savoir si les données de Mobicoop étaient dans “le bon tiers” ou pas.
- Nos sauvegardes sont chez OVH, mais nous n’avons pas tous les détails sur leur localisation.
- Notre serveur décisionnel (Mobicoop Scope/Kibana) est sur SBG3, il n’est pas atteint par l’incendie.
- Pas d’accès ce jour aux backups, pas d’accès au serveur SIG, pas d’accès à la gestion des noms de domaine, car tout est centralisé par l’interface d’OVH. Ceci pour a priori encore une à deux semaines. Par exemple, les backups des bases de données de Mobicoop Platform sont sur un disque externe… Mais auquel nous ne pouvions avoir accès uniquement via la machine de production. Donc nous sommes incapables de récupérer ces données actuellement.
- Notre équipe fait l’état des lieux des sauvegardes internes.
- Point de situation n°1 envoyé à l’ensemble des clients de Mobicoop.
- Mise en place d’une page d’erreur sur mobicoop.fr et pour les noms de domaine et sous-domaines internes.
- Mise en place d’une page d’erreur pour toutes les plateformes clientes des collectivités et entreprises.
- Mail d’information aux utilisateurs de mobicoop.fr.
- OVH annonce relancer SBG1 la semaine du 15/03 et SBG3 la semaine du 22/03.
