Récupération RAID 10 : combien de disques il faut vraiment, et combien de pannes il encaisse

Le RAID 10 a la réputation d'être le niveau facile. Pas de parité à reconstruire, pas d'arithmétique de bandes, juste des paires en miroir : on retrouve la moitié survivante de chaque paire, on copie les fichiers, c'est fini. Cette réputation vient de la définition scolaire du RAID 1+0.

Le pilote md de Linux, sur lequel tournent la plupart des grappes RAID 10 en dehors des contrôleurs matériels, n'implémente pas cette définition scolaire. Il implémente quelque chose de plus large, qui la contient. Si votre plan de récupération suppose des paires, c'est peut-être le plan d'une grappe que vous n'avez pas.

Le nom promet des paires, le pilote n'en exige pas

Le manuel md ouvre la section exactement comme on s'y attend. Il décrit le RAID10 comme offrant « a combination of RAID1 and RAID0, and is sometimes known as RAID1+0 », et indique que « every datablock is duplicated some number of times, and the resulting collection of datablocks are distributed over multiple drives ».

Relisez cette seconde phrase, c'est elle qui fait le vrai travail. Elle ne dit pas que les disques sont regroupés en miroirs. Elle dit que les copies sont réparties. Le manuel énonce ensuite la conséquence noir sur blanc : « It should be noted that the number of devices in a RAID10 array need not be a multiple of the number of replica of each data block; however, there must be at least as many devices as replicas. »

Un RAID 10 de trois disques avec deux copies de tout est donc une grappe légale et ordinaire. Un de cinq disques aussi. Aucun des deux ne se décompose en paires, pour la bonne raison qu'il n'y a pas de paires. La redondance est bien réelle, mais elle est étalée sur l'ensemble plutôt qu'enfermée dans des couples, et tout réflexe de récupération bâti sur « retrouver l'autre moitié de ce miroir » n'a plus rien à quoi se raccrocher.

Trois dispositions se cachent derrière un seul numéro de niveau

À la création de la grappe, deux choses sont décidées qui n'apparaissent jamais ensuite dans le numéro de niveau : combien de copies de chaque bloc existent, et où elles vont. Le manuel est explicite : « When configuring a RAID10 array, it is necessary to specify the number of replicas of each data block that are required (this will usually be 2) and whether their layout should be 'near', 'far' or 'offset'. »

Les trois ne diffèrent que par le placement.

Near rassemble les copies. Le manuel les décrit comme placées « consecutively ('as close to each other as possible') across the stripes of the array », et note qu'avec un nombre pair de disques elles se retrouvent probablement au même décalage sur des disques différents. C'est l'agencement qui se comporte comme le manuel scolaire, et le manuel md lui-même l'appelle « the 'classic' RAID1+0 ».

Far les éloigne délibérément, « quite distant ('as far as reasonably possible') from each other ». La raison tient à la vitesse, pas à la sécurité : « The advantage of this layout is that MD can easily spread sequential reads over the devices, making them similar to RAID0 in terms of speed. » Une grappe montée pour le débit en lecture est très souvent une grappe far, et sa seconde copie ne se trouve nulle part près de la première.

Offset est le compromis, où « all the copies of a given chunk are striped consecutively ('offset by the stripe length after each other') over the devices ». Le manuel en attend des caractéristiques de lecture proches du far avec une taille de bloc suffisante, sans autant de déplacements de tête en écriture.

Rien ne diffère entre les trois du côté des données. Tout diffère du côté de l'endroit où les chercher.

Pourquoi cela décide si la reconstruction rend des fichiers ou du bruit

Reconstruire une grappe par bandes revient à répondre à trois questions : quels disques, dans quel ordre, avec quelle taille de bloc. Le RAID 10 en ajoute une quatrième que les niveaux à parité n'ont pas : où se trouve la seconde copie de chaque bloc. Trompez-vous, et la reconstruction aboutit quand même. Elle entrelace simplement des blocs pris aux mauvais décalages, et le résultat est un volume qui ne monte sur rien, ou pire, qui monte sur une arborescence pleine de fichiers qui s'ouvrent sur du charabia.

C'est la raison pratique pour laquelle la disposition doit être retrouvée avant les données. Elle est inscrite dans les métadonnées de la grappe, et c'est pourquoi lire les métadonnées de chaque disque avant de toucher à quoi que ce soit compte ici plus qu'à n'importe quel autre niveau. Si les métadonnées ont disparu et que la disposition est inconnue, cela devient un petit problème de recherche : trois dispositions, quelques nombres de copies et tailles de bloc plausibles, testés sur une copie jusqu'à ce qu'un système de fichiers apparaisse. Cette recherche n'est sûre que sur des images, parce que chaque tentative est une écriture dans la mauvaise direction si vous la menez sur les disques.

Ce qu'un RAID 10 survit, et pourquoi personne ne vous le dira à l'avance

L'affirmation la plus répandue sur le RAID 10 est qu'il survit à une panne par paire, si bien qu'une grappe de quatre disques peut en perdre deux tant qu'ils n'appartiennent pas à la même paire. C'est vrai d'un RAID 1+0 classique, et le manuel md se garde soigneusement de le généraliser.

Là où il énumère le nombre de disques que chaque niveau tolère de perdre, il donne des chiffres concrets pour les autres : « this number is one for RAID levels 4 and 5, two for RAID level 6, and all but one (N-1) for RAID level 1. » Pour le niveau 10, il indique seulement que la survie « is dependent on configuration ».

C'est la réponse honnête, et elle découle de tout ce qui précède. Avec deux copies réparties sur cinq disques en disposition far, la question de savoir si deux disques morts sont récupérables dépend de l'existence d'un bloc dont les deux copies se trouvaient précisément sur ces deux-là. Deux grappes qui affichent le même niveau, le même nombre de disques et la même capacité peuvent différer là-dessus. Cela se joue à la création et ne se lit pas dans le numéro de niveau.

La conséquence opérationnelle est simple : après une seconde panne au niveau 10, ne supposez ni que tout va bien, ni que tout est perdu. Les deux conclusions sont des paris.

L'ordre qui préserve vos options

Arrêtez d'écrire. Une grappe dégradée laissée en service est une reconstruction qui attend d'être autorisée, et à ce niveau vous ignorez peut-être quelle copie elle prendra pour source.

Relevez les métadonnées de chaque disque avant toute chose. Disposition, nombre de copies, taille de bloc, ordre des disques et compteurs d'événements. C'est l'information qui transforme la récupération en procédure au lieu d'une recherche, et c'est aussi celle qu'un recreate précipité détruit.

Imagez tous les disques, pas seulement les survivants. L'imagerie est une lecture. Elle ne peut rien aggraver, et elle rend réversible chacune de vos erreurs suivantes. Sur une grappe où la bonne disposition demandera peut-être plusieurs essais, travailler sur images n'est pas de la prudence : c'est le seul moyen d'avoir droit à plus d'un essai.

Assemblez en lecture seule, et vérifiez que vous voyez un système de fichiers avant de croire aux paramètres. Une reconstruction avec la mauvaise disposition ne s'annonce pas. Un système de fichiers montable, parcourable, dont les fichiers s'ouvrent, voilà le test.

Reconstruisez en dernier, sur du matériel déjà éprouvé, une fois que les données existent ailleurs que dans cette grappe.

En résumé

Le RAID 10 sous Linux n'est pas la grappe de paires en miroir que son nom suggère. Le manuel md autorise un nombre de disques qui n'est pas un multiple du nombre de copies, ce qui donne des grappes sans aucune paire à récupérer une par une. Il propose les dispositions near, far et offset sous le même numéro de niveau, et seul near avec un nombre pair de disques ressemble au RAID 1+0 classique.

Parce que les copies peuvent être placées loin les unes des autres par conception, la disposition doit être connue avant toute tentative de reconstruction, sinon la reconstruction ira à son terme et produira n'importe quoi. Et parce que le placement se décide à la création, le manuel refuse de dire combien de disques un RAID 10 peut perdre : à ce niveau, la survie dépend de la configuration.

Relevez les métadonnées de chaque disque, imagez-les tous, essayez les dispositions sur les copies, et ne reconstruisez qu'une fois vos fichiers ailleurs.

La description du RAID10 comme combinaison de RAID1 et RAID0, l'énoncé selon lequel le nombre de disques n'a pas besoin d'être un multiple du nombre de copies, les définitions des dispositions near, far et offset, la remarque selon laquelle near avec un nombre pair de disques est le RAID1+0 classique, et l'énoncé selon lequel la survie dépend de la configuration au niveau 10, proviennent tous de la page de manuel Linux md(4), consultée au moment de la rédaction. Les citations sont laissées dans leur langue d'origine. Vérifiez sur la version du noyau et de mdadm que vous utilisez. Les liens commerciaux portent l'attribut rel="sponsored nofollow" ; une commission d'affiliation peut s'appliquer, sans surcoût pour vous.

Guides liés

• Récupération RAID 1 : un seul miroir suffit presque toujours - la logique de miroir dont héritent les dispositions near, et les deux commandes qui détruisent les deux copies.
• Récupération de données RAID : la méthode complète pour RAID 0, 1, 5, 6 et 10 - la vue d'ensemble par niveau, y compris l'arithmétique de parité que le RAID 10 n'utilise pas.