<div style="display:inline;"> <img height="1" width="1" style="border-style:none;" alt="" src="//googleads.g.doubleclick.net/pagead/viewthroughconversion/945806856/?value=0&amp;guid=ON&amp;script=0">

Viel Spaß

beim Lesen unserer Blog-Artikel.

23. Juni 2015

Erasure Resilient Coding (ERC)

Erasure Resilient Coding (auch kurz: Erasure Coding) bezeichnet ein mathematisches Verfahren zum Datenschutz, das Daten in Fragmente aufteilt, erweitert und neu mit redundanten Teilen codiert, die dann auf physikalisch getrennten Orten (z.B. Standorten oder Medien) gespeichert werden.

Das Ziel von Erasure Coding ist die zuverlässige Wiederherstellung von verlorenen Teilen aus den Informationen von anderen Datenteilen aus dem Verbund. Erasure Coding wird zunehmend statt RAID verwendet, da die Komplexität zur Wiederherstellung und der Überschuss an benötigtem Bruttospeicherplatz bei höherer Sicherheit wesentlich geringer sind. Erasure Coding ist dabei allerdings rechenintensiver als RAID.

Erasure Coding wird überall dort eingesetzt, wo große Mengen an Daten gegen Verlust durch Ausfall einzelner Komponenten, z.B. Festplatten oder ganzer Standorte, gesichert werden sollen. Dabei ist das Brutto-/Netto-Verhältnis konfigurierbar.

Vereinfacht gesagt wird beim Erasure Coding ein Datensatz in m Fragmente aufgeteilt und mit k weiteren Fragmenten neu codiert, so dass gesamt n=m+k Fragmente enstehen. Für die Wiederherstellung der Daten genügen beliebige m Fragmente, es können also k Fragmente verloren gehen.

FAST LTA setzt in seinen Produkten eine "8 aus 12“-Konfiguration (ERC 8/12) ein. Die Fragmente werden auf 12 Festplatten verteilt. Es können also innerhalb eines Festplatten-Sets bis zu 4 Festplatten gleichzeitig ausfallen, ohne dass Datenverlust droht. Damit bietet ERC 8/12 doppelt so viele Redundanzreserven wie RAID-6, wo maximal 2 Festplatten ausfallen dürfen.

ERC 

Um die höhere Komplexität von Erasure Coding im Vergleich mit RAID zu kompensieren und höhere Latenzzeiten zu vermeiden, lagert FAST LTA die Mathematik auf leistungsfähige GPUs (Grafikprozessoren) aus.

Die Mathematik hinter Erasure Coding ist mehr als 50 Jahre alt und wurde z.B. dazu verwendet, Daten von Satelliten zur Erde zu funken. Bei der Übertragung treten garantiert viele Fehler auf, der Algorithmus stellt jedoch sicher, dass auch bei vergleichsweise wenigen empfangenen Fragmenten die Daten im Original wiederherstellbar waren.

Quellen und weiter führende Links

Intel on Erasure Coding: http://www.intel.de/content/www/de/de/storage/erasure-code-isa-l-solution-video.html

Hinweis: In diesem Video wird genau das von FAST LTA eingesetzt ERC 8/12 beschrieben. FAST LTA vermeidet die im Video beschriebene „Performance Penalty“ beim Einsatz von „herkömmlichen Prozessoren“ durch das Auslagern der Erasure Coding Mathematik auf eine extrem leistungsfähige, kostengünstige GPU (Grafikprozessor).

http://web.eecs.utk.edu/~plank/plank/papers/FAST-2005.pdf – Sehr ausführliches, technisches Papier zum Thema Erasure Coding

Wikipedia-Eintrag: http://en.wikipedia.org/wiki/Erasure_code

Themen: Definition, Technologie

Autor: Hannes Heckel | Director Marketing bei FAST LTA

WHITE PAPER

In unseren White Papers stellen wir Ihnen jeweils ein spezielles Thema und Ihren Nutzen detailliert vor. Viel Spaß beim Lesen!

White Paper: LINEAR DISK STORAGE

White Paper: TAPE, DISK ODER CLOUD? ÜBERDENKEN SIE IHRE BACKUP-STRATEGIE

NEWSLETTER

Melden Sie sich zu unserem Newsletter an: