Fefes Blog

Fragen? Antworten! Siehe auch: Alternativlos

Mon Oct 12 2009

• [l] Von dem Sidekick-Supergau werdet ihr gelesen haben. Mir hat gerade ein anonymer Insider eine Mail geschrieben, was da tatsächlich passiert ist. Ich kann das nicht verifizieren; nehmt das folgende daher als unsubstanziiertes Gerücht. Um nicht wegen Geschäftsschädigung verklagt zu werden, habe ich den betroffenen Firmennamen zensiert.

  Die Mail sagt, dass Microsoft Danger gekauft hat, den Hersteller von Sidekick. Die haben sich dann entschieden, deren Infrastruktur einmal physisch in eines ihrer eigenen Datencenter zu schieben, um Mietkosten zu sparen. Die eigentliche Hard- und Software haben sie dabei nicht angefasst, das ist alles noch das alte Zeug. Und am letzten Dienstag, sagt die Mail, hat sich dann deren Storage spontan desintegriert. Da waren 800 TB Daten drauf. Das war ein fettes SAN, dessen Hersteller ich hier mal verschweigen will, aber wenn die Mail stimmt, ist es einer der Marktführer in dem Segment. Natürlich hatte Danger einen dicken Support-Contract mit dem Storage-Vendor. Die waren also ab Dienstag vor Ort. Und das SAN hat beim Sterben auch gleich mal die Parity-Platten zersägt, so dass an sich von Anfang an klar war, dass die Daten futsch sind. Das hat mal eben 800 TB an Daten geshreddert.

  Es gab einen Backup, auf ein Off-Site Tape, also die haben sich da schon einmal an die Regeln gehalten, was man so an Vorsichtsmaßnahmen treffen kann für sowas. Leider, wenn das Array so platt ist, wie es jetzt ist, dann kann man das nicht einfach zurück spielen, dann muss man erst mal das SAN reparieren. Der Storage-Hersteller hat es laut dieser Mail nun bis Freitag Nachmittag versäumt, das Detail mit "alle Daten sind weg" zu kommunizieren, und sie haben auch kein Ersatz-Equipment eingeflogen. Das war also nicht nur in dem SAN der Supergau, auch der Support hat sich da einen Megagau geleistet. Ich zitiere mal den Money Quote aus der Mail:

  Apparently [Vendor] has been on site since Tuesday, but didn't actually inform Danger/MS that their data is in the crapper until Friday afternoon. On top of that, [Vendor] has done nothing to bring in replacement equipment between Tuesday and Friday.

  Nun war MS eh gerade dabei, die Daten "in die Cloud" zu schieben, und hat daher ein zweites, größeres, SAN gekauft, aber das steht noch nicht im Rechenzentrum und ist auch ein Rack größer und da fehlt gerade der Platz für eine Notfall-Installation. Und im Übrigen dauert auch das Einspielen von 800 TB Daten vom Tape eine Weile.

  Warum erzähle ich das hier? Weil das genau so bei allen großen Firmen aussieht. Die kaufen ihr Storage vom Marktführer und zahlen Unsummen für Support-Verträge, und denken sich, hey, jetzt sind wir sicher. Wie man hier sehr schön sehen kann, ist man dann eben nicht sicher. Im Gegenteil. Die Performance hätte auch das in-house Team nicht schlechter hinkriegen können. Daher: kauft lieber nicht beim Marktführer sondern baut sowas intern auf. Ist billiger und im Zweifelsfall belügen euch eure eigenen Leute dann nicht, wenn das Storage abgeraucht ist.

  Update: Und wenn ihr das selber macht, hatte ich schon mal einen passenden Link.