Explosión en datacenter derriba miles de sitios web

La verdad ni me enteré hasta hoy que lei el correo electrónico que me envio mi proveedor de hosting (elenlace.com).

Pues resulta que decenas de miles de sitios web se encuentran inoperativos por una falla eléctrica que se produjo ayer en la tarde en uno de los datacenters más grandes de los EEUU, el H1 de The Planet.com.

La falla tuvo como origen la explosión de un transformador, que derribó tres paredes circundantes al cuarto eléctrico, y un incendio que obligó a evacuar al personal en el datacenter más antiguo de la compañía ubicado en Houston, Texas.

El incendio derribó todos los websites alojados en las instalaciones afectadas, aunque la compañía cuenta con otros cinco datacenters en Dallas y Houston. Los servidores de los clientes no habrían sufrido daños, aseguraron empleados de ThePlanet que estuvieron emitiendo partes informativos hasta altas horas de la madrugada.

Portavoces de la empresa prometieron que los sitios volverían a estar en línea “tan pronto como fuera posible” aunque se negaron a dar un estimado concreto del tiempo que tomaría solventar las fallas y reparar los equipos de red afectados por el incendio. Sin embargo, dijeron que quizá podrían comenzar a verse resultados en la tarde de este domingo.

Otras compañías que dependen de ThePlanet.com como revendedores, tales como HostGator, también tienen un importante número de servidores fuera de línea.

La empresa asegura que, aunque sus instalaciones de Houston cuentan con un sistema de generadores eléctricos a base de diesel en caso de fallas de energía, autoridades del Departamento de Bomberos les prohibieron encenderlos por los riesgos de empeorar la situación en el interior de la edificación.

La falla irritó a clientes que habían confiado en que la compañía tenía a mano los más modernos sistemas de redundancia de conectividad de red y de energía eléctrica, tal como promete su sitio web. Otros lamentaron que los servidores de nombres de dominio ns1.ev1servers.net y ns2.ev1servers.net estuvieran ubicados en el mismo edificio, dado que uno de los servidores debería suplir al otro en caso de fallas.

El fin de semana anduve en plan familiar asi que no tuve contacto alguno con el Internet, mucho menos vi si realmente el sitio estuvo caido.

La explicacion via email de mi hosting

“

Lamentamos informarle que el centro de datos donde se encuentra alojado su dominio con DNS ns1.servidor9.net y ns2.servidor9.net sufrió una explosión el día Sábado 31 de Mayo a las 5pm, causando tiempo caído desde ese momento hasta el día Lunes 2 de Junio a las 8am. Dentro de los 12 servidores que tiene la empresa, solo 1 se encontraba en ese centro de datos y se trata del servidor Linux 9, con DNS ns1.servidor9.net y ns2.servidor9.net. El resto de nuestros servicios siguieron operando sin problema de manera continua debido a que se encuentran físicamente en otros centros de datos de nuestros proveedores en las ciudades de Houston y Dallas, Texas.

Este centro de datos es propiedad de la compañía ThePlanet (el proveedor de servidores dedicados mas grande del mundo, con 85,000 servidores a nivel mundial y 10 centros de datos en el estado de Texas). La explosión derribo 3 paredes de los cuartos de redes, fuente y transmisión de poder y cuarto de generadores diesel. Ningún servidor de ningún cliente fue dañado ya que se encuentran físicamente aislados con protección en contra de explosiones, inundaciones y fuego.

La explosión fue causada por un corto eléctrico debido al choque de un vehículo en la cercanía de esta planta (que de momento se considera accidental, no intencional) y para evitar heridos o la perdida de vida humana el edificio fue evacuado y el fuego controlado por bomberos. La explosión y el fuego subsecuente se pudo apreciar desde el centro de la ciudad de Houston, TX a mas de 20 millas de distancia. De momento no se nos ha revelado mas información ya que la misma se considera confidencial y la policía y autoridades competentes están investigando la situación.

Esto afecto en su momento a 9,000 servidores y un estimado de 1,000,000 de dominios a nivel mundial. Este evento está siendo documentado en diversos medios electrónicos y noticiosos, tanto de los Estados Unidos como del resto del mundo. Recomendamos leer la siguiente nota de un portal relacionado a la tecnología, ya que explica el evento, sus repercusiones y sus posibles causas de manera muy completa, incluyendo fotografías: http://www.noticias24.com/tecnologia/?p=756

Debido a que el daño al centro de datos fue extensivo, que no se garantizaba cuando se pudiera recuperar la energía eléctrica y gracias a que El Enlace.com, S.A. de C.V. es considerado “Key-Account” (Cliente estratégico) de esta empresa, siendo su cliente más grande en México, se nos ofreció el día domingo el ser relocalizados físicamente a otro de sus centros de datos de la ciudad de Houston, Texas. Esta oferta fue exclusiva para solo algunos de sus clientes. Se migraron alrededor de 200 servidores de los 9,000 afectados en camionetas especiales a su centro de datos Houston 2, localizado a unas millas de distancia.

Se tomo la decisión el día domingo al medio día de aceptar la oferta y el servidor fue físicamente relocalizado y reconfigurado con nuevos IPs en una nueva red. Esto causo que el día Lunes el servicio fuese inestable debido al refresco de DNS y el reconfiguramiento de sus servicios hacia nuevas direcciones IPs. El gran porcentaje de los clientes en este servidor tienen servicios de internet que usan servidores de DNS de alto refresco y por suerte podían ver sus sitios y accesar sus correos desde el mismo lunes en la mañana/tarde, mientras el retraso mayor se dio con empresas con redes dedicadas, IPs dedicados, enlaces T1/E1, o redes de configuración particular, que tienen tasas de refresco de DNS no comunes. Trabajamos el día de ayer y hoy con estos clientes con sugerencias de cómo acelerar este proceso para su beneficio.

Lamentamos el tiempo perdido por esta causa desde el día Sábado hasta el día Lunes, sentimos que dentro de toda esta lamentable situación se pudo recuperar el servicio a la máxima velocidad dadas las circunstancias, por suerte sin pérdida de datos de ningún tipo. Nos sentimos de cierta manera afortunados ya que por desgracia este hecho sigue en estos momentos afectando a centenas de miles de clientes de otros proveedores a nivel mundial.

Nunca se había presentado una situación similar y estamos seguros que se tomaran medidas preventivas en el futuro para prevenir que se vuelva a presentar un evento de esta magnitud.

Una disculpa por el inconveniente y por favor no dude en contactarnos si tiene alguna duda y/o pregunta.

“

¿Alguien mas fue afectado por esta falla?

Si te gusto este post y quieres recibir todos los articulos nuevos suscribete a mi feed RSS!