Downtime topic

[Cliff]

Geachte allen

Deze nacht (vanaf gisteren avond ergens rond 20.30) lag onze core webserver er volledig uit. We hebben deze server gecolloceerd staan (en geleased) in Duitsland.

Een ongeluk komt nooit alleen naast het server defect hebben we dan ook nog eens een zwaar netwerk probleem gehad in het datacenter. Dit doordat een aantal andere mensen een mirror online hadden staan van wikileaks (net als wij dus), op aanraden van onze colohost hebben we de mirror momenteel gedisabled!

De core server was volledig dood en gedaan, geen beeld, geen post, niks nada. Uiteraard hebben we wel de nodige backups en we hebben een aantal mirror opties daardoor zijn we normaal behoorlijk snel terug up en running. Dit was helaas nog nooit getest, desondanks is alles super goed verlopen. De mirrors terug gezet, de raid heeft alles gechecked en hopla ... alles draait terug rond 01.00 am.

Na wat onderzoek hebben we een volledige nieuwe server geplaatst en alles omgezet tegen 1 uur deze morgen was alles omgezet, daarna een aantal testen gedaan en ondertussen ... voor 5 uur in de ochtend ... loopt alles alweer ettelijke uurtjes op wieltjes. Ondanks het probleem zijn we dus bijzonder tevreden dat we alles mooi terug draaiend hebben gekregen.

We hebben nu ook wat snellere hardware en zo geplaats dus we kunnen er weer een tijdje tegen! De nacht was dus kort ben nu terug op kantoor dus mocht er nog iets zijn -> mailke! Tegen 15.00 ga ik wel een PowerNip nemen.

Vriendelijke groetjes
Cliff Haerden
Co-CEO and founder MultiBox
Cliff@mutlibox.be

[Ronald]

Thanks voor de info Cliff en het beantwoorden van mijn mails gisteravond.

Ronald.

[mister_fix_it]

coowl, goed bezig cliff!!! thanks!

[Evil Twin]

Goed bezig weer!
Dus jullie steunen wikileaks hierin om mirrors te plaatsen?
Had al gelezen dat veel servers dat niet kunnen trekken omdat het veel bezoekers trekt.

[Cliff]

wij hosten inderdaad een mirror op een apparte site en het is inderdaad geen lachertje. De Amerikaanse overheid gebruikt brute force (DDOS visiting) om iedere server die een mirror heeft plat te krijgen nu ondertussen zijn er meer dan 1000 mirrors en is het voor hen niet meer haalbaar iedereen van een ddos attack te bedelen.

Wij hebben dus een mirror staan op http://leaked.be

Wat moet je je voorstellen bij veel traffiek ... wel HEEL VEEL traffiek. Gisteren hadden we een ddos aanval met een continu data vermogen van 14 Gigabit ... dat is 107 GB per minuut, of te wel meer als 6 terrabyte per uur! Dat is voor de meeste providers inderdaad geen optie wij hebben dit op een apparte vlan draaien en geven hier hoegenaamd niet veel om als zij heel het internet in gevaar brengen is dat hun probleem. Nu ondertussen zijn de verdachte overheids aanvallen volledig gestopped, geen van de mirrors heeft nog problemen en de load is mooi gebalanceerd.

Wij steunen al jaren sites die om bepaalde redenen in de problemen zitten zo hebben we ook enkele jaren geleden www.p2pnet.net over genomen ... een canadese site die bergen censuur te verwerken kreeg, ook voor wat zweedse vrienden doen we af en toe wat extra

Je leeft maar 1 keer en als je dan iets voor de gemeenschap kan doen ... why not he

[mister_fix_it]

 

 

[SkaBla]

Kan hier maar 1 ding op zeggen! GOED BEZIG!!!!

[Evil Twin]

Vind het allemaal dubbel dit gebeuren over wikileaks.
Dat je bepaalde dingen naar buiten brengt prima.
Maar sommige dingen hoeven echt niet naar buiten gebracht worden.

[Cliff]

dat zegt de kerk ook over sexueel misbruik ... tot het je eigen kinderen zijn nu het gaat hem er vooral over dat er echt wel ernstige misstappen zijn en het is goed dat die publiek vrij gegeven worden ... 30.000 onschuldige burgers doden voor wat olie vind ik toch wel redelijk foute boel :-)

[Evil Twin]

Is het dan nodig om de namen van betreffende militairen/uitvoerende bekend te maken?
Of is het nodig om de top aan te pakken?
Daar zit voor mij betreft wel een hele grote verschil.
Dat ze nu de top aanpakken vind ik zeker goed!
Maar ze moeten niet klakkeloos namen neerzetten van mensen die een pion zijn voor de top.
Dat zijn mijn 2 centen...

[Cliff]

De namen van uitvoerenden zijn er uit gehaald !!! Enkel als Assage geen eerlijk proces krijgt of vermoord zou worden bv door fbi of andere diensten wordt alles weer gegeven ...

verder als uw vrouw tegen u zegt vermoord onze buurman en gij doet dat ... moet ge er even goed voor opdraaien dus houdt niet helemaal steek hoor.

[Evil Twin]

Gelukkig heeft de vrouw niet zulke rare gedachtes.

[Cliff]

dat komt met de leeftijd hahahahaha

[psycho aka elmo]

Goed om te zien dat het forum weer online is 

Ook mijn complimenten voor het steunen van Wikileaks.
Het is voor ons strafbaar om servers plat te gooien doormiddel van ddos aanvallen, maar zodra het de amerikanen te heet onder de voeten wordt gaan zij zich wel verlagen tot de criminiele middelen om het doel te behalen (wat overigens natuurlijk niet zal lukken door de vele mirrors).

[Cliff]

pas op hoor als er een veroordeling moest komen van iemand die een mirror heeft zullen veel mensen in hun broek doen en de mirror snel offline halen hoor maar dan is alles al lang verspreid. Wikileaks is een typisch internet iets ... net zoals kazaa, napster, limewire, gnutella dat ook waren en zoals the piratebay bv dat ook is momenteel. In de wereld van vooruitgang dienen die dingen tot een bepaald doel en daarna zijn ze gewoon klaar op naar het volgende ...

Wij als hosting provider volgen dit soort dingen op de voet omdat het mee de toekomst zal bepalen. Tevens is het enorm handig om stresstesten van hard en software te doen ... een wikileaks mirror in de lucht houden momenteel is een redelijke prestatie

Ow ja en de united states of whatever een beetje pesten is altijd een fijne zaak

[psycho aka elmo]

Nu zijn de regeltjes omtrent het mirroren van site's in een een hoop landen anders.
Het zal dus, mocht dit gebeuren een lastig verhaal worden deze mensen aan te klagen.

[Cliff]

inderdaad lastig maar niet onmogelijk. Maar goed ... ik kan verder bevestigen dat er duidelijke snelheidswinst is voor alle pagina's op de server. We hebben in de nieuwe server 2 dual core cpu's geprikt met een snelheid van PR5600 (AMD) dat is ruim 2300 sneller dan de vorige :-) en dat verschil is goed zichtbaar. Alles draait nu reeds 24 uur stabiel dus ik ga er van uit dat alles mooi terug in orde is

[psycho aka elmo]

Dat het forum weer stabiel draait is natuurlijk top om te lezen.
De extra rekenkracht is ook te merken 
Kan niet anders zeggen dan dat er goed werk is verricht.

[Ronald]

Zo, we zijn weer terug van weggeweest.
Om even een paar quotes van Cliff te plaatsen:

damn op mijn verjaardag server problemen pffff ... daar had ik nu dus geen zin in

Server is gefixed ! een user account was gehacked en draaide een custom perl om udp aanvallen uit te voeren op 1 of andere chinese site ... server is nu geupdate en aan het rebooten ... nu nog de administratieve kak en dan is alles weer in orde!

server is dadelijk terug :-)

ik wacht nu op het terug aanzetten van de route en dan bollen we terug ... de schriftelijke verklaring is doorgestuurd!

Kortom, supersnel weer geregeld makker en gefeliciteerd met uw verjaardag!

Ronald.

[Evil Twin]

Cliff bedankt!
En ook nog gefeliciteerd met je verjaardag!

[Rodger Jason]

Thumbs up!..... again 

[Gerrit P]

Indrukwekkend

[Cliff]

Zoals sommige forum bezoekers hebben kunnen merken is de site en het forum gisteren een paar uurtjes plat geweest (ongeveer 2 uur) en naar goede gewoonte komen we dan ook met een uitleg. Deze keer was het integraal en compleet de fout van MultiBox zelf :-) ja eerlijk is eerlijk. Vorige week zijn er een aantal nieuwe klanten aangemaakt op de server. We zetten daarvoor altijd een standaard passwoord ... dat niet al te moeilijk is. Normaal verplichten we de klanten dat paswoord direct te veranderen maar bij 1 van de klanten was die functie niet aangezet. Bijgevolg hadden we dus op 1 van de webservers een eenvoudige user en eenvoudig passwoord dat door een willekeurige hacker gekraakt was op een paar seconden.

Wat is er dan mee gedaan?

Wel de gebruiker had beperkte rechten dus geen admin rechten of zo ... daarom was er ook niks van data in gevaar. Wel kon de gebruiker scriptjes uitvoeren. De hacker heeft dan een scriptje op onze server gezet dat andere servers in China en Romenie ging aanvallen. Daardoor heeft onze provider onze server in een veilige zone geplaatst zodat wij alles even konden opruimen.

Ik heb dan gisteren avond de user verwijdert samen met de nodige scriptjes en andere rommel, alle gebruikersnamen even nagekeken op paswoord moeilijkheid, daarna hebben we ook Debian geupgrade (het besturingssysteem van de server) en alle nodige updates ineens geinstalleerd. Dan hebben we een server hardening gedaan en alles zag er goed uit.

Na mijn schriftelijke goedkeuring is de server dan terug vrij gegeven en draait alles terug zoals het moet :-)

Dus ... bij deze alvast onze excuses maar :-) we zijn ook maar mensen he.

[mister_fix_it]

ten eerste: LOL @ foto van het zielige "sorry" hondje
ten tweede: top hoe het zo snel weer gefixed is, bedankt daarvoor!

ten derde: nog gefeliciteerd met je verjaardag!! klote da tje ook nog op je verjaardag zoiets moet meemaken...

[Evil Twin]

Aaaaaaaaaaaaaaaaa dat hondje! 
Vind het nog knap dat je het binnen 2 uur oplost!
Maar ik ben dan ook geen ict'er