Topic: downtime (gelezen 18147 keer)

Cliff · « **Gepost op:** april 19, 2011, 21:36:00 »

zoals jullie gemerkt hebben is er de laatste dagen af en toe downtime geweest. We hebben de server gechecked en hebben 2 fans vervangen. 1 draaide niet de andere maakte veel lawaai dus liever geen risico. We hebben tevens de core software geupdate, hardware tests gedaan, nieuwe kernel, update voor mysql, security fixes en ... uitgebreid getest. Alles lijkt weer in orde te zijn!

Op hoop van zegen dus

veel sletplezier terug op het forum.

Michel_M · « **Reactie #1 Gepost op:** april 19, 2011, 21:54:39 »

Mooi.

Rage · « **Reactie #2 Gepost op:** april 19, 2011, 22:18:48 »

Ah

vandaar dat het forum af en toe niet te bereiken was. Thx voor de update!

Evil Twin · « **Reactie #3 Gepost op:** april 19, 2011, 22:25:09 »

Goed bezig Cliff!

Ronald · « **Reactie #4 Gepost op:** april 19, 2011, 23:11:00 »

Thanks Cliff!

Is dat vanavond gedaan, want ook vanavond was het nog eventjes niet bereikbaar.
Succes verder!

Ronald.

Cliff · « **Reactie #5 Gepost op:** april 20, 2011, 08:01:04 »

inderdaad gisteren avond... momenteel kan er ook nog even downtime zijn ... we gaan mogelijk het os op een ssd zetten ipv disk en een raidcheck doen.

kasper02 · « **Reactie #6 Gepost op:** april 20, 2011, 12:34:21 »

Ik heb geen idee waar jullie het exact over hebben maar thnx voor alle info en moeite/tijd!

Ronald · « **Reactie #7 Gepost op:** april 20, 2011, 12:35:43 »

Op zich niks spannends, forum was de laatste week een paar keer niet of slecht bereikbaar voor korte en soms iets langere periode.

Ronald.

Evil Twin · « **Reactie #8 Gepost op:** april 20, 2011, 16:26:21 »

Was ook net weer niet bereikbaar.

SkaBla · « **Reactie #9 Gepost op:** april 20, 2011, 17:09:03 »

Idd 2 minuten geleden ook niet

Cliff · « **Reactie #10 Gepost op:** april 20, 2011, 17:14:44 »

ik ben op de server verder onderzoek aan het doen. We hebben 1 databank waar iets mee mis was en het was ... die van starlet-forum

in de tabel wordlist zat er een probleem ... dus ik heb er een backup van gemaakt, repair uitgevoerd en gecheckt op juistheid ... ik ga nu nog een extra check doen.

De webserver en alles is terug tip top het is enkel op databank niveau dat we nog wat probleempjes hebben ... paar dingen zijn me ondertussen opgevallen ... we hebben een databank draaien die permanent 3 GB ram en 4 GB virtueel gebruikt ... dat is wel erg veel en ga die klant eens contacteren om te checken en als dat normaal is ... dedicated machine te laten nemen. Ik hou jullie op de hoogte hier!

Evil Twin · « **Reactie #11 Gepost op:** april 20, 2011, 17:17:35 »

Ik weet niet hoeveel data een forum opslokt maar heb wel het idee dat de sch forum de laatste tijd best gegroeid is.

Ronald · « **Reactie #12 Gepost op:** april 20, 2011, 17:28:39 »

Dat klopt wel, kijk maar eens in de statistieken het wordt elke maand drukker en drukken maar hier gaat het alleen maar om tekst en een paar plaatjes. Kan me niet voorstellen dat dat nou zo veel dat verbruikt.

Ronald.

Ronald · « **Reactie #13 Gepost op:** april 20, 2011, 17:30:56 »

Pageviews:
april 2011 245424 (tot zover, als we zo doorgaan over de 350000
maart 2011 327301
februari 2011 262732
januari 2011 244916

Ronald.

Cliff · « **Reactie #14 Gepost op:** april 21, 2011, 07:44:00 »

En hier zijn we terug na flink wat downtime, veel gezoek en een hoop werkt achter de rug afgelopen nacht

alles op de server werkte gisteren stabiel enkel mysql bleef moeilijk doen. Nu hebben we desondanks een volledige hardware scan laten uitvoeren (duurt 6 uur) dat is ondertussen achter de rug en alles in orde. Op zich is dat goed en slecht nieuws

het goede nieuws is dat de server in orde is ... het slechte nieuws dat we dus verder moesten zoeken.

Omstreeks 6 uur deze morgen heb ik dan alles terug aan de praat gekregen en ik ben momenteel bezig met het checken van de databanken en een repair actie met een force aan het uitvoeren. Op hoop van zegen laten we het zo maar zeggen.

Wat als dat niet werkt? wel ik geef mezelf vandaag nog de tijd om alles verder uit te zoeken moesten er problemen blijven bestaan. Als ik vandaag geen oplossing heb wordt er een nieuwe server in de rack gezet en vers geinstalleerd. We zullen dan zo snel mogelijk alle sites omzetten naar een nieuwe server. De huidige kan dan geherinstalleerd worden voor andere projecten.

Cliff · « **Reactie #15 Gepost op:** april 21, 2011, 08:42:06 »

en we zijn er weer ... momenteel is de volledige mysql fix, repair en optimize uitgevoerd... alles ziet er nu goed uit ... en draait. Fingers crossed. Ik heb de mysql deamon draaien in verbose mode en zie momenteel geen fouten meer voorbij flitsen.

Waarom lukte de repair voordien niet ... wel eigenlijk heel erg dom ... de webserver draaide en bezoekers kwamen dus op de site en ook de databank terecht. Als ze net de fout opvroegen knikkerde de db er uit

nu de webserver gestopt, volledige repair en optimize gedaan, backup genomen (dan ben je zeker dat alles gelezen wordt

) en dan alles mooi opgestart. Ik hou het uiteraard verder in het oog.

Cliff · « **Reactie #16 Gepost op:** april 21, 2011, 09:54:36 »

eindelijk een beetje licht aan het einde van de tunnel ... nog even en we zouden terug een stabiele db moeten hebben.

Cliff · « **Reactie #17 Gepost op:** april 21, 2011, 11:12:08 »

nieuwe server is besteld ... we hebben nog wat werk voor de boeg.

We vermoeden disk corruptie ... we gaan proberen alles nu zo goed mogelijk draaiende te houden tot de nieuwe server aangekomen is ... we verwachten dat dat vrij snel gaat. Dan is het nog een kwestie van hem te installeren en de sites over te zetten. We doen eerst uiteraard de betalende klanten maar we verwachten dat het omzetten vrij vlot gaat gaan deze keer

we zijn goed voorbereid

Evil Twin · « **Reactie #18 Gepost op:** april 21, 2011, 11:23:02 »

Goed bezig Cliff!
Blij dat we weer online zijn.

Cliff · « **Reactie #19 Gepost op:** april 21, 2011, 11:30:24 »

we hebben 1 site die datafiles op de bad blocks heeft ... die hebben we nu even gestopt :-) daardoor blijft de rest draaien zoals het hoort. Er zal wel downtime zijn als we de db kopieren ...

Evil Twin · « **Reactie #20 Gepost op:** april 21, 2011, 11:40:33 »

Moet je anders even aangeven wanneer dat is.
Denk anders dat sommige vaste bezoekers beetje ongerust worden.

Cliff · « **Reactie #21 Gepost op:** april 21, 2011, 11:41:40 »

doen we zowieso :-) de downtime van afgelopen dagen was meer een incident

dit is een soort change zeg maar waar we zelf controller van zijn he :-)

joris · « **Reactie #22 Gepost op:** april 21, 2011, 11:54:21 »

Ik zit al onder deze zweren van het afkicken...

Ronald · « **Reactie #23 Gepost op:** april 21, 2011, 13:29:50 »

Goed geregeld weer man!

Ronald.

Cliff · « **Reactie #24 Gepost op:** april 21, 2011, 13:57:57 »

meer nieuws

de nieuwe server is volledig klaar en geinstalleerd. De eerste site is omgezet ter test.
- Intel i7 quad core
- 16 GB ram
- raid 1 2x750 GB
- Debian 6.01 Squeezy

er is nu ook voor de klanten een control panel waarmee ze zelf dingen kunnen aanmaken zoals subdomeinen mailboxen etc het ziet er allemaal goed uit tot nu toe ... de huidige server houdt het ook uit zo te zien

dus kunnen we rustig ... en georganiseerd omzetten.

Auteur Topic: downtime (gelezen 18147 keer)