Starlet Forum

Moderator Forum => Moderator => Topic gestart door: Cliff op april 19, 2011, 21:36:00

Titel: downtime
Bericht door: Cliff op april 19, 2011, 21:36:00
zoals jullie gemerkt hebben is er de laatste dagen af en toe downtime geweest. We hebben de server gechecked en hebben 2 fans vervangen. 1 draaide niet de andere maakte veel lawaai dus liever geen risico. We hebben tevens de core software geupdate, hardware tests gedaan, nieuwe kernel, update voor mysql, security fixes en ... uitgebreid getest. Alles lijkt weer in orde te zijn!

Op hoop van zegen dus ;) veel sletplezier terug op het forum.
Titel: Re: downtime
Bericht door: Michel_M op april 19, 2011, 21:54:39
Mooi.  ;)
Titel: Re: downtime
Bericht door: Rage op april 19, 2011, 22:18:48
Ah :) vandaar dat het forum af en toe niet te bereiken was. Thx voor de update!
Titel: Re: downtime
Bericht door: Evil Twin op april 19, 2011, 22:25:09
Goed bezig Cliff!
Titel: Re: downtime
Bericht door: Ronald op april 19, 2011, 23:11:00
Thanks Cliff!

Is dat vanavond gedaan, want ook vanavond was het nog eventjes niet bereikbaar.
Succes verder!

Ronald.
Titel: Re: downtime
Bericht door: Cliff op april 20, 2011, 08:01:04
inderdaad gisteren avond... momenteel kan er ook nog even downtime zijn ... we gaan mogelijk het os op een ssd zetten ipv disk en een raidcheck doen.
Titel: Re: downtime
Bericht door: kasper02 op april 20, 2011, 12:34:21
Ik heb geen idee waar jullie het exact over hebben maar thnx voor alle info en moeite/tijd!
Titel: Re: downtime
Bericht door: Ronald op april 20, 2011, 12:35:43
Op zich niks spannends, forum was de laatste week een paar keer niet of slecht bereikbaar voor korte en soms iets langere periode.

Ronald.
Titel: Re: downtime
Bericht door: Evil Twin op april 20, 2011, 16:26:21
Was ook net weer niet bereikbaar.
Titel: Re: downtime
Bericht door: SkaBla op april 20, 2011, 17:09:03
Idd 2 minuten geleden ook niet
Titel: Re: downtime
Bericht door: Cliff op april 20, 2011, 17:14:44
ik ben op de server verder onderzoek aan het doen. We hebben 1 databank waar iets mee mis was en het was ... die van starlet-forum :) in de tabel wordlist zat er een probleem ... dus ik heb er een backup van gemaakt, repair uitgevoerd en gecheckt op juistheid ... ik ga nu nog een extra check doen.

De webserver en alles is terug tip top het is enkel op databank niveau dat we nog wat probleempjes hebben ... paar dingen zijn me ondertussen opgevallen ... we hebben een databank draaien die permanent 3 GB ram en 4 GB virtueel gebruikt ... dat is wel erg veel en ga die klant eens contacteren om te checken en als dat normaal is ... dedicated machine te laten nemen. Ik hou jullie op de hoogte hier!
Titel: Re: downtime
Bericht door: Evil Twin op april 20, 2011, 17:17:35
Ik weet niet hoeveel data een forum opslokt maar heb wel het idee dat de sch forum de laatste tijd best gegroeid is.
Titel: Re: downtime
Bericht door: Ronald op april 20, 2011, 17:28:39
Dat klopt wel, kijk maar eens in de statistieken het wordt elke maand drukker en drukken maar hier gaat het alleen maar om tekst en een paar plaatjes. Kan me niet voorstellen dat dat nou zo veel dat verbruikt.

Ronald.
Titel: Re: downtime
Bericht door: Ronald op april 20, 2011, 17:30:56
Pageviews:
 april 2011  245424  (tot zover, als we zo doorgaan over de 350000
 maart 2011  327301
 februari 2011  262732
 januari 2011  244916

Ronald.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 07:44:00
En hier zijn we terug na flink wat downtime, veel gezoek en een hoop werkt achter de rug afgelopen nacht :)

alles op de server werkte gisteren stabiel enkel mysql bleef moeilijk doen. Nu hebben we desondanks een volledige hardware scan laten uitvoeren (duurt 6 uur) dat is ondertussen achter de rug en alles in orde. Op zich is dat goed en slecht nieuws :) het goede nieuws is dat de server in orde is ... het slechte nieuws dat we dus verder moesten zoeken.

Omstreeks 6 uur deze morgen heb ik dan alles terug aan de praat gekregen en ik ben momenteel bezig met het checken van de databanken en een repair actie met een force aan het uitvoeren. Op hoop van zegen laten we het zo maar zeggen.

Wat als dat niet werkt? wel ik geef mezelf vandaag nog de tijd om alles verder uit te zoeken moesten er problemen blijven bestaan. Als ik vandaag geen oplossing heb wordt er een nieuwe server in de rack gezet en vers geinstalleerd. We zullen dan zo snel mogelijk alle sites omzetten naar een nieuwe server. De huidige kan dan geherinstalleerd worden voor andere projecten.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 08:42:06
en we zijn er weer ... momenteel is de volledige mysql fix, repair en optimize uitgevoerd... alles ziet er nu goed uit ... en draait. Fingers crossed. Ik heb de mysql deamon draaien in verbose mode en zie momenteel geen fouten meer voorbij flitsen.

Waarom lukte de repair voordien niet ... wel eigenlijk heel erg dom ... de webserver draaide en bezoekers kwamen dus op de site en ook de databank terecht. Als ze net de fout opvroegen knikkerde de db er uit :) nu de webserver gestopt, volledige repair en optimize gedaan, backup genomen (dan ben je zeker dat alles gelezen wordt :) ) en dan alles mooi opgestart. Ik hou het uiteraard verder in het oog.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 09:54:36
eindelijk een beetje licht aan het einde van de tunnel ... nog even en we zouden terug een stabiele db moeten hebben.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 11:12:08
nieuwe server is besteld ... we hebben nog wat werk voor de boeg.

We vermoeden disk corruptie ... we gaan proberen alles nu zo goed mogelijk draaiende te houden tot de nieuwe server aangekomen is ... we verwachten dat dat vrij snel gaat. Dan is het nog een kwestie van hem te installeren en de sites over te zetten. We doen eerst uiteraard de betalende klanten maar we verwachten dat het omzetten vrij vlot gaat gaan deze keer :) we zijn goed voorbereid
Titel: Re: downtime
Bericht door: Evil Twin op april 21, 2011, 11:23:02
Goed bezig Cliff!
Blij dat we weer online zijn.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 11:30:24
we hebben 1 site die datafiles op de bad blocks heeft ... die hebben we nu even gestopt :-) daardoor blijft de rest draaien zoals het hoort. Er zal wel downtime zijn als we de db kopieren ...
Titel: Re: downtime
Bericht door: Evil Twin op april 21, 2011, 11:40:33
Moet je anders even aangeven wanneer dat is.
Denk anders dat sommige vaste bezoekers beetje ongerust worden. :P
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 11:41:40
doen we zowieso :-) de downtime van afgelopen dagen was meer een incident :) dit is een soort change zeg maar waar we zelf controller van zijn he :-)
Titel: Re: downtime
Bericht door: joris op april 21, 2011, 11:54:21
Ik zit al onder deze zweren van het afkicken...  :P
Titel: Re: downtime
Bericht door: Ronald op april 21, 2011, 13:29:50
Goed geregeld weer man!

Ronald.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 13:57:57
meer nieuws :)

de nieuwe server is volledig klaar en geinstalleerd. De eerste site is omgezet ter test.
- Intel i7 quad core
- 16 GB ram
- raid 1 2x750 GB
- Debian 6.01 Squeezy

er is nu ook voor de klanten een control panel waarmee ze zelf dingen kunnen aanmaken zoals subdomeinen mailboxen etc het ziet er allemaal goed uit tot nu toe ... de huidige server houdt het ook uit zo te zien :) dus kunnen we rustig ... en georganiseerd omzetten.
Titel: Re: downtime
Bericht door: Cliff op april 21, 2011, 14:14:18
eerste move getest en alles werkt dus de planning zal vanavond opgesteld worden om de rest te moven ;)
Titel: Re: downtime
Bericht door: Evil Twin op april 21, 2011, 14:32:44
Heeft de server ook veel last dat het forum aan het groeien is?
Of is het probleem hardware/software matig?
Titel: Re: downtime
Bericht door: toooyotha op april 21, 2011, 20:43:43
Goed zo hier ook debian user on qcore  :shades:
Titel: Re: downtime
Bericht door: Cliff op april 22, 2011, 07:01:08
nee hoor de server heeft zeker geen last van jullie groei :) om jullie een idee te geven ... we hebben ook p2pnet.net draaien op dezelfde server en die hebben ongeveer 800.000 unieke users per dag :) 8 GB traffiek ... dus we kunnen wel wat verdragen. Voor de liefhebbers van techniek even wat er aan de hand is met de huidige server.

We hebben 2 disks die in een mirror raid config staan ... voor gewone mensen ... alle data wordt op 2 schijven identiek weg geschreven, als er dan een disk uitvalt hebben we de andere over en kunnen we gewoon de defecte vervangen. De data wordt automatisch op de nieuwe schijf bijgewerkt.

Op zich is dat een heel goed systeem ... veilig, betrouwbaar ... maar nu hebben we bad blocks (defecte stukjes) op beide disks ... en dat is ambetant. Ik heb nu een cleaning gedaan en een check badblocks waardoor alles terug draait maar dat is patchwork, ik zou nu kunnen disk1 vervangen ... mirror terug laten goed komen en dan disk 2 vervangen ... dat zou moeten werken. Waarom doen we dat niet?
- server is einde lease
- server is 3 jaar oud ... dat is niet zo veel hoor ik jullie denken maar voor servertjes die 24/24 7/7 draaien en constant tussen de 40% en 60% load hebben is dat toch wel een behoorlijke leeftijd
- nieuwe lease kost ons niks en je krijgt een toestel dat een stuk sneller is
- overgaan naar laatste nieuwe os
- control panel zodat klanten (dus ook jullie :) ) zelf jullie hosting kunnen beheren
- grotere disks
- ssd boot raid :)
- nog eens enkele uren downtime
- veel gesleutel en gepruts
- kans op fouten door 2 maal full mirror

dat is het zowat denk ik :) reden genoeg dus om gewoon een nieuw server te gebruiken
Titel: Re: downtime
Bericht door: kasper02 op april 22, 2011, 09:02:49
Kijk, een heldere uitleg voor een leek als ik  ;D! Dank!!!
Titel: Re: downtime
Bericht door: mister_fix_it op april 22, 2011, 09:08:43
coowl!!  :thumbs:
Titel: Re: downtime
Bericht door: Evil Twin op april 22, 2011, 10:48:52
Zeker een heldere uitleg!
Titel: Re: downtime
Bericht door: Gourmetski op april 22, 2011, 10:54:24
de nieuwe server is volledig klaar en geinstalleerd. De eerste site is omgezet ter test.
- Intel i7 quad core
- 16 GB ram
- raid 1 2x750 GB
- Debian 6.01 Squeezy

klinkt als mijn pc behalve dat ik winblows draai ipv debian :)
Titel: Re: downtime
Bericht door: Cliff op april 22, 2011, 12:44:50
iewzzzz windows :-)

enfin ieder zijn handicap he :-) :-)

de nieuwe server heeft ondertussen 25 websites draaiende. Daardoor is de huidige server ineens ook een stukje minder belast. We kijken even hoe alles loopt en dan doen we weer verder.
Titel: Re: downtime
Bericht door: toooyotha op april 22, 2011, 21:03:04
LOL @ win opmerking  :D Op een gegeven moment kies je gewoon voor beter spul.  Auto's, besturings systemen...  :shades:
Titel: Re: downtime
Bericht door: Cliff op april 26, 2011, 09:19:37
Starlet forum is heel even (20 minuutjes) down geweest. Dit omdat ik net een alert kreeg dat er datacorruptie was opgetreden in de databank van starlet forum. Gelukkig was het in de oude db (DB1) en niet in de nieuwe maar om alle risico's te vermijden heb ik het forum in maintenance gezet. De databank ge-exporteerd en op de nieuwe server aangemaakt. Momenteel draait starlet forum dus databank gewijs op de nieuwe server. Ik ga nu ook de data kopieren en dan mag de dns aangepast worden naar de nieuwe server. De downtime zal dan voor goed opgelost zijn zonder dataverlies en zonder dat jullie nog ergens last van hebben!

Goed begin van de paasweek zullen we maar zeggen zeker :-)

Voila ... update :-) de dns mag omgezet worden naar 46.4.97.115 dan zitten jullie op de stabiele snelle server.

normaal hadden we dit aangekondigd maar door de datacorruptie maar even de knoop doorgehakt. Liever dat dan een corrupte db en dataverlies.
Titel: Re: downtime
Bericht door: Ronald op april 26, 2011, 09:48:38
Aan Rogier dan de eer om de DNS ff aan te passen :P

Ronald.
Titel: Re: downtime
Bericht door: Evil Twin op april 26, 2011, 21:39:21
Hebben jullie soms ook last van dat het forum niet helemaal laad?
Krijg dan alleen het topic van: wie is wie, te zien.
Titel: Re: downtime
Bericht door: Ronald op april 26, 2011, 22:15:35
Nope.

Ronald.
Titel: Re: downtime
Bericht door: Sebastiaan op april 26, 2011, 22:19:31
Nee, alles werkt hier naar behoren!
Titel: Re: downtime
Bericht door: RicoW op april 27, 2011, 06:03:03
dat heb ik alleen soms op men telefoon.... maar dat zal vast wel daaraan liggen :P
Titel: Re: downtime
Bericht door: Evil Twin op april 27, 2011, 07:50:24
Ik heb het niet altijd, maar soms gebeurt het gewoon.
Ach ja, gewoon doorgaan :P
Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 07:33:50
kunnen jullie aub jullie DNS instellingen aanpassen !!! Staat nog steeds naar de oude server !!!  zou de stabiliteit en de snelheid nog een stuk verbeteren jullie gebruiken wel al de nieuwe databank :) dus er is verder geen probleem.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 10:16:08
ROGIERRRRRRRRRRRRRR R!!!!!!!!!!!!!!!!!!!!!! :twisted:

Ronald.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 10:28:50
DNS wordt as we speak aangepast.

Ronald.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 10:31:44
Done.

Ronald.
Titel: Re: downtime
Bericht door: Rodger Jason op april 29, 2011, 10:31:57
done...

had alleen Lotus forum gedaan, van SCH niets gekregen. hehe.
Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 11:20:25
hier is het al in orde :-) pagina reageerd nu echt super snel ...
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 11:39:57
hier is het al in orde :-) pagina reageerd nu echt super snel ...

Hier is de indeling naar de klote haha.. Krijg de volgende melding boven in beeld.

"De directory van het standaard thema is niet correct. Corrigeer het door op deze tekst te klikken."

Misschien dat deze map aangepast moet worden?

/var/www/web45/web/Themes/default

Ronald.

EDIT: Even wat topics doorgebladerd, het gaat wel retesnel nu! Wow!!
Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 11:57:03
ik heb de setting aangepast in de settings.php zou nu dus opgelost moeten zijn ... weet niet of jullie de cache moeten herinitialiseren of zo ken de forum software niet goed. De snelheidswinst is echt x5 :)
Titel: Re: downtime
Bericht door: Evil Genius op april 29, 2011, 12:05:57
Krijg nog steeds de melding dat de standaard directory niet correct is. De layout in FF is echter wel goed in een topic echter de hoofdpagina niet. Tevens is alle cache bij mij verwijderd. Wat is de locatie van de website op de server zitten we nog steeds op deze locatie /var/www/web45/ of is dit veranderd...
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 12:07:36
Het gekke is dat dit met een test account niet is, dus misschien alleen voor admins?

(http://img140.imageshack.us/img140/7233/knipsels.jpg) (http://img140.imageshack.us/i/knipsels.jpg/)

Heb de bestandscache trouwens geleegd, heeft niet geholpen.

Ronald.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 12:11:44
Heb je ook even Admin gemaakt Cliff, misschien dat jij het nu ook ziet.

Ronald.
Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 12:25:39
Het is opgelost

/var/www/clients/client11/web32/web

is het nieuwe pad ik heb het overal aangepast en nu werkt het wel.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 12:27:35
Lijkt te werken idd, alleen is me avatar nog niet zichtbaar voor mijzelf in ieder geval.
Weet niet of dit een kwestie is van opnieuw uploaden? Zal het wel ff proberen.

Ronald.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 12:28:44
Nu dus weer wel. Thanks Cliff! Wat vind je lekker trouwens?  O:)

Ronald.
Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 12:30:37
Nu dus weer wel. Thanks Cliff! Wat vind je lekker trouwens?  O:)

Ronald.

paris hilton ... dat toont ineens aan dat ik geen smaak heb :-) maar oh oh barbie mogen jullie fijn zelf houden :)
Titel: Re: downtime
Bericht door: mister_fix_it op april 29, 2011, 15:57:14
ik krijg die melding nu nog steeds :?
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 16:00:54
Vaag, maar misschien komt dat doordat bij jou provider de DNS nog niet is verwerkt? Om maar wat te roepen?

Ronald.
Titel: Re: downtime
Bericht door: mister_fix_it op april 29, 2011, 16:17:48
eeeeehhhhh ?
Titel: Re: downtime
Bericht door: Evil Genius op april 29, 2011, 16:19:52
Dat maakt niet uit, dit heeft niets met DNS te maken. Het heeft te maken met de locatie op de server waar de betreffende folder staat. Dit was /var/www/web45/... en is nu /var/www/clients/client11/web32/... Dat maakt nogal wat verschil, na deze aanpassing is het opgelost. 

Titel: Re: downtime
Bericht door: mister_fix_it op april 29, 2011, 16:21:20
nah, bij mij nog steeds niet
Titel: Re: downtime
Bericht door: Evil Genius op april 29, 2011, 16:58:16
Heb Stan ondertussen ff Administrator af gemaakt, nu is de foutmelding ff weg. Straks maar ff weer toevoegen.
Titel: Re: downtime
Bericht door: Ronald op april 29, 2011, 17:06:36
Of niet? :twisted:

Ronald.
Titel: Re: downtime
Bericht door: Evil Twin op april 29, 2011, 17:15:38
Het laden van een pagina gaat inderdaad snel.
Zat er even op te letten en normaal duurde het inderdaad langer.

Titel: Re: downtime
Bericht door: Cliff op april 29, 2011, 20:48:37
snelheid zou ongeveer x 5 moeten zijn dit komt niet alleen door de snellere server maar vooral doordat deze server in een ander datacenter staat ... met een hogere datacenter bandbreedte maar ook korter bij nederland :) en ja zo simpel is dat soms ... voor de die hards die een lookup op het ip hebben gedaan :) inderdaad ons datacenter staat in Nurburg niet ver van de ring ;) daar hebben we overigens niet bewust voor gekozen was gewoon beste aanbod en nog menselijk om naartoe te rijden als het echt fout loopt :)
Titel: Re: downtime
Bericht door: NaviNL2005 op april 29, 2011, 20:50:17
Forum loopt lekker door hoor, goed werk.
Titel: Re: downtime
Bericht door: Gourmetski op april 30, 2011, 22:28:45
Top ja, opent alles een stuk sneller :)
Titel: Re: downtime
Bericht door: Cliff op mei 02, 2011, 11:22:56
we hebben dit weekend op 8 willekeurige tijdstippen snelheidsmetingen gedaan alsook gekeken hoe de server het doet bij hogere load zowel veel requests als veel traffiek als de twee. Alles vlot verlopen en server is bij deze dus officieel in productie voor de komende 2 a 3 jaar :)
Titel: Re: downtime
Bericht door: Evil Twin op mei 02, 2011, 11:33:13
Bedankt Cliff voor de gedane moeite!
Titel: Re: downtime
Bericht door: Cliff op mei 02, 2011, 11:58:54
en het kan niet op ... net van collega te horen gekregen dat een upgrade voor de data verbinding ook in orde is tegen het einde van de maand gaan we van 60 gigabit naar 220 gigabit voor het datacenter :)
Titel: Re: downtime
Bericht door: Ronald op mei 03, 2011, 00:52:29
Ik ben alweer verpest...
Was net ff op het corollaforum, wat een traag schijtforum is dat dan vergeleken met hier hahaha...
Thanks Cliff! Als je weet wat je lekker vind dan horen we het wel..

Ronald.
Titel: Re: downtime
Bericht door: Wesley op mei 03, 2011, 21:22:36
corolla forum is gewoon traag!