Hedenochtend hadden wij een probleem met een APC. Hierdoor waren enkele hardware nodes (met daaronder liggende servers) tijdelijk niet bereikbaar.

De tech heeft ter plaatse de APC weer aan de praat gekregen, maar deze blijft foutmeldingen genereren. Derhalve is besloten om deze APC dan ook direct te vervangen voordat dit tot ergere gevolgen leidt.

Dat wil zeggen dat de tech ter plaatse één hardware node per keer correct afsluiten. Vervolgens worden de stekkers omgezet naar de nieuwe APC. Vervolgens wordt de hardware node (en onderliggende servers) weer opnieuw opgestart.

Helaas is er géén andere mogelijkheid dit te doen zonder downtime. De downtime zelf zal per hardware node enkele minuten zijn. Wanneer de hardware node weer opgestart is, dan worden de onderliggende servers ook automatisch opgestart.

De nieuwe APC is ondertussen (sinds vanochtend) al geplaatst en geconfigureerd. Dus het is nu alleen een kwestie van de hardware nodes één voor één uitschakelen, voedingskabels ompluggen en weer opstarten.

Excuses voor het ongemak in deze. Zodra de werkzaamheden afgegerond zijn, dan melden wij dit hier uiteraard.

Update (14:00): ook een 2e APC dient vervangen te worden. De tech vertrouwt deze eveneens niet helemaal en wil het zekere voor het onzekere nemen. Dus ook onderliggende servers op deze hardware nodes kunnen last hebben van een tijdelijke onderbreking.

Update (14:25): ook de 2e APC is vervangen en alle servers zijn nu overgezet van een problematische APC naar een nieuwe APC. De tech gaat nog een paar laatste tests uitvoeren voor de zekerheid.

Update (15:05): inmiddels zijn alle werkzaamheden afgerond en zijn beide defecte c.q. problematische APC's vervangen. Alles hardware nodes (en onderliggende servers) die op deze APC's stonden zijn omgezet naar nieuwe APC's. Alles draait weer zoals het hoort.


Kanttekening; ondanks dat wij regelmatig alle APC's periodiek nalopen, kunnen er toch defecten en/of problemen optreden (zoals vandaag te merken was). Onze technici gaan de komende tijd alle APC's dubbel nalopen en bij twijfel zullen deze vervangen worden door nieuwe exemplaren. Indien noodzakelijk is, dan plaatsen wij hierover een nieuwsbericht uiteraard.