Datum: 10-03-2015 Auteur: Edwin Korver
De verhuizing vorige week hadden we zo ingericht dat we alles dubbel hadden draaien: zowel op de oude als de nieuwe locatie stond netwerkapparatuur om de servers met een minimale downtime te kunnen overzetten.
Dat ging tot dinsdagavond geheel volgens plan, maar om 19.00 uur ging het alsnog mis. IS, onze netwerkleverancier, stelde na ruim een uur zoeken voor om de netwerkconfiguratie van onze IP-adressen die avond om te zetten naar het nieuwe datacenter, omdat mogelijk de netwerklus tussen Telecity en DCG de oorzaak van de netwerkstoring was.
Dat omprogrammeren van de routers duurde tot 01.00 uur 's nachts. Maar helaas leverde dat geen soelaas: de netwerkstoring bleef. De oorzaak moest de switch zijn, volgens IS, en dus hebben we die vervangen. Daarna liep het verkeer wel weer door.
Alleen bleek de switch achteraf helemaal niet de oorzaak: zoveel begrijpen we nu. Het probleem zat in een kabeltje wat gelust zat in de oude switch en één op één was overgezet op de nieuwe switch. Alleen bevatte die nieuwe swtich twee VLAN's en wilde het stomme toeval dat het bewuste kabeltje - wat eerder de loop veroorzaakte - precies zo in de nieuwe switch kwam te zitten dat het onbedoeld dienst deed als een crossover tussen twee VLAN segmenten.
Toen we vanmiddag de nieuwe switch aan het opschonen waren van onnodige VLAN's - om daarmee de netwerksetup zo clean mogelijk te maken - kwam de loop weer in werking en sloeg wederom de uplink dicht. Binnen een paar minuten hadden we nu wel de juiste oorzaak te pakken en werd het gewraakte kabeltje in het geheel verwijderd uit de switch.
Daarna was het bellen met IS om de poort weer open te laten zetten, maar daar liepen we op de gevolgen van de hectische netwerkomzetting van dinsdagnacht. De instellingen waren niet goed gedocumenteerd, waardoor de helpdesk de juiste poort niet kon localiseren. Hierdoor liep een relatief onschuldige storing nodeloos uit naar ruim een uur.
Enige positieve van de laatste omzetting is dat het aantal hops tussen het internet en de servers nu geminimaliseerd hebben, waardoor het netwerk razendsnel is geworden.