2 jaar SURFdrive: een terug- en vooruitblik - SURF Blog
cloud, clouddiensten, SURFdrive
Op 1 april 2016 was SURFdrive twee jaar in bedrijf. SURFdrive is in deze periode gegroeid naar ongeveer 16.000 gebruikers. In SURFdrive zit ruim 140TB aan data opgeslagen in de vorm van 100 miljoen files. Dagelijks loggen meer dan 4.400 unieke gebruikers in op SURFdrive. Tijd voor een terug- en een vooruitblik.
In het najaar van 2013 vroegen de universiteiten (CvDUR) aan SURF een sync-and-share dienst voor het Nederlands hoger onderwijs en onderzoek te ontwikkelen zoals Dropbox en Google Drive. Universiteiten maakten zich zorgen over de opslag van documenten in de public cloud, omdat veilige data-opslag binnen het Nederlands onderwijs en onderzoek van groot belang is.
SURFsara en SURFnet hebben gehoor gegeven aan deze vraag en zij zijn gestart met het ontwikkelen van een veilige cloudopslagdienst samen met de universiteiten. Allereerst is hiervoor een softwareproduct uitgekozen. Er werd een omvangrijk eisenpakket samengesteld met o.a. eisen die voortkwamen uit het "Juridisch normenkader cloudservices hoger onderwijs". Een andere belangrijke eis was een gefedereerde toegang via SURFconext, zodat mensen met hun instellingsaccount en wachtwoord kunnen inloggen. Uiteindelijk is ownCloud als software voor SURFdrive geselecteerd.
Oprichting SURFdrive
De eerste drie maanden van 2014 stonden in het teken van het technisch ontwerp van de dienst en het parallel testen van SURFdrive. Binnen een testomgeving bij SURFnet hebben gebruikers van de diverse universiteiten de functionaliteit getest. Bij SURFsara werden vooral de robuustheid en performance van de technische setup bekeken. Bij de technische installatie, configuratie, tuning en het testen van de dienst bleef het niet. SURFnet en SURFsara hebben ook veel werk verzet bij het opzetten van de dienst met gebruikersdocumentatie, een website en gebruikersondersteuning voor de instellingen.
Op 1 april 2014 was het zover. De oprichting van SURFdrive was een feit.
Bij het technisch ontwerp zijn we ervan uitgegaan dat de infrastructuur redundant moest zijn. Dat betekent dat het uitvallen van een node niet leidt tot het uitvallen van SURFdrive. Verder is gekeken naar schaalbaarheid. Het ontwerp dat wij kozen moest het intrinsiek mogelijk maken om de omgeving volledig te laten opschalen.
Schematisch bevat de SURFdrive omgeving de volgende componenten:
Voor de webservers is gekozen voor Apache vanwege de gemakkelijke integratie met SURFconext. Hierop draait de ownCloud software.
De bekende open source load balancing software HAProxy die onder andere Twitter, Instagram, Github, Alibaba en Airbnb gebruiken, is ook geselecteerd voor SURFdrive. Load balancing is belangrijk om de belasting over beschikbare webservers te verdelen.
Voor de database servers is gekozen voor Galera MariaDB, een multimaster database setup. Deze database servers houden elkaar continu in sync. Op de databaser servers wordt ownCloud metadata opgeslagen.
Bij de storage servers hebben we gekozen voor GlusterFS, mede op advies van ownCloud op basis van hun referentie-architectuur. OwnCloud had op het moment van het opstarten van SURFdrive een gemount filesysteem nodig als primair storage-backend.
GlusterFS is geconfigureerd in "distributed replicated" mode, wat betekent dat alle files tweemaal op verschillende storage nodes worden opgeslagen. Bovendien wordt alle data op elke storage node tegen het uitvallen van disks beschermd door RAID6. Ook op netwerkgebied is alles volledig redundant uitgevoerd.
Na een aanvankelijk voorzichtige start sloten instellingen zich in rap tempo aan. Dit is te zien in onderstaand figuur. Vanaf september 2015 zijn bijna alle universiteiten aangesloten.
Groei van het aantal aangesloten instellingen
De twee onderstaande figuren laten de groei van de hoeveelheid opgeslagen data en de groei van het aantal gebruikers zien.
Links, de groei van de hoeveelheid opgeslagen data. Rechts, de groei van het aantal gebruikers
Deze groei wordt gereflecteerd in de infrastructuur. Zie de onderstaande figuren.
Infrastructuur SURFdrive – april 2014
Infrastructuur SURFdrive – april 2016
SURFdrive is niet alleen qua omvang gegroeid. Dit geldt ook voor de kwaliteit van de dienst. Op dit moment zijn het aantal openstaande tickets op één hand te tellen. En dit terwijl het aantal gebruikers in twee jaar verdrievoudigd is.
De problematiek rond data-opslag in de publieke cloud speelt niet alleen in Nederland maar ook internationaal. In veel landen zijn daarom initiatieven zoals SURFdrive ontstaan. Grote ownCloud installaties zijn bijvoorbeeld te vinden bij AARNET in Australië onder de naam CloudStore+, bij CERN (CERNbox), bij de universiteiten in Nordrhein Westfalen in Duitsland (Sciebo) en bij de Zwitserse NREN SWITCH (SWITCHbox).
We onderhouden nauwe banden met onze collega's in het buitenland, en wisselen ervaringen met elkaar uit. We ontmoeten elkaar bij workshops en we trekken ook gezamenlijk op in onze contacten met de software leverancier ownCloud.
Met SURFdrive willen we aansluiten op de samenwerking tussen organisaties. Hierbij zijn groepsstructuren van belang. Een belangrijke functionaliteit op onze roadmap is dan ook de groepsfunctionaliteit, waarmee een groepsaccount met een bepaald quotum gecreëerd kan worden. De opslagruimte onder dit account kan worden gedeeld met een bepaalde groep mensen.
Lees meer over SURFdrive op SURFdrive.nl
Volg ons op Twitter via @surfdrive_nl
Ron Trompert is groepsleider Online Data Services bij SURFsara. Hij is onder andere Technisch Productmanager van SURFdrive.