Alessandra Leveck Bugalho
1 Laboratório de Instrumentação e Física Experimental de Partículas Computação Grid Jorge Gomes Jornadas RCTS
2 Computação grid Um paradigma de computação distribuída Interconexão de recursos: Heterogéneos (sensores, instrumentos, meios de cálculo, diferentes configurações e S.O., etc) Distribuídos geograficamente Pertencentes/geridos por múltiplas entidades Criação de uma fonte universal de recursos: Disponível em todo o lado Consistente Fiável Para: Partilha de recursos Optimização da sua utilização Permitir a criação de novas aplicações Jornadas RCTS
3 Motivação É cada vez mais difícil satisfazer os requisitos computacionais da investigação cientifica moderna A investigação é cada vez mais efectuada no contexto de colaborações onde a partilha da informação e recursos é indispensável A optimização dos recursos computacionais disponíveis é fundamental Alguns domínios de utilização: o Física/Astronomia: processamento de dados de diferentes tipos de instrumentos o Medicina: imagiologia, diagnostico e tratamento o Bioinformática: estudo do genoma e proteoma compreender as doenças genéticas o Nanotecnologia: concepção de novos materiais à escala molecular o Engenharia: desenho, concepção, simulação, analise de falhas, instrumentação remota e controlo o Ambiente e recursos naturais: meteorologia, observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra Jornadas RCTS
4 Computação grid e Ciência Os investigadores querem realizar as suas actividades independentemente da sua localização. Para isso precisam de interagir com os seus colegas e trabalhar sobre dados e informação distribuidos por todo o mundo GRID: centros de processamento de dados distribuidos e software para integrar os recursos middleware Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação e recursos computacionais. Jornadas RCTS
5 Integração de Recursos Utilizadores GRID Integração e Partilha HPC HTC Dados Outros Jornadas RCTS
6 Worldwide LHC Computing Grid Volume de dados 4 experiências 15 PetaBytes por ano (1.7 milhões de dual-layer DVDs) Complexidade Dados complexos Milhares de utilizadores Mais de CPUs modernos Escala global Recursos distribuídos Centenas de laboratórios Analise e simulação distribuída Tecnologia GRID O paradigma da computação grid foi adoptado para a integração dos recursos computacionais do LHC. A comunidade da física de altas energias tem sido uma grande impulsionadora da computação grid. Jornadas RCTS
7 Exemplos de Aplicações Jornadas RCTS
8 ~ 290 centros ~ 55 países ~ 150,000 CPUs ~ PetaBytes ~ 17,000 utilizadores ~ 200 VOs ~ 330K trabalhos/dia Arqueologia Astronomia Astrofísica Dinâmica de fluidos Protecção civil Química computacional Ciências da terra Ciências da computação Física de matéria condensada Finança Fusão Geofísica Física de altas energias Ciências da vida Multimédia Ciência dos materiais Enabling Grids for E-sciencE Maior grid multidisciplinar global Jornadas RCTS
9 EGEE na Península Ibérica EGEE está organizado em federações Federação do Sudoeste Europeu Portugal 8 centros Espanha 14 centros As operações regionais são distribuídas LIP coordena a parte Portuguesa O LIP também contribui para as tarefas regionais e globais do EGEE LIP workshop
10 Firewall Firewall Firewall Cluster Grid Típico no EGEE LRMS CE SE serviços grid centrais UI PC PC PC Conjunto de sistemas arquitectura x86_64 ou outra Sistema operativo Linux Sistema de batch (LRMS) tipo Torque, SGE, LSF etc LRMS CE SE PC PC LRMS CE SE Jornadas RCTS PC PC
11 European Grid Initiative (EGI) A Iniciativa Grid Europeia substitui o EGEE a partir de Maio de 2010 Assegurar a sustentabilidade da computação grid na Europa: A grid Europeia é necessária e a sua operação não pode depender de projectos Afastamento do modelo de participação baseado em instituições e projectos curtos Novo modelo organizacional com duas camadas: Iniciativas Nacionais Grid financiadas e coordenadas pelos governos Iniciativa Grid Europeia financiada sobretudo pelos governos com apoio da UE EGI estabelecido como entidade legal com sede em Amesterdão A transição vai decorrer ao longo dos próximos meses LIP workshop
12 EGI-DS EGI Planeamento da Iniciativa Europeia Portugal participou no policy board (UMIC) Portugal é membro através da UMIC Contribuição nacional para o 1º ano foi paga EGI InSPIRE European Grid Initiative (EGI) Integrated Sustainable Pan-European Infrastructure for Researchers in Europe Projecto submetido à UE em Novembro de 2009 Projecto central para a coordenação e operação da infra-estrutura EGI tarefas internacionais Concurso internacional entre os NGIs para tarefas internacionais Portugal e Espanha na coordenação do middleware deployment LIP workshop
13 Iniciativa Nacional Grid (INGRID) Iniciativa do Ministério da Ciência Lançada em Abril de 2006 Coordenação técnica a cargo da UMIC em colaboração com o LIP Objectivos principais Suporte ao desenvolvimento da computação grid para a resolução de problemas complexos Desenvolvimento de competências no domínio da computação grid Integrar Portugal em infra-estruturas grid internacionais Linha de financiamento de projectos 13 projectos piloto Infra-estruturas Criar uma infra-estrutura nacional grid integrada no EGI Jornadas RCTS
14 INGRID projectos G-Cast: Application of GRIDcomputing in a coastal morphodynamics nowcast-forecast system GridClass - Learning Classifiers Systems for Grid Data Mining PoliGrid - distributed policies for resource management in Grids Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Georeferenced Web Services for Real- Time Management GRID for ATLAS/LHC data simulation and analysis GERES-med: Grid-Enabled REpositorieS for medical applications BING Brain Imaging Network Grid GRITO A Grid for preservation PM#GRID - GRID Platform Development for European Scale Satellite Based Air Pollution Mapping AspectGrid: Pluggable Grid Aspects for Scientific Applications P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations Jornadas RCTS
15 Iniciativa Nacional Grid Criação de uma infra-estrutura grid nacional autónoma Requisito para participação no EGI Recursos Centrais Nó central etc Recursos Existentes (EGEE, int.eu.grid, EELA, projectos INGRID...) Outros recursos Utilizadores Infra-estruturas e projectos INGRID EGI IBERGRID WLCG... Utilizadores: Projectos INGRID Organizações virtuais (nacionais e internacionais) Outros utilizadores com elevados requisitos Jornadas RCTS
16 Nó central de computação grid Construído por um consorcio para alojar os sistemas da iniciativa nacional grid: FCCN, LIP, LNEC Localizado: Campus do LNEC em Lisboa Perto do NOC da FCCN Objectivos principais: Alojar os serviços centrais grid da iniciativa Alojar recursos para partilha Alojar outros recursos grid Execução entre : Engenharia civil Alimentação, arrefecimento, segurança, etc 1ª fase de computação grid LIP workshop
17 Sala de informática: Área 370m 2 Potência eléctrica: Até 2000 kva Alimentação protegida: 5x UPS 200kVA Gerador diesel Arrefecimento com água gelada: Chillers com free-cooling (2x 375kW) Close-control units (6x150kW+47kW) Alarme e extinção de incêndios Very Early Warning Smoke Detection Extinção por INERGEN Nó Central Grid (NCG) Jornadas RCTS
18 Nó Central Grid (NCG) - recursos Meios: Tape libraries LTO-4 (FCCN) Repositórios de dados Armazenamento hierárquico Backups Serviços grid centrais (LIP) Blades Grid cluster (LIP) Processamento Blades Armazenamento grid enabled (LIP) Server attached Parallel filesystem Rede local p/ recursos centrais grid (LIP) 10gigabit Ethernet Non-blocking, wire-speed, low latency Recursos de outras organizações (FCCN) Cluster do LNEC Jornadas RCTS
19 Serviços de apoio Laminas Nó Central Grid (NCG) - Topologia Laminas de cálculo SGE cluster HPC HTC HTC HTC HTC... CORE CORE Core 10gigabit Ethernet switch net... Armazenamento = Lustre + StoRM 1ª fase: ~1250 CPU cores ~ 620 TB raw Jornadas RCTS
20 IBERGRID IBERGRID tem origem: Acordos de cooperação cientifica e tecnológica entre Portugal e Espanha em Novembro de 2003 Memorandos de Entendimento sobre computação grid e redes de I&D em Novembro de 2005 Planos para uma infra-estrutura comum: Existem infra-estruturas grid comuns no âmbito de diversos projectos EGEE, EELA, int.eu.grid, etc Em 2007 estudo para uma infra-estrutura comum Em foi estabelecido um piloto Contexto de transição EGEE EGI Federação das iniciativas grid de Portugal e Espanha com vista a participação conjunta no EGI Jornadas RCTS
21 IBERGRID e EGI Iniciativa Grid Portuguesa Iniciativa Grid Espanhola IBERGRID = computação grid, supercomputação, aplicações, redes, computação voluntária, etc Jornadas RCTS
22 IBERGRID piloto ES user PT user TOPBDII ES NGI ifca.es Xbroker ES NGI / IBERGRID ifca.es TOPBDII INGRID / IBERGRID ncg.ingrid.pt WMS INGRID / IBERGRID ncg.ingrid.pt VOMS INGRID / IBERGRID ncg.ingrid.pt LFC INGRID / IBERGRID ncg.ingrid.pt ifca.es cesga.es ncg.ingrid.pt lip.pt MyProxy INGRID / IBERGRID ncg.ingrid.pt UI INGRID / IBERGRID ncg.ingrid.pt Jornadas RCTS
23 Portugal VOs Ibéricas comuns gestão e coordenação Portal de operações Catálogos e serviços centrais para as VOs IBERGRID Autoridade de certificadora (LIPCA) Espanha Helpdesk (Request Tracker) Monitorização e accounting Base de dados da infra-estrutura (GOCDB/HGSM) Autoridade de certificadora (PKIrisGrid) Segurança do middleware Comuns Plano Ibérico de Transição Serviços centrais grid e redundância Serviço de informação regional Grupos de suporte de ambos os países Coordenação e operações Infra-estrutura de treino Segurança da infra-estrutura Recursos e apoio para novos utilizadores Jornadas RCTS
24 Utilizadores: Utilizadores são estruturados em organizações virtuais Utilizadores e instituições são convidados a partilhar os seus recursos na infra-estrutura Utilizadores/organizações virtuais podem candidatar-se a acesso a recursos do nó central Ajuda para estabelecimento de relações de parceria na partilha de recursos entre instituições e utilizadores Organizações virtuais nacionais/regionais: iber.vo.ibergrid.eu ops.vo.ibergrid.eu tut.vo.ibergrid.eu pfound.vo.ibergrid.eu bing.vo.ibergrid.eu lip.vo.ingrid.pt Como Aderir Jornadas RCTS
25 Pedidos de Acesso Para adesão às VOs INGRID/IBERGRID existentes iber.vo.ibergrid.eu, hpc.vo.ibergrid.eu, tut.vo.ibergrid.eu Pretende-se que a VO ibergrid seja suportada amplamente nos sites Portugueses e Espanhóis A VO ibergrid suportará grupos Para criação de novas VOs A VO é criada nos serviços de VOMS centrais Quem pede a criação de uma nova VO assume a responsabilidade de gerir o acesso à VO As VOs devem ser o mais genéricas possível Seed resources para ajuda a novas VOs Atribuição automática a novas VOs criadas no âmbito da iniciativa Recursos para VOs já existentes Por ex: VO internacionais criadas no âmbito do EGEE ou EGI Jornadas RCTS
26 VO suportadas no nó central EGEE / EGI IBERGRID / INGRID ATLAS CMS BIOMED EDGES AUGER SWETEST MoU do WLCG Portugal CERN EGEE / EGI iber.vo.ibergrid.eu ops.vo.ibergrid.eu tut.vo.ibergrid.eu pfound.vo.ibergrid.eu bing.vo.ibergrid.eu hpc.vo.ibergrid.eu IBERGRID INGRID Jornadas RCTS
27 Credenciais para Autenticação Autoridade de certificação do LIP Emite certificados X.509 para computação grid Reconhecidos pelo International Grid Trust Federation (IGTF) Validos nas infra-estruturas grid internacionais (EGI, DEISA, etc.) Existem diversas autoridades de registo estabelecidas CFP (IST), CSI (UALG), FCT/UNL, IEETA (U.Aveiro), LIP, Lusíada, UAL, U.Minho, U.Porto Todas as instituições são convidadas a criar autoridades de registo: Para criação de novas RAs consultar Jornadas RCTS
28 Tutoriais no dia 28 de Maio Jornadas RCTS
Serviços de Computação Distribuída
Serviços de Computação Distribuída Jornadas FCCN 2013 8 de Fevereiro de 2013 e-science e-science e-science (or escience) is computationally intensive science that is carried out in highly
As infra-estruturas computacionais do LIP-Coimbra
Suma rio Informa tica de servic os Computac a o Avanc ada As infra-estruturas computacionais do -Coimbra Miguel Afonso Oliveira Laborato rio de Instrumentac a o e Fı sica Experimental de Partı culas Jornadas