Arquitetura de switches Cisco Nexus 9500 Series - PDF
Arquitetura de switches Cisco Nexus 9500 Series
Download "Arquitetura de switches Cisco Nexus 9500 Series"
Laura Salazar Sanches
1 White Paper Arquitetura de switches Cisco Nexus 9500 Series White Paper Novembro de Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 1 de 18
2 Índice Introdução aos switches Nexus 9500 Series... 3 Plano de controle escalável nos switches Cisco Nexus 9500 Series... 5 Mecanismo de supervisão... 5 Controladores de sistema... 6 Plano de dados sem bloqueio distribuído nos switches Cisco Nexus 9500 Series... 7 Módulo de estrutura do Nexus 9500 Series... 8 Arquitetura da placa de linha dos switches Nexus 9500 Series... 9 Placa de linha de 36x 40GE QSFP (N9K-X9636PQ)... 9 Placa de linha de 48x 1/10G SFP+ (N9K-X9564PX) Placa de linha de 48x 1/10G BastT+ (N9K-X9564TX) Encaminhamento de pacotes unicast do Nexus 9500 Series Distribuição de processamento de entrada Consulta de LPM do módulo de estrutura Distribuição de processamento de saída Encaminhamento de pacotes multicast do Nexus 9500 Series Migração para a tecnologia QSFP Bi-Di da Cisco para 40 Gbps Conclusão Apêndice Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 2 de 18
3 Introdução aos switches Nexus 9500 Series A Cisco Nexus 9500 Series é uma linha de switches modulares que oferecem conectividade de 1, 10, 40 e, no futuro, 100 Gigabit Ethernet de alto desempenho, alta densidade e baixa latência líder do setor. Os switches Nexus 9500 Series podem operar no modo de ACI (Application Centric Infrastructure, infraestrutura centrada em aplicativo) e no modo NX-OS clássico. Ao operar no modo ACI, os switches Nexus 9500 Series compõem a base da arquitetura ACI transformacional para a solução de estrutura de rede totalmente integrada e automatizada orientada pelo perfil de rede de aplicativo. Quando executado no modo NX-OS clássico, os switches Nexus 9500 Series são os primeiros de seu tipo para camadas de agregação e acesso a data centers com alto desempenho e altamente escalável, com funcionalidades de automação e programabilidade avançadas. Este white paper se concentra na arquitetura de hardware comum dos switches Nexus 9500 Series e na implementação de encaminhamento de pacotes no modo NX-OS clássico. O switch Nexus 9508 de 8 slots (Figura 1) é a primeira plataforma disponível da linha, e será seguida pelas plataformas de 4 slots e 16 slots. O switch Cisco Nexus 9508 comporta até 1152 portas 10GE ou 288 portas 40GE. O switch Cisco Nexus 9516 dobrará as densidades de porta. Os switches Nexus 9500 Series também oferecem a alta densidade de portas para conectividade de 1G SFP/1GBase-T e 10G SFP+/10GBaseT. Com os vários formatos de chassi, diferentes tipos de placas de linha e velocidades de porta de painel frontal flexíveis, o Cisco Nexus 9500 Series oferece melhores soluções de rede para data centers de missão crítica de pequeno, médio ou grande porte. Figura 1. Switch Cisco Nexus 9508 Tabela 1. Características de encaminhamento e chassi do Cisco Nexus 9500 Métrica NEXUS 9504 NEXUS 9508 NEXUS 9516 Altura 7 RU 13 RU 20 RU Slots de supervisor Slots de módulo de estrutura Slots de placa de linha Máximo BW de estrutura por slot (Tbps) 3,84 Tbps 3,84 Tbps 3,84 Tbps Máximo BW de estrutura por sistema (Tbps) 15 Tbps 30 Tbps 60 Tbps Máximo 1/10/40/portas 192/576/ /1152/ /2304/576 Produtividade máx. de encaminhamento por placa de linha (Tbps) 2,88 Tbps 2,88 Tbps 2,88 Tbps Produtividade máx. de encaminhamento por sistema (Tbps) 11,52 Tbps 23,04 Tbps 46,08 Tbps Fluxo de ar Da frente para trás Da frente para trás Da frente para trás Fontes de alimentação 4 x PSUs de 3 KW CA 8 x PSUs de 3 KW CA 8 x PSUs de 3 KW CA Bandejas de ventilador Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 3 de 18
4 Os switches Cisco Nexus 9500 Series possuem uma arquitetura modular que consiste em chassi de switch, supervisores, controladores de sistema, módulos de estrutura, placas de linha, fontes de alimentação e bandejas de ventilador. Entre essas peças, os supervisores, os controladores de sistema, as placas de linha e as fontes de alimentação são componentes comuns que podem ser compartilhados entre toda a linha de produtos Nexus O chassi do Cisco Nexus 9500 Series possui um design inovador sem midplane (Figura 2). O midplane é geralmente usado em plataformas modulares como uma maneira de conectar placas de linha e módulos de estrutura. Por ser um item de hardware extra dentro do chassi do switch, ele obstrui o fluxo de ar de resfriamento. Por isso, é necessário adotar outros métodos para facilitar o fluxo de ar, por exemplo, orifícios no midplane ou redirecionamento do ar, o que resulta em uma eficiência de resfriamento reduzida. O Nexus 9500 Series é a primeira plataforma de switch do setor que elimina a necessidade de um midplane no chassi. Com um mecanismo de alinhamento preciso, as placas de linha e os módulos de estrutura do switch Nexus 9500 Series se conectam diretamente uns aos outros com pinos conectores. As placas de linha e os módulos de estrutura possuem orientações ortogonais no chassi, para que cada módulo de estrutura esteja conectado a todas as placas de linha e vice-versa. Sem um midplane para bloquear o fluxo de ar, o design do chassi proporciona a máxima eficiência de resfriamento. Isso também permite que o design do chassi seja compacto, sem precisar de grandes ventiladores. Figura 2. Design de chassi sem midplane do Nexus 9500 O design de chassi sem midplane deixa a implantação da plataforma de switch e a atualização de hardware muito mais simples. Em alguns casos em que novos componentes, como novas placas de linha ou novos módulos de estrutura, são introduzidos, é necessário atualizar o midplane. Isso aumenta a complexidade e a interrupção do serviço durante o processo de atualização do hardware. O Cisco Nexus 9500 Series diminui a necessidade de instalação ou atualização do midplane. Outra vantagem da remoção do midplane é o tempo médio para reparo bastante avançado. Com um midplane, se você entortar um pino no plano, é necessário interromper todo o funcionamento do switch e desmontá-lo para substituir o plano. Com o 9500, os componentes danificados podem ser substituídos sem interromper o funcionamento dos outros componentes do chassi. Além do resfriamento mais eficiente, o Cisco Nexus 9500 Series também é líder em economia de energia. Suas fontes de alimentação possuem a certificação 80PLUS Platinum padrão do setor para maior eficiência. As placas de linha e módulos de estrutura do Nexus 9500 Series são projetados com um número mínimo de ASICs, o que reduz o número de bolsões de calor em um módulo. O resultado dessas inovações é o menor consumo de energia por porta inigualável: Consumo de energia/porta Porta 10 Gbps: Porta 40 Gbps: Watts por porta 3,85 W/porta 15,4 W/porta 2013 Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 4 de 18
5 Plano de controle escalável nos switches Cisco Nexus 9500 Series O mecanismo de supervisão do Cisco Nexus 9500 proporciona um plano de controle escalável para os switches Cisco Nexus 9500 Series. O controlador de sistema transfere as funções de gerenciamento e conectividade de componentes internos do mecanismo de supervisão. A dissociação das tarefas de gerenciamento interno do mecanismo de supervisão aumenta a confiabilidade do plano de controle do switch. Isso oferece melhor modularidade e resiliência de todo o sistema do switch. Mecanismo de supervisão O Cisco Nexus 9500 Series comporta mecanismos de supervisão redundantes de meia extensão, responsáveis pelas funções do plano de controle. O software do switch, Enhanced NX-OS, funciona nos módulos do supervisor. Os módulos do supervisor redundantes assumem funções ativas e de espera, comportando a stateful switchover em caso de falha do hardware do módulo do supervisor, e In-Service Software Upgrade (ISSU), o que permite a atualização/manutenção do software sem afetar os serviços de produção. O complexo de CPU do supervisor do Nexus 9500 é baseado na plataforma Intel Romley com processadores Sandy Bridge Exon de 4 núcleos. O tamanho padrão da memória do sistema é de 16 GB, podendo ser atualizado em campo para 48 GB. Há um SSD integrado de 64 GB para oferecer o armazenamento não volátil integrado adicional. A CPU de alta velocidade com vários núcleos e a ampla memória é a base para um plano de controle rápido e confiável para o sistema do switch. Os protocolos do plano de controle poderão utilizar a ampla potência da computação e obter uma iniciação rápida e convergência instantânea quando houver mudanças no estado da rede. Além disso, a ampla DRAM expansível e a CPU de vários núcleos oferecem potência de computação e recursos suficientes para comportar contêineres Linux baseados em grupo c, nos quais é possível instalar e executar aplicativos de terceiros em um ambiente contido. O SSD integrado oferece armazenamento adicional para logs, arquivos de imagem e aplicativos de terceiros. Figura 3. Mecanismo de supervisão do Cisco Nexus 9500 Módulo do supervisor Processador Memória do sistema Portas seriais RS-232 Portas de gerenciamento 10/100/1000 Interface USB 2.0 Armazenamento SSD Romley, 1,8 GHz, 4 núcleos 16 GB, atualizável para 48 GB Uma (RJ-45) Uma (RJ-45) Duas 64 GB 2013 Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 5 de 18
6 O mecanismo de supervisão possui uma porta de console serial (RJ-45) e uma porta de gerenciamento Ethernet 10/100/1000 (RJ-45) para gerenciamento fora de banda. Duas interfaces USB 2.0 são compatíveis usando um armazenamento em flash USB externo para imagens, syslog, transferência de arquivos de configuração e outros usos. Uma porta de entrada de clock PPS (Pulse-Per-Second, pulso por segundo) no módulo do supervisor comporta a sincronização de tempo precisa. As comunicações entre o supervisor e os módulos de estrutura ou placas de linha utilizam o EOBC (Ethernet Outof-Band Channel, canal fora de banda Ethernet) ou EPC (Ethernet Protocol Channel, canal de protocolo Ethernet). Ambos os canais possuem um hub central nos controladores de sistema, oferecendo caminhos redundantes para eles. Controladores de sistema Os controladores de sistema do Cisco Nexus 9500 Series são usados para transferir as funções de gerenciamento e switching interno fora do caminho de dados dos mecanismos de supervisão. Também oferece o caminho de acesso para fontes de alimentação e bandejas de ventilador. Os controladores de sistema são os switches centrais de comunicação dentro do sistema. Eles possuem dois caminhos de comunicação de controle e gerenciamento principais, EOBC e EPC, entre os mecanismos de supervisão, as placas de linha e os módulos de estrutura. Toda a comunicação de gerenciamento entre módulos dentro do sistema é realizada através do canal EOBC. O canal EOBC é oferecido por meio de um chipset de switch nos controladores de sistema, que interconecta todos os módulos, incluindo mecanismos de supervisão, módulos de estrutura e placas de linha. O canal EPC cuida da comunicação de protocolo de plano de dados dentro do sistema. Esse caminho de comunicação é oferecido por outro chipset de switch Ethernet redundante nos controladores de sistema. Ao contrário do canal EOBC, o switch EPC conecta apenas os módulos de estrutura aos mecanismos de supervisão. Se for necessário enviar pacotes de protocolo para os supervisores, as placas de linha utilizam o caminho de dados interno para transferir pacotes para os módulos de estrutura. Em seguida, os módulos de estrutura redirecionam o pacote para os mecanismos de supervisão por meio do canal EPC. O controlador de sistema também se comunica com e gerencia as unidades de fonte de alimentação e controladores de ventilador por meio do SMB (System Management Bus, barramento de gerenciamento do sistema) redundante. O Cisco Nexus 9500 Series comporta controladores de sistema redundantes. Quando há dois controladores de sistema presentes em um chassi, um processo de intermediação seleciona o controlador de sistema ativo. O outro assume a função secundária ou de espera para oferecer redundância. Figura 4. Controlador de sistema do Cisco Nexus 9500 Series 2013 Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 6 de 18
7 Plano de dados sem bloqueio distribuído nos switches Cisco Nexus 9500 Series Embora o plano de controle do switch seja executado de forma central nos mecanismos de supervisão, as funções de consulta e encaminhamento de pacotes no plano de dados são realizadas de forma altamente distribuída, envolvendo placas de linha e módulos de estrutura. As placas de linha e os módulos de estrutura do Cisco Nexus 9500 Series estão equipados com diversos NFEs (Network Forwarding Engines, mecanismos de encaminhamento de rede) que realizam as funções de consulta, processamento e encaminhamento de pacotes. Os switches Nexus 9500 Series são projetados tendo em mente uma arquitetura sem bloqueios e o desempenho de taxa de linha total em todas as portas, independente do tamanho do pacote. Como muitos aplicativos modernos de data center usam pacotes menores, é essencial comportar o desempenho de taxa de linha mesmo para os menores pacotes de 64 bytes. Para atingir esse nível de recursos de encaminhamento, as placas de linha e os módulos de estrutura do Nexus 9500 Series são projetados com o número necessário de NFEs. São usadas até 24 portas 40GE em cada NFE para assegurar o desempenho de taxa de linha. Entre as 24 portas 40GE, 12 portas 40GE, com clock de 42GE para acomodar os bits adicionais no cabeçalho de estrutura interna, são usadas para a conectividade interna para os módulos de estrutura. As demais 12 portas são usadas como interfaces de painel frontal para comportar as portas de dados de usuário de 1, 10, 40 e, no futuro, 100GE. Figura 5. Plano de dados distribuído dos switches Nexus 9500 Series Os mecanismos de encaminhamento de rede usam uma combinação de espaço de tabela TCAM (ternary content addressable memory) especializado e memória de tabela hash compartilhada, conhecida como UFT (Unified Forwarding Table), para armazenar informações de encaminhamento de camadas 2 e 3. É possível particionar, de maneira flexível, a UFT em três tabelas de encaminhamento: a tabela de endereços MAC, a tabela de host IP e a tabela de LPM (Longest Prefix Match, correspondência de prefixo mais longa). Essa abordagem de compartilhamento de memória programável oferece flexibilidade para atender a diferentes cenários de implantação e aumenta a eficiência de utilização de recursos de memória. Para maximizar a escalabilidade do encaminhamento em todo o sistema, os switches Nexus 9500 Series são projetados para usar as tabelas UFT em placas de linha e módulos de estrutura para diferentes funções de consulta de encaminhamento. A UFT nas placas de linha armazena a tabela MAC de L2 (Layer 2, Camada 2) e tabela de hosts de L3 (Layer 3, Camada 3). Portanto, essas placas de linha são responsáveis pela consulta de switching de L2 e consulta de roteamento de host de L3. A UFT nos módulos de estrutura contém a tabela de LPM de L3 e realiza a consulta de roteamento de LPM de L3. As placas de linha e módulos de estrutura possuem tabelas multicast e participam da consulta multicast e da replicação de pacotes distribuídas. O multicast divide os mesmos recursos de tabela com as entradas de host de L3 nas placas de linha. A Figura 6 mostra a escalabilidade de encaminhamento em todo o sistema dos switches Nexus 9500 Series Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 7 de 18
8 Figura 6. Escalabilidade de encaminhamento em todo o sistema do Nexus 9500 Módulo de estrutura do Nexus 9500 Series Um switch Nexus 9500 Series pode ter até seis módulos de estrutura, que funcionam todos no modo ativo. Cada módulo de estrutura consiste em vários NFEs, 2 para um switch Nexus 9508 e 4 para um switch Nexus 9516 (Figura 7). Para um switch Nexus 9508, até 12 NFEs podem estar disponíveis nos modelos de estrutura. Isso oferece a largura de banda de caminho de dados e a capacidade de encaminhamento de pacotes necessárias para obter uma arquitetura realmente sem bloqueios. Por isso o Nexus 9508 pode comportar o desempenho de taxa de linha real, independente do tamanho do pacote, em todas as placas de linha. Figura 7. Módulo de estrutura do Nexus 9500 Series O módulo de estrutura dos switches Nexus 9500 Series realizam as seguintes funções importantes na arquitetura do chassi modular: Oferecer a conectividade de encaminhamento de dados de alta velocidade e sem bloqueio para as placas de linha. Todos os links em mecanismos de encaminhamento de rede são caminhos de dados ativos. Cada módulo de estrutura pode oferecer até 8 links de 40 Gbps para cada slot de placa de linha. Um chassi Nexus 9500 implantado com 6 módulos de estrutura pode, potencialmente, oferecer 48 caminhos de estrutura de 40 Gbps para cada slot de placa de linha. Isso equivale à largura de banda full duplex de 3,84 Tbps por slot. Realizar a consulta de roteamento de LPM para o tráfego de IPv4 e IPv6. As informações de encaminhamento de LPM são armazenadas em módulos de estrutura em um switch Nexus 9500 Series. Ele comporta até 128 mil prefixos de IPv4 ou 32 mil prefixos de IPv6. Realizar a replicação de pacotes e consulta de multicasts distribuídos para enviar cópias dos pacotes multicast para os NFEs de saída receptores Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 8 de 18
9 Arquitetura da placa de linha dos switches Nexus 9500 Series Uma placa de linha dos switches Nexus 9500 Series pode ser dividida em dois tipos: placas de linha de agregação e placas de linha de folha prontas para ACI. As placas de linha de agregação oferecem conectividade de 10GE/40GE de alta densidade em um switch Nexus 9500 que opera no modo NX-OS clássico. As placas de linha de folha prontas para ACI podem operar no modo NX-OS clássico e no modo ACI. Todas as placas de linha Nexus 9500 consistem em vários NFEs para consulta e encaminhamento de pacotes. Além disso, as placas de linha de folha prontas para ACI possuem um conjunto de ALEs (Application Leaf Engines, mecanismos de folha de aplicativo). Como o nome indica, o ALE realiza funções de nó de folha de ACI quando o switch Nexus 9500 é implantado como um nó de folha em uma infraestrutura de ACI. Quando o switch Nexus 9500 está operando no modo NX-OS clássico, o ALE na placa de linha de folha pronta para ACI oferece principalmente o armazenamento em buffer adicional e facilita algumas funções de rede, como o roteamento em uma sobreposição VxLAN. Os NFEs em uma placa de linha realizam consultas de switching de L2 e consultas de roteamento de host de L3. As placas de linha são equipadas com diversos NFEs para comportar o desempenho de full line-rate forwarding para todos os tamanhos de pacote IP em todas as portas do painel frontal. Além do desempenho do plano de dados de taxa de linha, as placas de linha do switch Nexus 9500 Series também possuem uma CPU com dois núcleos integrado. Essa CPU é usada para transferir ou acelerar algumas tarefas de plano de controle, como programação de recursos da tabela de hardware, coleta e envio de contadores e estatísticas da placa de linha e transferência do tratamento de protocolo BFD (Bidirectional Forwarding Detection) dos supervisores. Isso melhora expressivamente o desempenho do plano de controle do sistema. Placa de linha de 36x 40GE QSFP (N9K-X9636PQ) A N9K-X9636PQ (Figura 8) é uma placa de linha de agregação que oferece 36 portas 40GE QSFP no painel frontal. Ela possui três mecanismos de encaminhamento de rede para encaminhamento de pacotes, cada um comportando 12 portas 40GE no painel frontal e 12 portas internas para os módulos de estrutura (com clock de taxa de 42 Gbps para acomodar a sobrecarga de estrutura interna). Todas as 36 portas 40GE do painel frontal no N9K-X9636PQ comportam o modo break-out 4x 10GE, para operar como 4 portas 10GE individuais. Isso permite que a placa de linha ofereça até 144 portas 10GE SFP+. Essa placa de linha apresenta um design sem PHY. Isso reduz a latência de transporte de dados na porta em 100 ns, diminui o consumo de energia da porta e melhora a confiabilidade, pois há menos componentes ativos. Os comprimentos de rastreio de cada NFE para as 12 ópticas QSFP que ele comporta tem menos de 7 pol de comprimento, o que minimiza a necessidade de retemporizadores. Isso simplifica ainda mais o design da placa de linha e reduz o número de componentes ativos Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 9 de 18
10 Figura 8. Placa de linha de 36x 40GE QSFP do Nexus 9500 Series Placa de linha de 48x 1/10G SFP+ (N9K-X9564PX) A N9K-X9564PX (Figura 9) é uma placa de linha de folha pronta para ACI. Ela oferece 48 portas 1GE SPF/10GE SPF+ e 4 portas 40GE QSFP. Cada uma de suas 4 portas 40GE comporta o modo break-out 4x10GE para funcionar como 4 portas 10GE individuais. Por isso, a placa de linha pode oferecer um máximo de 64 portas 10GE. A flexibilidade de velocidade das portas permite o design de agregação e acesso à rede econômico e simples. Os principais componentes nesta placa de linha são dois NFEs, dois ALEs e uma CPU de placa de linha. Os dois NFEs oferecem as portas do painel frontal. Um NFE possui 48 portas 1/10G, e o outro possui 4 portas 40G. Os dois ALEs oferecem um espaço de buffer estendido, tratamento de pacotes adicional e a opção de usar a placa de linha no modo ACI. Para oferecer a flexibilidade de tipos de porta e velocidade, as portas do painel frontal desta placa de linha podem operar em diferentes velocidades. A incompatibilidade de velocidade de portas é um dos principais motivos para o congestionamento da porta e o armazenamento em buffer de pacotes. Portanto, esta placa de linha pode precisar de mais espaço de buffer do que os NFEs podem oferecer. Os dois ALEs oferecem até 40 MB adicionais de armazenamento em buffer cada. Como o ALE localiza-se entre os NFEs e os módulos de estrutura, ele pode armazenar em buffer o tráfego entre eles. O tráfego comutado localmente de uma porta 10G para uma porta 1G no mesmo NFE, também pode ser redirecionado para o ALE em sua interface ascendente para utilizar o espaço de buffer estendido. Como a N9K-X9636PQ, essa placa de linha também se beneficia de um design sem PHY para um menor consumo de energia, menor latência, assim como maior confiabilidade Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 10 de 18
11 Figura 9. Placa de linha de 48x 1/10GE SPF+ e 4x 40GE QSFP do Nexus 9500 Series Placa de linha de 48x 1/10G BastT+ (N9K-X9564TX) A N9K-X9564TX (Figura 10) é uma placa de linha de folha pronta para ACI. Ela oferece 48 portas 1G/10GBaseT e 4 portas 40G QSFP. Ela possui uma arquitetura semelhante à da N9K-X9564PX, exceto que todas as 48 portas 1G/10GBaseT são implementadas com PHYs de 10GT para converter para a mídia física de 1G/10GBaseT. Figura 10. Placa de linha de 48x 1/10GE SPF+ e 4x 40GE QSFP do Nexus 9500 Series Encaminhamento de pacotes unicast do Nexus 9500 Series Como mencionado acima, as placas de linha e módulos de estrutura dos switches Nexus 9500 Series possuem NFEs que realizam funções de consulta e encaminhamento de pacotes. Cada NFE possui recursos de tabela de encaminhamento, que incluem tabelas TCAM e uma tabela de hash programável chamada de UFT. Eles podem ser alocados de forma flexível para entradas MAC de L2, entradas de host IP ou entradas de LPM. Essa flexibilidade, junto com a arquitetura de encaminhamento de dados totalmente distribuída, permite que os switches Cisco Nexus 9500 Series otimizem a utilização de recursos de tabela em placas de linha e módulos de estrutura, para maximizar a escalabilidade de encaminhamento das Camadas 2 e 3 do sistema. Ela também disponibiliza o recurso para implantar os switches Nexus 9500 em uma ampla variedade de escalas de data center com diversos tipos de aplicativos Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 11 de 18
12 Placa de linha Módulo de estrutura Tabela de MAC de L2 160 mil - Tabela de host de L3 88 mil - Tabela de LPM mil A arquitetura de encaminhamento do plano de dados dos switches Cisco Nexus 9500 Series inclui a distribuição de entrada no NFE de entrada, o encaminhamento do módulo de estrutura e a distribuição de saída no NFE de saída. As distribuições de entrada e saída podem ser executadas na mesma placa de linha, ou ainda no mesmo NFE, caso as portas de entrada e saída estejam no mesmo NFE. Um NFE consiste em uma distribuição de processamento de entrada, um gerenciador de buffer para enfileiramento e programação e uma distribuição de processamento de saída. A distribuição de processamento de entrada realiza a análise do cabeçalho do pacote, a terminação de túnel, a detecção de VRF (Virtual Route Forwarding), consulta de L2/L3 com base nas informações do cabeçalho de pacote analisado e processamento de ACL (Access Control List, lista de controle de acesso) de entrada. O gerenciador de buffer é responsável por todas as funções de enfileiramento e programação. A distribuição de saída cuida de todas as modificações de pacotes e ACLs de saída. Todas as consultas, como tabelas de L2/L3/ACL, são realizadas na distribuição de entrada. As distribuições de entrada e de saída possuem vários estágios para permitir o processamento dos pacotes em paralelo. Figura 11. Encaminhamento de pacotes unicast do Nexus 9500 Series 1. Distribuição de processamento de entrada Análise do cabeçalho do pacote Quando um pacote chega através de uma porta do painel frontal, ele passa pela distribuição de entrada no mecanismo de encaminhamento de rede da placa de linha. O primeiro passo é a análise do cabeçalho do pacote. O analisador de pacotes flexível analisa os primeiros 128 bytes do pacote para extrair e salvar as informações como o cabeçalho de L2, EtherType, cabeçalho de L3, protocolos TCP IP. O analisador é usado para a consulta de pacote e lógica de processamento subsequente Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 12 de 18
13 Consulta de MAC de L2 e de host de L3 À medida que o pacote avança pela distribuição de entrada, é submetido a consultas de switching de L2 e roteamento de L3. Primeiro, o NFE examina o endereço de DMAC (Destination MAC, MAC de destino) do pacote para determinar se ele deve ser submetido ao switching em L2 ou roteamento em L3. Se o DMAC corresponder ao endereço MAC do próprio roteador do switch, o pacote passará pela lógica de consulta de roteamento de L3. Se o DMAC não pertencer ao switch, será realizada uma consulta de switching de L2 com base no DMAC e na ID de VLAN. Se for encontrado um correspondente na tabela de endereços MAC, o pacote será enviado para a porta de saída. Se não houver correspondentes para a combinação de DMAC e VLAN, o pacote será encaminhado a todas as portas na mesma VLAN. Como parte da lógica de switching de L2, o NFE também realiza consultas de endereço de SMAC (Source MAC, MAC de origem) para o aprendizado baseado em hardware. O SMAC, junto com a ID de VLAN, é usado para pesquisar a tabela de endereços MAC. Se não houver correspondentes, esse novo endereço será aprendido e associado à porta de entrada do pacote. Se houver um correspondente, não haverá ação de aprendizado. O NFE também comporta o envelhecimento de hardware assistido. Entradas que não são usadas por um longo período de tempo (um período de tempo de envelhecimento configurável) são excluídas automaticamente. Dentro da lógica de consulta de L3 no NFE da placa de linha, o endereço DIP (Destination IP, IP de destino) é usado para a procura na tabela de host de L3. Essa tabela armazena entradas de encaminhamento para hosts conectados diretamente ou rotas aprendidas/32 hosts. Se o DIP tiver uma entrada correspondente na tabela de host, a entrada indicará a porta de destino, o endereço MAC do próximo hop e a VLAN de saída. Se não houver correspondente para o DIP na tabela de host, o pacote será encaminhado ao módulo de estrutura, onde a consulta de LPM é realizada na tabela de roteamento de LPM. Ao realizar o switching de Camada 2 e o roteamento de host de Camada 3, se a porta de saída for local em relação ao NFE, os pacotes serão encaminhados localmente pelo NFE sem ir aos módulos de estrutura. No caso da placa de linha de folha pronta para ACI, se a porta de entrada tiver uma velocidade maior que a de saída, os pacotes serão redirecionados para o ALE para armazenamento em buffer adicional para compensar a divergência de velocidade das portas. Processamento de ACL de entrada Além de consultas de encaminhamento, o pacote passa pelo processamento de ACL de entrada. Verifica-se se há correspondências de ACL de entrada na TCAM de ACL. Cada NFE possui uma tabela de TCAM de ACL de 4 mil entradas para comportar as ACLs internas do sistema e ACLs de entrada definidas pelo usuário. Essas ACLs incluem ACLs de porta, ACLs roteadas e ACLs de VLAN. As entradas de ACL são localizadas em relação ao NFE e apenas são programadas quando necessário. Isso permite a utilização máxima da TCAM de ACL em um switch Nexus Classificação de tráfego de entrada Os switches Nexus 9500 Series comportam a classificação de tráfego de entrada. Em uma interface de entrada, o tráfego pode ser classificado com base nos campos de endereço, 802.1q CoS e precedência de IP ou DSCP no cabeçalho do pacote. O tráfego classificado pode ser atribuído a um dos quatro grupos de qos. Os grupos de qos funcionam como uma identificação interna das classes de tráfego usadas para os processos de QoS subsequentes, conforme os pacotes passam pelo sistema Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 13 de 18
14 Admissão de entrada, enfileiramento e policiamento O gerenciador de buffer executa funções de contabilidade e admissão do tráfego na distribuição de processamento de entrada. Cada NFE possui um buffer de 12 MB que consiste em 60 mil células de 208 bytes. Esse recurso de buffer é compartilhado de forma dinâmica entre os tráfegos de entrada e de saída. O mecanismo de controle de admissão de entrada decide se um pacote deve ser admitido na memória. Essa decisão é baseada na quantidade de memória de buffer disponível e na quantidade de buffer já utilizada pela porta de entrada e classe de tráfego. Os switches Nexus 9500 Series comportam o policiamento da entrada com base em classes. As políticas de policiamento podem ser definidas usando um mecanismo de uma classificação e duas cores, ou um de duas classificações e três cores. 2. Consulta de LPM do módulo de estrutura Quando um pacote é encaminhado ao módulo de estrutura, o módulo realiza diferentes ações com base nos resultados de consulta na placa de linha de entrada. Nos casos em que o pacote passou por switching em L2 ou roteamento de host em L3, a placa de linha de entrada resolveu a porta de saída, o endereço MAC do próximo hop e as informações da VLAN de saída. O módulo de estrutura simplesmente encaminha o pacote para a placa de linha de saída. Caso o pacote precise de uma consulta de LPM, o módulo de estrutura pesquisa a tabela de LPM e usa a entrada com melhor correspondência como endereço de destino IP (DIP) para encaminhar o pacote. Se não houver um correspondente para o DIP, o pacote é perdido. A UFT no mecanismo de encaminhamento de rede do módulo de estrutura possui uma escala de LPM de 128 mil entradas. 3. Distribuição de processamento de saída A distribuição de processamento de saída é relativamente simples, pois a maioria das consultas e decisões já foi feita na distribuição de entrada. No entanto, uma função importante realizada na distribuição de saída é a QoS de saída, incluindo WRED (Weighted Random Early Detection, detecção antecipada aleatória ponderada)/ecn (Explicit Congestion Notification, notificação de congestionamento explícito), modelagem e enfileiramento de saída. Enfileiramento e programação de saída Seguindo os princípios de simplicidade e eficiência do design, os switches Nexus 9500 Series usam uma arquitetura de enfileiramento de saída simples. Em caso de congestionamento da porta de saída, os pacotes são enfileirados diretamente no buffer na placa de linha de saída. Não há VOQs (Virtual Output Queues, filas de saída de dados virtuais) nas placas de linha de entrada. Isso simplifica bastante o gerenciamento do buffer do sistema e a implementação do enfileiramento. Um switch Nexus 9500 pode comportar até seis classes de tráfego na saída (quatro classes definidas pelo usuário, identificadas por IDs de grupos de qos, uma classe de tráfego de controle da CPU e uma classe de tráfego SPAN (Switched Port Analyzer, analisador de porta comutada). Cada classe definida pelo usuário pode ter uma fila unicast e uma fila multicast por porta de saída. O buffer de 12 MB em um NFE é compartilhado entre as portas locais. O software do switch possui um mecanismo para medir e limitar a utilização do buffer por porta de saída. Isso garante que nenhuma porta possa, sozinha, consumir mais do que sua parte da memória do buffer, o que levaria a escassez de espaço no buffer para outras portas Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 14 de 18
15 As placas de linha de folha prontas para ACI possuem um buffer adicional de 40 MB em cada um dos ALEs de ACI. 10 MB do buffer são alocados para o tráfego vinculado à estrutura. Os demais 30 MB são alocados para o tráfego de saída dos módulos de estrutura e tráfego comutado localmente que vai de uma porta de entrada de maior velocidade para uma porta de saída de menor velocidade. Esse buffer de 30 MB é usado para as filas de saída de dados estendidas para o tráfego unicast. O NFE comunica o status da fila unicast ao ALE através de um canal de sinalização de OOBFC (Out-Of-Band Flow Control, controle de fluxo fora da banda). Quando uma fila de saída excede o limite configurado, o NFE envia um sinal de OOBFC para instruir o ALE a parar de encaminhar tráfego para essa fila e começar a enfileirar pacotes em seu próprio buffer. Ao receber esse sinal, o ALE começa a formar a fila de saída de dados estendida para essa classe de tráfego em uma determinada porta de saída. Quando o tamanho da fila de saída é reduzido ao limite de reinício configurado, o NFE envia outro sinal de OOBFC para instruir o ALE a continuar transmitindo tráfego para essa fila específica. Figura 12. EoQ (Extended Output Queue, fila de saída de dados estendida) do Nexus 9500 A arquitetura de enfileiramento de saída com filas de saída de dados estendidas, apesar de simples, é uma abordagem altamente eficiente para lidar com congestionamentos de porta com clareza. Ela garante que nenhuma porta sofra escassez de espaço no buffer devido à outra porta. Encaminhamento de pacotes multicast do Nexus 9500 Series Pacotes multicast passam pelas mesmas distribuições de processamento de entrada e saída que os pacotes unicast. No entanto, uma diferença no processo de consulta e encaminhamento é que os switches Nexus 9500 realizam a consulta e replicação multicast distribuídas em três estágios. A tabela de roteamento multicast é armazenada em todas as placas de linha e módulos de estrutura. O NFE de entrada realiza a 1 a consulta para resolver os receptores locais. Se houver algum receptor local, o NFE cria uma cópia por porta receptora local. Além disso, o NFE de entrada envia uma cópia do pacote recebido para o módulo de estrutura. Ao receber o pacote, o módulo de estrutura realiza a 2 a consulta para descobrir as placas de linha de saída. O módulo de estrutura replica o pacote para cada NFE de saída. O NFE de saída realiza a 3 a consulta para resolver seus receptores locais e replica o pacote nessas portas. Essa consulta e replicação multicast em vários estágios é a maneira mais eficiente de replicar e encaminhar o tráfego multicast Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 15 de 18
16 Figura 13. Encaminhamento de pacotes multicast do Nexus 9500 Series Outra diferença entre o encaminhamento de tráfego multicast e unicast é que não há filas de saída de dados estendidas para o tráfego multicast. O mecanismo de encaminhamento de rede comporta quatro filas multicast por porta de saída. Na presença de mecanismos de folha de ACI, ele enfileira o tráfego multicast de forma independente para as filas multicast do mecanismo de encaminhamento de rede. Não há sinal de contrapressão para controlar as filas multicast através do canal OOBFC. Migração para a tecnologia QSFP Bi-Di da Cisco para 40 Gbps Com sua alta densidade de portas e desempenho para conectividade de 1/10/40 GE, os switches Nexus 9500 Series atendem à infraestrutura de data centers da próxima geração. Ao oferecer 1/10 GE no acesso/folha e links de 40GE na agregação/coluna, eles oferecem largura de banda mais escalável para aplicativos de data center. No entanto, migrar uma rede de data center atual de 10GE para 40GE envolve mais do que a atualização da plataforma de rede. A migração da infraestrutura de cabeamento é um dos maiores desafios dessa tarefa. A infraestrutura de cabeamento 10GE atual usa 2 fios de fibra MMF (Multimode Fiber, fibra multimodo) para uma conexão 10GE. No entanto, os transdutores ópticos de 40GE de curto alcance atuais, seja SR4 ou CSR4, possuem seções independentes de transmissor e receptor, cada um com 4 fios de fibra em paralelo. Como resultado, são necessários 8 fios de fibra para uma conexão 40GE bidirecional. Devido a essas diferenças, para mover a infraestrutura de hoje de 10GE para 40GE usando os transdutores ópticos de 40GE atuais, é necessária uma atualização ou reconstrução da infraestrutura de cabeamento de grande porte. O custo descomunal e a possível interrupção do serviço fazem com que seja muito difícil migrar um data center de produção atual para uma infraestrutura de 40GE. A tecnologia do transceptor QSFP Bi-Direcional da Cisco soluciona esse problema ao oferecer o recurso de transmissão de 40G full duplex em dois fios de fibra MMF com conectores de LC. Em outras palavras, o transceptor QSFP BiDi permite que a conectividade de 40GE reutilize as fibras e o tronco de fibras de 10GE atuais, sem precisar de expansão ou reconstrução. Ela também remove as barreiras de custo do cabeamento de 40 Gbps para migrar a conectividade de 10 Gbps para 40 Gbps em redes de data center Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 16 de 18
17 Figura 14. Tecnologia do transceptor Cisco BiDi Conclusão Os switches Nexus 9500 Series são líderes no setor de switches de data center, oferecendo a maior densidade de portas para conectividade de 1/10/40 e, no futuro, 100GE, além do desempenho de encaminhamento de baixa latência e taxa de linha real sem precedentes. Os switches Nexus 9500 Series comportam a densidade de portas de 10GE e 40GE líder do setor. Com seus formatos de chassi e velocidades de porta flexíveis, os switches Nexus 9500 Series atendem às implantações de data center virtualizado, de multilocação e em nuvem em escalas pequena, média ou grande. O design do chassi sem midplane permite máxima eficiência de resfriamento. A combinação de silício comercial e personalizado permite que as placas de linha possuam o menor número de ASICs e ofereçam um desempenho recorde. Com inovações como o fluxo de ar da frente para trás e as fontes de alimentação de alta eficiência com certificação 80PLUS Platinum, os switches Nexus 9500 Series definem um novo recorde de economia de energia, confiabilidade e desempenho para switches de data centers. Ao desassociar o gerenciamento dentro do sistema do plano de controle do switch, os switches Nexus 9500 Series obtêm um plano de controle com estabilidade inigualável. Equipado com um mecanismo de supervisão criado com a mais recente CPU com vários núcleos, junto com as CPUs de placas de linha para transferir tarefas dos mecanismos de supervisão, os switches Nexus 9500 Series oferecem a base para um switch de data center confiável. Operando no modo NX-OS clássico, os switches Nexus 9500 Series são executados em uma imagem única para todos os switches na linha, o que simplifica muito a administração da rede. Ao executar o Kernel Linux de 64 bits mais recente com o processo de modulação real, a alta resiliência de software juntamente com diversas melhorias na automação e na programabilidade, o NX-OS avançado para switches Nexus 9500 Series é a melhor solução para data centers que buscam modernizar e automatizar os modelos operacionais e o gerenciamento de rede. Com os recursos únicos mencionados acima, os switches Cisco Nexus 9500 Series são ideais para permitir que as empresas criem data centers confiáveis, escaláveis, resilientes e automatizados Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 17 de 18
18 Apêndice Apêndice A Terminologias ACI Application Centric Infrastructure, Infraestrutura Centrada em Aplicativo NFE Network Forwarding Engine, Mecanismo de Encaminhamento de Rede ALE ACI Leaf Engine, Mecanismo de Folha de ACI EoQ Extended Output Queue, Fila de Saída de Dados Estendida OOBFC Out-of-Band Flow Control, Controle de Fluxo fora da banda Impresso nos EUA C / Cisco e/ou suas afiliadas. Todos os direitos reservados. Este documento contém informações públicas da Cisco. Página 18 de 18