Os resultados do primeiro benchmark foram publicados em março de 2013, e os testes foram conduzidos usando 2 configurações de hardware: duas instâncias do Amazon EC2 m1.large e dois Intel Sandy Bridge Core i7-2600K com 8GB de RAM, ambas as configurações usando Gbit Ethernet. Os frameworks tinham que responder com um simples {"message" : "Hello, World!"}. A tabela a seguir apresenta um extrato dos resultados, mostrando os 10 frameworks web mais comuns dos 24 testados, junto com seus resultados medidos em requisições por segundo (RPS) e percentual do melhor resultado.
Durante o ano, o benchmark evoluiu para cobrir 119 frameworks, incluindo vários tipos de consultas e respostas e executando em uma configuração de hardware adicional: dois Dell R720xd Dual-Xeon E5 v2 com 32GB de RAM cada e 10 Gbit Ethernet.
A seguir são apresentados os extratos da 9ª rodada do benchmarking que foi publicada recentemente, desta vez foram realizados os testes em três configurações de hardware diferentes:
Enquanto o hardware de alta qualidade certamente tem um desempenho melhor do que o inferior em termos de RPS, há uma grande mudança na hierarquia para os melhores frameworks, como é o caso para o Xeon E5 vs o Intel I7. Isto pode ser relacionado ao fato de que há muito em mais de 90% para a Intel I7, a TechEmpower atribui isso a um gargalo gerado pela Ethernet 1Gbit usada na respectiva configuração:
Desde a primeira rodada, sabíamos que os frameworks de alto desempenho tinham sido limitados pela nossa rede gigabit… Com uma ampla largura de banda de rede, os frameworks de alto desempenho são ainda mais diferenciados.
O Google Go é o primeiro no Intel I7, mas tem a maior queda de desempenho no Xeon E5 apesar de usar todos os núcleos, enfatizando a importância do ajuste de desempenho para certos tipos de arquiteturas de hardware, como notado pela TechEmpower: