Em vez de números, poderíamos usar conjuntos de quaisquer elementos (polinômios, conchas da praia, absolutamente qualquer coisa) e formar grupos. Basta definirmos cada possível resultado da adição (e/ou multiplicação) de elementos.
E os resultados nem precisam ser congruentes com a aritmética "ordinária"; basta que a tabela de resultados atenda às propriedades usuais de um grupo: associatividade, elemento neutro, etc.
Na verdade, se você tentar inventar um grupo "do nada", vai descobrir logo que as exigências aparentemente singelas de um grupo acabam se impondo fortemente sobre as tabelas de resultados.
Suponha um conjunto de três elementos A,B,C com o qual pretendo construir um grupo sob "adição". Preciso construir uma tabela de "adição" que atenda aos requisitos de associatividade, elemento neutro e inverso.
Só com esta escolha já temos cinco resultados "imexíveis", já fica claro que a nossa liberdade na formação da tabela não é tão grande quando parecia a princípio.