O grupo é conhecido por combater as barreiras de género nos seus vídeos e espectáculos ao vivo dado que incorpora elementos masculinos e femininos nas suas performances, nomeadamente usando sapatos com um salto de 14 centímetros ou pelas suas transgressoras coreografias.
Os Kazaky ganharam notoriedade em 2010 quando o seu videoclipe "In the Middle" se tornou viral no YouTube e o grupo ganhou o prémio "Revelação do Ano" nos "My Way Dance Awards". Desde então já editaram vários singles, um álbum (The Hills Chronicles) e até participaram no vídeo "Girl Gone Wild" de Madonna.
O último single editado pelo grupo intitula-se "Crazy Law" e está a ser interpretado como uma resposta à lei que proíbe a "propaganda homossexual" na Rússia. A letra da canção é, no mínimo, sugestiva: