Furiosos, os xamãs decidiram amaldiçoar o lugar e todos que nele viviam. Para isso, cercaram o assentamento com Totens dedicados a Vesako e sua comitiva composta por sete demônios que o acompanhavam. Os grandes totens de madeira e pedra foram distribuídos no alto das ravinas, coroando o topo das montanhas, como se estivessem observando com expressão severa o assentamento lá embaixo. Sem dúvida, uma imagem assustadora e imponente.
Coincidência ou não, logo depois que os totens foram dispostos, tempestades se intensificaram, bem como doença, fome e privações. Em determinados momentos, o posto chegou perto de ser abandonado pelos seus ocupantes. O lugar ganhou o apelido de "Território da Morte" ou "Posto no Limite da Terra" tamanha a sua fama. Por algum tempo, criminosos, prisioneiros políticos e exilados, foram mandados para lá afim de cumprir sentença. Alguns preferiam pular no mar gelado antes de chegar ao seu destino.
Em 1867, missionários da Igreja Ortodoxa Russa chegaram a Bolshoi Tsinkovy dispostos a catequizar os Nenets. Uma das primeiras medidas desses religiosos foi derrubar os Totens que haviam sido colocados ao redor do Posto. Na ocasião foram encontrados mais de 100 ídolos nas montanhas, em diferentes tamanhos e formas, os maiores com mais de três metros e os menores com apenas 50 centímetros de altura. Ao redor deles foram achadas oferendas como ossos de renas, crânios de ursos, machados e peles. Eventualmente os missionários conseguiram converter alguns nativos que se juntaram a população que então vivia no posto.
Em 1899, o assentamento na Ilha Vaygash foi transformado em um forte para comportar um fluxo cada vez maior de aventureiros à caminho do Klondike, no Alasca, onde havia sido descoberto ouro. A chegada dessas pessoas acabou trazendo outro visitante indesejado, o cólera que não demorou a se espalhar entre os nativos Nenet. Com o fim da Corrida do Ouro, o Forte caiu em decadência, sobretudo pela diminuição de homens e redução de recursos que se seguiu à Revolução Russa.
Apenas em 1950 ele voltaria a operar com a revitalização da Indústria baleeira incentivada por Stalin. Na ocasião, foi ordenado que os totens restantes ou que haviam sido reerguidos no entorno do Posto, fossem derrubados por tratores. Antropólogos e pesquisadores recolheram alguns deles e os levaram para a União Soviética para serem expostos em museus.
Apesar da forte censura soviética à crenças e superstições, os totens sempre foram tidos como "azarados", embora alguns considerassem que a melhor palavra para descrevê-los fosse amaldiçoados. Homens envolvidos na remoção e transporte das peças para a Rússia sentiram na pele essa "maldição". Ao menos uma das embarcações encarregada da travessia naufragou, outra teria ficado presa em um banco de areia e um acidente durante o desembarque dos objetos do compartimento de carga de um navio custou a vida de quatro homens.
Os museus que receberam as peças também sofreram estranhos revezes. O diretor de uma instituição em Riga teria sofrido um infarto fulminante no momento que pousou os olhos sobre um dos Totens. Em Kimovsk, nos Urais, um Totem caiu ferindo dois operários que trabalhavam na sua instalação. Em Aktau, o museu se incendiou misteriosamente, logo depois de um Totem ser colocado em um pátio para exposição pública.