Estes inteiros, que são value types, fazem parte do conteúdo da coleção. Onde eles ficarão armazenados?
No heap também. Internamente, em última análise, todos os elementos desta lista são armazenados em um array, que é apenas uma sequencia de dados do tipo definido. O List é uma classe, portanto um reference type e todos os seus dados ficam no heap.