Esse alocamento de memória normalmente se não for utilizado é destinado para onde mais é necessário, se puder me encaminhar uma foto com o relatado por você "Pude constatar que minha memória fica "parada" na gpu ao olhar o gerenciador de tarefas, quando chega por volta de 3.800 mb de memória o pc já começa a travar, enquanto isso minha memória de vídeo não passa de 2gb.".