Outra importante base teórica da Nova Teoria Institucional é a análise dos custos de transação, conceito desenvolvido por Ronald Coase (1910-2013), que os tratava como um quarto fator de produção, juntamente com terra, capital e trabalho.
O chamado institucionalismo surgiu no início do século XX, nos Estados Unidos, com forte influência de Thorstein Veblen (1857-1929), cuja ênfase nos usos e costumes sociais como fenômenos explicativos da atividade econômica levou muitos autores a considerá-lo como o fundador da Escola Institucional de pensamento econômico. Os institucionalistas sustentavam que o comportamento econômico não é regido pela a racionalidade, mas por instintos e costumes, pela competição por riqueza e poder e não pela competição de mercado. Enfatizavam a importância de outras disciplinas do campo das ciências sociais, como sociologia, política e antropologia para estudar, compreender e solucionar os problemas econômicos. Assim, eram favoráveis à intervenção do governo na economia, tanto é que em vários manuais de história do pensamento econômico os economistas institucionalistas são alocados no amplo pacote keynesiano que influenciou fortemente a ciência econômica dos anos 30 até a década de 70.