Plusieurs hypothèses subsistent quant à l'origine du toponyme Portage-du-Fort. Un grand portage était requis pour remonter le dénivelé de la rivière à cet endroit, à cause de cinq chutes. L'explorateur Samuel de Champlain a séjourné brièvement à Portage-du-Fort lors de son voyage vers l'Île-aux-Allumettes. Bien qu'il n'y eut jamais de fortification de type militaire, le magasin de Louis d'Ailleboust, sieur de Coulonge et de la Madeleine, servant de commerce des fourrures avant 1670 appuie l'hypothèse d'un établissement civil fortifié.