後、町人に払い下げられ、本所松坂町となったこの辺りにありました。なる時太郎を養子とします。北斎の出生には不明な点が多く、はっきりとしたことは判りません。中島家はこの養子縁組を破綻にし、実施に家督を譲りますが、北斎はその後も中島姓を名乗っていることから、中島伊勢の妾の子だったという説もあります。飯島虚心の『葛飾北斎伝』によると、北斎の母親は赤穂事件に登場する吉良方の剣客、小林平八郎の娘で、鏡師中島伊勢に嫁いでいるとしています。この話は、北斎自身が広めたようです。