Ростовта ул үҙенең мәхәббәте — Натальяны осрата. Натальяның беренсе никахы уңышһыҙ булып сыҡҡан: уның ире трагик хәлдәрҙә һәләк булған. Николай Матвеевич был ваҡытта үҙенең беренсе ҡатыны менән айырылышыу процесында булған. Ул ваҡытта айырылышыу өсөн рөхсәтте бары тик Изге Синод ҡына биргән. Николай Матвеевич Натальяны бик ныҡ яратҡан, һәм улар, сиркәүҙә никахтарын раҫламайынса ғына, бергә йәшәй башлағандар. 12 йыл буйы улар шулай йәшәгәндәр, уларҙың өс балалары булған. Николай Матвеевич үҙенең яратҡан ҡатынына Пушкин урамында өс этажлы йорт һатып алған (ул йорт әле лә бар). Наталья уны 1910 йылда, Николай Матвеевич үлгәндән һуң, һатып ебәргән, Сенная урамында (хәҙер М. Горький урамы) бәләкәйерәк йорт һатып алған. 1920-се йылдарҙа был йорт дәйөм халыҡ милкенә әйләнгәндән һуң, архитекторҙың ҡатынына йорттоң икенсе ҡатында бер нисә бүлмәне ҡалдырғандар.