La seva mare era ballarina en musicals de Broadway que es va traslladar a Europa després de casar-se amb el seu pare; van fugir dels nazis a la Segona Guerra Mundial i van tornar als Estats Units. El seu pare també era musical, tocava violoncel en una simfonia fora de Chicago en el seu temps lliure (mentre treballava com a científic), i la seva germana és pianista clàssica. El primer agent de Graae el va instar a canviar el seu cognom a "Grey", però es va negar, volent honrar el seu pare danès. Va descriure a Victor Borge, que va venir a Amèrica en el mateix vaixell que el seu pare quan tots dos van fugir de la invasió de Dinamarca el 1940
, com la seva principal inspiració. El 2007, la seva mare es va traslladar de Tulsa a Los Angeles per viure amb Graae i la seva parella. En una entrevista, va dir que "la vida, tal com la conec, s'ha elevat... Estem pensant en començar una nova comèdia de situació anomenada 'Dos homosexuals, un gos i una senyora vella'". Graae es va confessar a la seva mare el 1983, una experiència recordada en la seva producció de dues mans "El príncep i el showboy" amb Faith Prince.