Si Baldwin ay ipinanganak sa Long Island kina Carol Newcom at Alexander Rai Baldwin Jr., isang guro sa kasaysayan at coach ng football. Si Baldwin ay may tatlong magkakapatid, sina Daniel, William, at Steven, lahat ng mga moviegoer.