Carell, el menor de cuatro hermanos, nació nel Emerson Hospital de Concord, Massachusetts, y creció cerca dActon, fíu de Harriet T. Koch, una enfermera de psiquiatría, y Edwin A. Carell, un inxenieru llétricu. El so tíu maternu, Stanley Koch, trabayó con Allen B. DuMont. El so güelu paternu yera italianu; el so padre nació col apellíu Caroselli, que depués sería sustituyíu por Carell. Carell foi criáu como católicu y foi educáu en The Fenn School y Middlesex School. Mientres la secundaria xugaba ḥoquei sobre xelu. Tocabal pínfanu xunto a otros miembros de la so familia, y xunióse a un grupu de recreación histórica pa realizar el Décimu reximientu de pies. Carell atribuyó a estol so interés pola hestoria. En 1984 consiguió un títulu nhestoria na Universidá de Denison de Granville, Ohio. En Denison, Carell foi miembru de Burpees Seedy Theatrical Company, un grupu de comedia dimprovisación formáu por estudiantes.