Mentre Hale era sotto copertura, la città di New York (allora la zona della punta meridionale di Manhattan, per lo più a sud di quella che ora è Chambers Street) cadde nelle mani delle forze britanniche il 15 settembre e Washington fu costretto a ritirarsi a nord dell'isola a Harlem Heights (che ora è Morningside Heights). Poco dopo, il 21 settembre, un quarto della parte inferiore di Manhattan bruciò nel grande incendio di New York del 1776. In seguito si pensò che l'incendio fosse stato iniziato da sabotatori americani per impedire che la città cadesse nelle mani britanniche, e sebbene fosse stato proposto di incendiare New York durante la ritirata di Washington, Washington e il Congresso
Il Consiglio ha respinto l'idea e ha negato la responsabilità. Gli americani accusarono i soldati britannici di aver appiccato gli incendi senza ordini dei loro superiori per poter saccheggiare la città. Dopo l'incendio, più di 200 patrioti americani furono arrestati dagli inglesi per essere interrogati.