Sau khi chuyển đến thành phố New York, ban đầu ông được đào tạo như một kỹ thuật viên vô tuyến và trở nên quan tâm đến toán học. Ông tốt nghiệp Đại học Columbia với bằng cử nhân năm 1949 và bằng thạc sĩ năm 1950, cả hai trong toán học, và gia nhập IBM vào năm 1950. Trong ba năm đầu tiên, ông làm việc trên máy tính điện tử chọn lọc (SSEC); dự án lớn đầu tiên của ông là viết một chương trình để tính toán vị trí của Mặt trăng. Năm 1953, Backus phát triển ngôn ngữ Speedcoding, ngôn ngữ cấp cao đầu tiên được tạo ra cho máy tính IBM, để hỗ trợ phát triển phần mềm cho máy tính IBM 701. Lập trình rất khó khăn vào thời điểm này, và năm 1954, Backus tập hợp một nhóm để phát triển và xác định Fortran cho máy tính IBM 704. Fortran là ngôn ngữ lập trình cấp cao đầu tiên được sử dụng rộng rãi.
Đại học Columbia với bằng cử nhân năm 1949 và bằng thạc sĩ năm 1950, cả hai trong toán học