Sau khi tốt nghiệp năm 1979, Rometty đi làm cho Viện General Motors ở Detroit, nơi bà chịu trách nhiệm phát triển ứng dụng và hệ thống. Năm 1981, bà gia nhập IBM với tư cách là nhà phân tích hệ thống và kỹ sư hệ thống ở Detroit. Ban đầu làm việc với các khách hàng trong ngành bảo hiểm, bà đã dành mười năm đầu tiên tại IBM ở các vị trí kỹ thuật. The New York Times viết rằng bà "nhanh chóng chuyển sang một loạt các công việc quản lý", nơi bà làm việc với các khách hàng trong bảo hiểm, ngân hàng, viễn thông, sản xuất và chăm sóc sức khỏe. Bà đã dành những năm 1990 làm việc trong lĩnh vực bán hàng, và vào cuối những năm 1990 đã giúp các khách hàng như Prudential Financial, Inc. với các tính năng internet của họ. Bà gia nhập Nhóm tư vấn của IBM vào năm 1991.
Năm 1991