Dopo la laurea nel 1979, Rometty andò a lavorare per il General Motors Institute di Detroit, dove era responsabile dello sviluppo di applicazioni e sistemi. Nel 1981 entrò a far parte dell'IBM come analista di sistemi e ingegnere di sistemi a Detroit. Inizialmente lavorando con clienti nel settore assicurativo, trascorse i suoi primi dieci anni in IBM in posizioni tecniche. Il New York Times scrive che "si è rapidamente trasferita in una serie di lavori manageriali", dove ha lavorato con clienti in assicurazioni, banche, telecomunicazioni, produzione e assistenza sanitaria. Ha trascorso gli anni '90 lavorando nelle vendite e alla fine degli anni '90 stava aiutando clienti come Prudential Financial, Inc. con le loro funzionalità Internet. Si è unita al gruppo di consulenza IBM nel 1991.
1991 - Settimo anno