2018ko irailaren 13an, Karlsson (Francis Perronekin batera) San Jose Sharks taldeari saldu zioten, Chris Tierney, Dylan DeMelo, Josh Norris, Rūdolfs Balcers, Sharks taldearen 2020ko lehen txandako hautaketa, 2019ko bigarren txandako hautaketa
Bigarren aukera bat 2021ean. Bere lehen gola Sharksekin egin zuen azaroaren 18an, St. Louis Blues taldearen aurka 4 eta 0eko garaipenean. Denboraldiari hasiera motela eman ondoren, Karlsson liga historiako bosgarren defentsalaria bihurtu zen, 14 partida jarraian gutxienez asistentzia bat izan zuena, 2019ko urtarrilaren 8an Edmonton Oilers taldearen aurkako 7 eta 2ko garaipenaren ondoren. Abenduaren 23an, Karlsson bere ibilbidean lehen aldiz bi partidetarako zigortu zuten, Los Angeles Kingseko Austin Wagner jokalariari legez kanpoko txeke bat emateagatik. Ingenioko lesio batek Karlssonek denboraldiaren amaieran partida asko galtzea eragin zuen, Colorado Avalanche taldearen aurkako azken partidarako itzuli aurretik. Denboraldia amaituko zuen 45 punturekin 53 partidetan, 2012-13 denboraldiko puntu kopururik txikiena. Karlssonek San Joseri lagundu zion Mendebaldeko Konferentziako finala iristeko 2019ko kanporaketan, nahiz eta St. Louis Blues taldearen aurkako partidan behatz lesio bat jasan zuen, eta, horren ondorioz, San Joseren azken partidua galdu zuen kanporaketan, taldeak 5-1 galdu zuenean 6. partidan. Playoff-ak amaituko zituen 16 punturekin 19 partidetan. Maiatzaren 31n, behatz-kirurgia egin zioten.