Nato a Reykjavík quando il padre giocava con il KR Reykjavík, Albert Gudmundsson inizia a giocare a calcio proprio con la squadra della capitale islandese. Nell'estate del 2013 si trasferisce nei Paesi Bassi, all'Heerenveen, dove gioca con le squadre Under-19 e Under-21. A luglio 2015 passa al PSV e disputa l'Eerste Divisie, la seconda serie olandese. A partire dal 2017/18 viene aggregato alla prima squadra ma nell’estate del 2018 viene ceduto all’AZ Alkmaar per 1,8 milioni di euro. Resta tre stagioni e mezzo fino al 31 gennaio 2022 quando viene ceduto a titolo definitivo al Genoa per 1,2 milioni di euro. Nella seconda parte non brilla ma nelle due stagioni successiva va sempre in doppia cifra. Quindi l'approdo alla Fiorentina.
Il 16 agosto 2024 si trasferisce alla Fiorentina in prestito oneroso per 8 milioni di euro, con diritto di riscatto (che diventa obbligo a determinate condizioni) a 17 milioni di euro più bonus che fanno lievitare la cifra totale vicino ai 30 milioni di euro. Condizioni non rispettate, ma riscatto esercitato dalla società viola che ha usufruito di uno sconto da parte del Genoa.