Le carcajou appartient à la famille des mustélidés, comme le vison, la martre ou la loutre. Il a l’apparence d’un petit ours, mais s'en distingue par une queue longue et touffue, qui compte pour environ un cinquième de la longueur totale de l’animal.
Son pelage long et rude varie de brun pâle à presque noir. Le carcajou possède un masque facial plus pâle, ainsi que des taches crème sur la gorge et la poitrine. Des bandes latérales jaunâtres partent des épaules pour se fondre à la base de la queue.
Les mâles adultes mesurent environ un mètre et leur poids varie entre 10 et 18 kilogrammes ; les femelles sont en général un peu plus petites. La tête est large et robuste, les mâchoires portent 38 dents massives, adaptées à broyer les os. La dentition du carcajou est très caractéristique: les deuxièmes incisives inférieures croissent sur une rangée distincte; les troisièmes incisives supérieures sont plus longues que les autres incisives.