United hentet han til akademiet fra Hearts, omskolerte han fra ving til høyreback, og lot han også få sjansen for A-laget. Hans første og eneste opptreden var i ligacupseieren mot Crewe Alexandra i 2006, da han spilte de første 77 minuttene.
Etter flere lån valgte han å forlate klubben da kontrakten gikk ut i 2010, og etter opphold i Preston, Stevenage og Burton reiste han hjemover til Edinburgh, denne gangen for å spille for Hibernian.
Foran denne sesongen, hans andre sesong i Hibs, ble han utnevnt til kaptein, og han ledet laget sitt ut i finalen mot Rangers, og endte i tillegg opp med å avgjøre kampen.
Annonse
Det stod 2-2, i det som var en dramatisk cupfinale, da Gray slo til: Han stanget en corner kontant i mål på overtid, og sikret med det Hibernians første FA-cuptittel på 114 (!) år. Se målet fra 5.38 av videoen under.