Osobný život a život po NBA

Worthy bol od roku 1984 do roku 1986 ženatý s Angelou Wilder, majú dve dcéry, Sable a Sierru Worthy. V novembri 1990 bol v Houstone obžalovaný z objednávania prostitúcie. V meste sa nachádzal z dôvodu zápasu proti Rockets. Pred zápasom si vraj na hotel objednal dve ženy z eskortného servisu, ktorý však medzičasom polícia odhalila a zatrhla, o čom Worthy nevedel a tak na stretnutie s ním išli dve dôstojníčky prestrojené za prostitútky. Trest ho neminul, avšak samotný hráč vyviazol s jednoročnou podmienkou, pokutou 1000 dolárov a musel odrobiť 40 hodín verejnoprospešných prác.

Worthy sa objavil vo viacerých televíznych show a seriálov, okrem toho je aj zakladateľom Nadácie Jamesa Worthyho. Ako riaditeľ firmy ,,Worthy Enterprises’’, ktorá pomáha spoločnostiam s predajom a kúpou akcií, ako majú investovať, zlepšiť kultúru a morálku vo firme, vzťahy medzi zamestnancami, taktiež sa však venuje charitatívnym záležitostiam a snaží sa zlepšiť životnú úroveň komunít, ktoré sú na to odkázané.

Od sezóny 2012-13 Worthy pôsobil ako analytik pre televíziu TimeWarner Cabel SportsNet, ktorá uzatvorila exkluzívnu zmluvu s Lakers na ich domáce zápasy.