Также актер заявил, что больше не хочет встречаться с известными девушками. Его огорчает, что прессе сразу становится интересно, с кем он, и не собираются ли они расстаться. Чем играть на публику, лучше играть в кино - так считает Джим. 

Он уже был дважды женат. Первый его брак с начинающей актрисой Мелиссой Уомер (Melissa Womer) продлился восемь лет (с 1987 по 1995 год), второй брак с актрисой Лорен Холли (Lauren Holly) - всего один год (1996). Отношения с Дженни длились более 5 лет, они даже планировали пожениться, но в самый последний момент передумали и расстались друзьями.