Ele teve que largar a escola muito cedo para trabalhar e ajudar a família no sustento: aos 18 anos se mudou para Stonington Borough (EUA) e se tornou capitão de um navio de pesca de lagosta. Ao longo dos anos foi escondendo seu analfabetismo com truques do tipo fazer o mesmo pedido da mesa ao lado nos restaurantes. A única coisa que conseguia reconhecer eram as letras que formavam seu nome, mas tudo mudou quando conheceu a história do neto de escravos, que aprendeu a ler e a escrever aos 98 anos, e ainda conseguiu um diploma.
Jim então começou a ver livros para principiantes, aprender as letras do alfabeto, e rapidamente começou a formar as primeiras palavras, e sete anos depois publicou seu primeiro livro chamado “In a Fisherman’s Language”, uma auto-biografia, onde conta suas aventuras durante décadas de trabalho no mar.