Jimmy Johnson, de verdadero apellido Thompson, fue educado dentro de una familia musical en la ciudad de Holly Springs de Mississippi; los hermanos pequeños de Jimmy se convirtieron en músicos profesionales mientras que él todavía trabajaba de soldador.

Jimmy comenzó a cantar en la iglesia evangélica del pueblo y poco después empezó a cantar y a tocar la guitarra con varios grupos espirituales de Memphis y mas tarde de Chicago. No fue hasta finales de los '50 cuando Jimmy se convirtió en músico profesional. En 1959 empezó a tocar con Magic Sam y Freddie King, y a hacer giras con el armonicista Slim Willis y otros.

Jimmy se paso los siguientes 20 años ejerciendo de guitarrista de R&B y soul con mucho éxito, ademas de ser el lider de su propia banda en el sur de Chicago, pero se cansó pronto de tocar los éxitos de los demás. Quería interpretar sus propios temas, su blues. En 1974 empezó su campaña de regreso al blues, cuando firmó como guitarrista rítmico junto a Jimmy Dawkins. Antes de formar su propia banda, se fue de gira a Japón con Dawkins y con Otis Rush, apareciendo en el directo grabado en Japón de Rush y en 2 grabaciones de estudio de Dawkins.

En 1978, el nombre de Johnson atrajo por primera vez la atención a nivel nacional, además de recibir una nominación al Grammy,cuando Alligator incluyó 4 temas suyos en el "Living Chicago Blues Vol.I." (¡debutante a los 52 años!).Estos 4 cortes, además de los discos que seguirían en el sello Delmark, "Johnson's Wacks" en 1979 y "North/South" en 1982, confirmaron a Johnson como un músico de blues con buenas dosis de soul y funk, fuertemente anclado en la tradición del West Side.