Hughes wurde 1832 in Charlottesville, Virginia, als Sohn eines weißen Plantagenbesitzers und einer schwarzen Sklavin geboren. Er war mehr als dreißig Jahre lang Sklave und verbrachte die meiste Zeit davon in Tennessee. Dort lernte er heimlich Lesen und Schreiben. Dreiunddreißig Jahre, nachdem er am Ende des Bürgerkrieges die Freiheit erlangt hatte, schrieb er seine Memoiren Thirty Years a Slave, die 1897 veröffentlicht wurden. Sie gelten als ein Text, der für das Verständnis der Erfahrungen mit der Sklaverei im Westen von Tennessee unverzichtbar ist.