Die Songinhalte reichen von Zügen wie dem Orange Blossom Special über die düstere Geschichte eines Mordes (The Long Black Veil) oder eines Sträflings (The Wall) bis hin zu alten Traditionals wie Danny Boy oder Amen.
Der Titeltrack des Albums entwickelte sich zu einem Live-Highlight. Cash wollte bei Auftritten nicht extra wegen eines Songs einen Mundharmonikaspieler engagieren, weshalb er das Instrument soweit selbst erlernte, dass er es bei Orange Blossom Special spielen konnte. Am Ende eines jeden Konzerts warf er das benutzte Instrument ins Publikum.
Cash traf den jungen Bob Dylan beim Newport Folk Festival im Juli 1964, wo Dylan ihm Demos seiner neuen Songs anbot, die er für Another Side of Bob Dylan aufnahm. Cash hatte Dylan im Vorjahr einen Brief geschickt, indem er ihm zu seinem Album The Freewheelin’ gratulierte. Inzwischen war Dylan von Folk-Puristen angegriffen worden, weil er sich „an die Industrie verkaufen würde und die Ideale der Folkmusik verraten habe“. Cash verteidigte Dylan im Folk-Magazin Broadside mit den Worten: „Haltet die Klappe! … Und lasst ihn singen!“
Obwohl viele seiner Hörer Dylan in dieser Zeit als „gottlosen Unruhestifter“ oder als Kommunisten beschimpft hatten, entschloss sich Cash, die Songs It Ain’t me, Babe; Mama, You’ve Been on My Mind und Don’t Think Twice, It’s All Right für sein neues Album aufzunehmen, da er vom lyrischen Talent Dylans überzeugt war und in ihm den Nachfolger von Hank Williams oder Woody Guthrie sah. It Ain’t Me, Babe wurde im Duett mit June Carter aufgenommen und erschien später noch einmal auf dem Album Carryin’ on With Johnny Cash and June Carter aus dem Jahre 1967.
Orange Blossom Special erreichte Platz 3 der Country-Alben-Charts und Rang 49 der Pop-Charts. Die Single-Auskopplungen It Ain’t Me, Babe und Orange Blossom Special erreichten Platz vier bzw. drei der Country-Single-Charts.