Urodził się w litewskim miasteczku Łoździeje (obecnie Lazdijai) 1 maja 1886, zm. 29 kwietnia 1943 w Los Angeles. Jako tzw. „cudowne dziecko” pierwsze lekcje gry na skrzypcach zaczął pobierać w wieku 5 lat w Konserwatorium Warszawskim.
W wieku 13 lat studia w Konserwatorium Petersburskim u słynnego Leopolda Auera, którego uczniami byli m.in.: Jascha Heifetz, Nathan Milstein Efrem Zimbalist. Po ukończeniu Konserwatorium z najwyższą nagrodą w klasie skrzypiec (1904) przez kilka lat koncertował za granicą, po czym wrócił do Petersburga, by kontynuować studia kompozytorskie.
W 1911 został zaproszony do komitetu muzycznego Petersburskiego Towarzystwa Żydowskiej Muzyki Ludowej, organizacji założonej trzy lata wcześniej przez byłych studentów konserwatorium petersburskiego. Wtedy to skomponował utwór Melodia hebrajska na skrzypce i fortepian, która do dziś pozostaje jego najpopularniejszym dziełem.
Dwa lata po wstąpieniu do Towarzystwa Achron otworzył nowy oddział tegoż w Charkowie, gdzie pełnił funkcję kierownika katedry skrzypiec i kameralistyki w tamtejszym konserwatorium. Podczas I wojny światowej został wcielony do armii rosyjskiej jako muzyk przy oddziałach frontowych, a następnie wyruszył w trasę koncertową po Rosji, dając w latach 1918-1922 ponad 1000 koncertów.
W 1922, wraz z żoną, piosenkarką Marie Raphof, przeniósł się do Berlina, gdzie nadal komponował, nauczał i występował, służąc jednocześnie jako doradca muzyczny wybitnego wydawnictwa „Jibneh”.
31 grudnia 1924 Joseph i Marie Achron przybyli na Ellis Island koło Nowego Jorku. Tam Achron komponował utwory kameralne dla lokalnego teatru w języku jidysz, uczył prywatnie w Westchester Conservatory of Music, wystąpił jako solista podczas premiery swojego I Koncertu skrzypcowego oraz pełnił aktywną rolę w zakresie administrowania sceną muzyczną Nowego Jorku. W 1934 Achronowie przenieśli się do Los Angeles, gdzie kompozytor aktywnie działał w życiu muzycznym swojej społeczności. Tutaj poznał świat muzyki filmowej, występując i komponując dla studiów filmowych, a także poświęcił wiele czasu na prywatne nauczanie i działalność administracyjną w dziedzinie nowoczesnej muzyki amerykańskiej.