jüdischer Abstammung, 1855 protestantisch konvertiert (dennoch weiterhin antisemitischen Anfeindungen ausgesetzt, etwa durch Hans von Bülow)
in Wien ab 1838 am Konservatorium der Gesellschaft der Musikfreunde Schüler von Joseph Michael Böhm (1795–1876), 1843–49 in Leipzig am Konservatorium von Ferdinand Ernst Victor Carl David (1810–1873), 1848–50 im Gewandhausorchester
1844 brachte er Beethovens jahrzehntelang vergessenes Violinkonzert D-Dur op. 61 in London unter Mendelssohns Leitung zur Neuaufführung, worauf das Werk einen festen Platz im Konzertrepertoire erhielt.
1869 berief ihn König Wilhelm I. von Preußen zum Gründungsrektor der Königlich Akademischen Hochschule für ausübende Tonkunst, der späteren Musikhochschule Berlin.
Das nach 1879 gegründete und nach ihm benannte Joachim-Quartett (mit Heinrich de Ahna (ab 1897 mit Carl Halir), 2. Violine, Emanuel Wirth, Viola und Robert Hausmann, Violoncello) wurde einer der Hauptrepräsentanten der deutschen Musikkultur zum Ende des 19. Jahrhunderts.