9 år gammel flyttet hun med familien til Oslo i 1857. Her studerte hun med Otto Winter-Hjelm og Halfdan Kjerulf. Siden fikk hun også studere musikkteori med Ludvig Mathias Lindeman. I 1865 reiste hun sammen med Erika Nissen til Berlin for å studere ved Theodor Kullaks musikkakademi. Senere studerte hun under Hans von Bülow i Firenze i 1871, og under Franz Liszt i Weimar i 1873. I 1875 ble hun gift med Olaus Andreas Grøndahl, en av sin tids fremste norske kordirigenter. De fikk fire barn, blant dem sønnen Fridtjof Backer-Grøndahl, som ble en kjent pianist.
Hun slet med helseproblemer nesten hele livet, og mot slutten ble hun fullstendig døv. Etter 1903 ble hun derfor nødt til å gi opp sin karriere som konsertmusiker. Også søsteren Harriet Backer er en kjent størrelse i det norske kunstnerlivet. Hun regnes som en av våre mest betydelige malere.
Allerede mens hun var i Berlin gjorde hun lykke med sin interpretasjon av Ludwig van Beethovens 5. pianokonsert. Hun var en pianistinne av verdensformat og gav konserter i flere europeiske land. Hun likte å spille Edvard Griegs verker og opptrådte tre ganger som solist i Griegs a-moll-konsert med komponisten som dirigent. Hun var også en nær venn av Edvard Grieg.
Agathe Backer Grøndahl var Norges første betydelige kvinnelige komponist. Hun skrev mest klaverstykker og romanser. Grøndahl fullførte i alt 70 verker, og var en fremtredende skikkelse i norsk musikkliv.