Das Ersatzheer hatte insbesondere die Aufgabe, Soldaten auszubilden und technische Neuerungen anzufordern und zu testen. Es umfasste die Abteilungen der Inspekteure für die verschiedenen Truppengattungen des Heeres, für die Ausbildung sowie für die Offiziersausbildung. Außerdem gehörten das Allgemeine Heeresamt, das Heereswaffenamt sowie das Heeresverwaltungsamt mit den Wehrkreiskommandos zum Ersatzheer. Im Jahre 1944 wurde das Heerespersonalamt ebenfalls dem Ersatzheer unterstellt.
Alle deutschen Divisionen hatten im Heimatgebiet Ausbildungseinheiten in Regimentsstärke, die dem Ersatzheer unterstanden. In diesen Regimentern wurden alle Soldaten, die neu eingezogen wurden, einer Grundausbildung unterzogen und dann zu der eigentlichen Kampfeinheit geschickt. Dem Ersatzheer waren auch alle Soldaten unterstellt, die sich im Urlaub, in Lazaretten oder sonst zur Rekonvaleszenz oder zur Ausbildung im Reichsgebiet befanden. Die Zuordnung zum Ersatzheer erfolgte automatisch und solange, bis der Soldat wieder in seine Einheit an der Front zurückgekehrt war.