Im Jahre 1955 wurde unter Präsident Fritz Ostermeier von seiner Frau Hannelore die Markgrafengarde gegründet. Sie ist die älteste Garde in Durlach und gehört zu den ältesten Garden in Karlsruhe und Umgebung.

Seit 1994 gibt es 3 weitere Gruppen bei der KaGe04. Die Letschebacher Minis, die Weiherhofgarde und die Karlsburggarde wurden gegründet, sodass sich alle Altersgruppen im Verein wohlfühlen.

Schließlich folgte 2003 noch die Showtanzgruppe Dance Company, die inzwischen ein fester Bestandteil der KaGe04 ist.