Das Engelbert-Kaempfer-Gymnasium besteht baulich aus dem Lippehof, einer ehemals fürstlichen Residenz aus dem 18. Jahrhundert, dem Klassentrakt aus dem Jahr 1974, dem Neubau aus dem Jahr 1995.

Das zentrale Hauptgebäude wurde in den Jahren 2002/05 grundlegend saniert. Die Nebengebäude, das Vorwerk (renoviert 2000/01) und der Marstall (renoviert 2001/02), dienen jetzt als Fachräume für den Bereich Erdkunde, Geschichte, Sozialwissenschaften bzw. für Kunst und Musik sowie als Klassenräume. Im Hauptgebäude befinden sich die Verwaltungsräume, Bibliothek, Beratungsräume und eine Küche mit angegliederten Aufenthaltsräumen.
Der Neubau wurde von dem Architekturbüro Schürmann / München entworfen und greift in moderner Form die in der Stadt verbreitete Fachwerkbauweise auf. Er nimmt die naturwissenschaftlichen Fachräume, einige Klassenräume auf und findet seinen Abschluss in dem lichtdurchfluteten Forum der Schule.
Die unterschiedlichen Gebäude entstammen ganz verschiedenen Epochen, sie ergänzen sich aber zu einem lebendigen Ensemble, in dessen Mittelpunkt die ganzheitliche Erziehung und Bildung der Jugendlichen steht.