Im 12. und frühen 13. Jahrhundert ist dann eine planmäßige Verwendung der Keupersandsteinezu Bauzwecken nachweisbar. Zu dieser Zeit wurde auch die Burg der Herren von Sternenfels aus weißem Stubensandstein erbaut.