Der Stern der Herren von Haiterbach scheint dann mit dem der Grafen von Hohenberg gesunken zu sein. Erbschaftsteilungen und die üblichen wirtschaftlichen Schwierigkeiten zwangen die Hohenberger im Laufe des 14. Jahrhunderts in den Reigen jener hochadligen Familien, denen nur noch der allmähliche Ausverkauf ihrer Herrschaften übrig blieb.