Die Bewohner von Baltmannsweiler lebten hauptsächlich von der Landwirtschaft, betätigten sich aber auch im Weinbau, im Kalkbrennen, in der Köhlerei, im Töpfern und allerdings ohne Erfolg im Gold- und Silberschürfen.
Vom 15. bis 17. Jahrhundert unterschied man zwischen Ober- und Unterweiler. Oberweiler bezeichnete den Wirtschaftsraum beiderseits der Landstraße Schorndorf / Weißer Stein bis zur Esslinger und Plochinger Markungsgrenze. Die Flurbezeichnung Oberweiler erinnert heute noch an diesen Weiler. Unterweiler bezeichnete den gewachsenen Urkern des Dorfes mit der heutigen spätgotischen Westturmkirche. Der Unterweiler dehnte sich im Laufe des 18. Jahrhunderts allmählich zum Haufendorf aus, mit starker Erweiterung nach Norden (1950) und nach Süden (1965). Der Ort war im Rahmen des staufischen Herzogtums Schwaben vermutlich herzoglich-zähringisch bis 1187, dann herzoglich-teckisch. Zur Grafschaft Wirtemberg gehörend spätestens ab 1381 zum Amt bzw. Oberamt Schorndorf, bis 1938, seitdem zum Landkreis Esslingen.