Op het einde van de 12de eeuw kwam Rotselaar in handen van een nieuwe familie, afkomstig van een Leuvens geslacht van onvrije dienstmannen aan het hof van de hertog van Brabant in Leuven. Deze ex-dienstmannen kregen van de hertog van Brabant Rotselaar in leen. Vanaf omstreeks 1175 noemden zij zich ‘van Rotselaar’, en al gauw gingen zij alle macht in het dorp autonoom uitoefenen, tot en met het recht om doodstraffen uit te spreken en die ook zelf uit te voeren, een voorrecht dat maar weinige adellijke families in Brabant bezaten. Ook hun buurmannen, de heren van Wezemaal, genoten dit voorrecht. De heren van Rotselaar en van Wezemaal behoorden dan ook tot de belangrijkste leenmannen van de hertogen van Brabant. De Rotselaars bouwden rond 1200 een woontoren of donjon - in ijzerzandsteen - nabij de Dijle, waar nu de boomkwekerij Dioos zich bevindt). Het kasteel van de heren van Wezemaal lag tussen de Rigessel en de pastorie van Wezemaal.

De Middelberg bevond zich dus op de grenszone van twee ‘heerlijkheden’, waar machtige adellijke families ongehinderd alle macht in handen hadden. Bovendien grensde de Middelberg in het oosten aan het rechtsgebied van de heren van Rivieren, een heerlijkheid die grote delen van Betekom en Gelrode omvatte.
Precies op die grenszone lieten elk van die heren galgen oprichten. De galg van de heren van Rotselaar verhief zich op de uiterste oostelijke punt van de Middelberg, de IJzerenberg, dus vlak bij de grenzen met de heerlijkheden Wezemaal en Rivieren. Op een boogscheut daarvan verrees de galg van Rivieren, op de Eikelberg. Hier kronkelde de oude weg van Leuven naar Aarschot langs de beide heuvels, zodat de galgen van ver voor reizigers zichtbaar waren, als grensteken en als waarschuwing. Die van Wezemaal verhief zich even verderop naar het westen langs diezelfde weg, langs de flank van de Middelberg, vlak bij de grenslijn met de heerlijkheid Rotselaar. De huidige Galgenstraat herinnert daar nog aan.
De heren van Rotselaar gingen ook op economisch vlak het gebruik van de Heikant- en Middelberg bepalen tot aan de Franse Revolutie.