Al is er aan haar geen kapel toegewijd, toch heeft de Zwarte Madam altijd tot de verbeelding gesproken. Daarom mag zij in dit verhaal niet ontbreken. Verschillende sagen doen de ronde over het hoe en waarom van dit Mariabeeld, dat in de bosrijke omgeving van Ter Balk zijn plaats heeft gevonden.
Volgens historicus Vannoppen van Erps-Kwerps controleerde de Zwarte Madam de Molenbeek tussen Nederokkerzeel en Erps-Kwerps. In de nabije omgeving ligt de ‘Steinen Goot’, een stenen goot, die toelaat dat de Weesbeek onder de hoger vloeiende Molenbeek doorstroomt. Het oorspronkelijk ijzeren bruggetje is een bekende pleisterplaats. De volksmond meent te weten dat er ter plaatse om middernacht stemmen hoorbaar waren en dat er mensen op onverklaarbare wijze in de Molenbeek werden getrokken en verdronken.
Heel de omgeving werd eertijds door verschijnselen van bijgeloof geplaagd. Volgens een andere bron zouden leden van de familie Wittman, eigenaars van het kasteel Ter Balk, het Mariabeeld hebben opgesteld om te waken over de nabije omgeving. Het verhaal gaat ook dat de zuster van de kasteeleigenaar haar hele fortuin had beloofd aan haar neefje, zoon van de kasteelheer, indien hij priester zou worden. Hij was echter enig kind en tegelijk ook stamhouder. Vader Wittman zou daarom een Mariabeeld, met het gezicht in de richting van Leuven, hebben laten plaatsen met de vurige wens dat zoonlief, die in een Leuvens klooster verbleef, zijn roeping niet zou volgen. Zijn verlangen ging in vervulling, zijn gebeden werden verhoord, maar naar de erfenis kon hij fluiten.
