Aan de zuidkant van de heuvel ligt een vijver die overbleef toen de heuvel werd gemaakt. De rijke apothekersfamilie Bienema liet aan de Schoterlandseweg het buiten Veenwijk bouwen, met geld dat met de vervening was verdiend. Na een aantal verbouwingen werd de villa in 1901 nieuw gebouwd. Het Woutersbergje stond op de as van Veenwijk.
Veenwijk kwam later in het bezit van Julia Jan Wouters die bij testament bepaalde dat er “ongehuwde vrouwen van goede komaf” in mochten wonen. Door deze Julia Jan Wouters-stichting kreeg het Wouterbergje zijn naam. Foutief wordt het bergje weleens aangeduid als ‘Woudsterbergje’ door de ligging dicht bij Oranjewoud.
Er werden destijds meer van dergelijke kunstmatige heuvels opgeworpen. Ook bij Fogelsanghstate in Veenklooster en bij Herema State in Joure waren vroeger ook dergelijke heuvels. Vanaf zo’n heuvel had de toeschouwer een goed uitzicht op het omliggende gebied, meestal eigendom van de eigenaar van zo’n heuvel.