Landgoed Wielbergen, gelegen aan de IJssel in Angerlo, bestaat al vele eeuwen. Historisch onderzoek levert een lange reeks van verkoop, aankoop en vererving op van het landgoed Wielbergen. De eerste vermelding komt uit 1378; in een leenregister staat vermeld dat Henrick van Wyle in 1378 eigenaar is van ’t Goet te Wyle, gelegen in het Doesburgse kerspel. Waarschijnlijk krijgt het goed zijn naam van een zogenaamd wiel; een poel die achterbleef na een dijkdoorbraak. Andere namen voor het landgoed die in archiefstukken genoemd worden, zijn onder andere het goet Weelbergh, het goet op Wyelberch en het goet tot Wielberge.
Het landgoed verwisselde dus in de loop van de eeuwen vaak van eigenaar maar er is nooit sprake geweest van een huis. Ook op negentiende eeuwse kaarten of in het Kadaster van 1832 is geen huis te zien. Rond 1790 wordt in de registers kort gesproken over een "katerstede" , een kleine boerderij. Deze zou rond 1810 weer zijn afgebroken.
Pas in 1869 werd het huidige Huize Wielbergen gebouwd door de toenmalige eigenaar Carel Marie jonkheer Brantsen. Als burgemeester van Angerlo (1860-1878) was hij verplicht om in Angerlo te wonen. Het huis wordt gebouwd door de Engelse architect L.H. Eberson in chalet-bouw, ook wel Swiss Cottage genoemd omdat de gebouwen in deze stijl herinneren aan Zwitserse chaletbouw. Daarnaast worden een koetshuis en oranjerie gebouwd, een paardenstal met hondenverblijven en een prieel. Het park werd ontworpen in de Engelse landschapsstijl en aangelegd door de Engelse tuinarchitect C.E.A. Petzold. De bouw begint op 5 juli 1869 en op 26 september 1872 is het huis klaar. Direct na zijn huwelijk in 1873 met Jacqueline Sophie gravin van Limburg Stirum gaat Brantsen op Wielbergen wonen. In 1884 wordt het huis vergroot. Het echtpaar had intussen vier kinderen gekregen en het huis was voor het grote gezin te klein geworden.