Het landhuis is gebouwd in 1918
Het staat op zandgrond, 33 meter boven NAP
Hoewel slechts bij weinig mensen bekend, heeft Vierhouten vroeger een molen gehad.
Deze molen werd naast Huize Vierhouten op een kunstmatig opgeworpen heuvel gebouwd.
In 1924 waaide tijdens een zware storm de complete kap van de molen af. Vanwege de opkomst van de elektriciteit werd de molen niet meer in oude staat hersteld. De molen heeft er hierna nog jaren zonder wieken bijgestaan.
Rond 1940 werd de rest van de molen afgebroken.
Naast 'Huize Vierhouten' is nog het heuveltje waarop de molen stond terug te vinden. Verder bevindt zich in Huize Vierhouten nog altijd een kamer die wordt aangeduid met 'Molenkamer'.

Het ondergrondse Pas Op-kamp in de bossen bij Vierhouten heeft tijdens de Tweede Wereldoorlog het leven gered van tachtig tot honderd Joden. Dit ondergrondse dorp voor onderduikers was in 1943 gebouwd op initiatief van de Amsterdammer Eduard von Baumhauer, die in Vierhouten een landhuis had.

De advocaat Von Baumhauer, vreesde het ergste voor de Joden onder Hitler. Duitse Joden gaf hij het advies te emigreren. Vanaf begin 1942 stak hij al zijn geld en energie in het
onderduikersvraagstuk. De familie Von Baumhauer was inmiddels van Amsterdam naar
Vierhouten verhuisd. Binnen enkele maanden waren alle kamers in Huize Vierhouten bezet met Joodse en niet-Joodse onderduikers.
Als er eens nazi's op de stoep stonden, werden die door Von Baumhauer in hun eigen taal afgeblaft. De ongewenste routinebezoekjes brachten hem op het idee veiligheidsmaatregelen te nemen. Er werd een 100 meter lange ondergrondse gang van 1,5 meter breed en 2,5 meter diep gegraven uit de kelder van het huis die uitkwam in het bos.

Later werden in het Soerelse bos, ondergrondse schuilhutten gebouwd, waar gemiddeld tachtig onderduikers per dag verbleven.
Tonnen voedsel, bouwmaterialen kolen enz.moesten illegaal met bakfietsen, worden vervoerd om het dorp te voorzien.
Op 29 oktober 1944 werd het Pas Op-kamp bij toeval ontdekt door twee Duitse SS'ers, die in de bossen waren gaan jagen. Zij hoorden het geluid van houtzagen. Nadat er versterking was gehaald, werden de ondergrondse hutten ontdekt en uitgekamd.De meeste bewoners zijn ontkomen op acht mensen na.