Het Oldehuys, zoals dat er in de 18e eeuw uitzag. De kerkers werden toen gebruikt voor het opsluiten van criminelen.
Ook Christiaan Kaempff heeft hier enkele arrestanten “laten afleveren”.
Het kasteel viel buiten de zogenoemde stadsvrijheid van Vollenhove. Het stadsbestuur had er dus niets te zeggen, maar het viel onder het gezag van de Drost.

In januari 1795 werd het ook gebruikt om ongeveer 40 zieke Franse soldaten onder te brengen.
Tijdens en na de Bataafse Revolutie werd er van 1795-1796 een eskadron Hollandse Dragonders en hun paarden gelegerd.

Tijdens de rondwandeling door Nederland van Jacob van Lennep en Dirk van Hoogendorp in 1823, dus ruim na het overlijden van Kaempff, schreven zij in hun dagboek het volgende:

Dicht bij den haven zagen wij een oud groot slot met vervallene torens, omringd van eene diepe en breede drooge gracht. Wij klopten aan door nieuwsgierigheid gedreven en hoorden dat hetzelve thands tot gevangenhuis verstrekte en wij niet zonder briefje mochten worden toegelaten. Dies zonden wij den Cipier zelven naar de regeering om verlof, hetwelk hij verkreeg en ons inliet. Binnen gekomen vonden wij ons op een groot binneplein van hooge wallen en ingestortte gebouwen omringd Aan de rechterzijde was eene kleine omrasterde plaats waarin verscheide gevangenen ronddwaalden. Dezelve belendde aan het nog opstaand huis. Binnen getreden boden ons de gevangenen pijpedopjens en kanarievogels te koop aan. Na het gevangenhuis, waar achtenveertig misdadigers meest correctionneel gevangen zitten (waaronder ook soldaten) beschouwd te hebben, zagen wij ook hun ruime kerk in een’ vervallen’ toren. Hier gaan Roomsche en Hervormden afzonderlijk te kerk, en in de week tweemalen daags ter School: zoover is men hier het genootschap van zedelijke verbetering reeds vooruit. Boven naar de toren leidde een wenteltrap waarvan elke tred uit een’ steen gebeiteld was, een niet onaanzienlijk kunstgewrocht. Een ander’ toren beklom ik alleen en wandelden over verbrokene balken en muren. Daarna verlieten wij de gevangenis. – Later vernamen wij dat de gevangenen dikwijls verlof krijgen om bij stedelingen te werken.”

Hierboven een impressie hoe de verblijven er kunnen hebben uitgezien.

Deze foto’s zijn van het Gravensteen te Zierikzee, dat voor dezelfde doeleinden als het Oldehuys gebruikt werd.