Since the 11th century the above-mentioned manor/castle belonged to the Beaufort de Celles family (later Liedekerke-Beaufort), who inhabited the Castle of Vêves from the 15th century. The grandson of the count who left the Castle of Vêves, Hadelin de Liedekerke-Beaufort, decided not to restore the old castle, but to consider the construction of an entirely new castle, which more suited the taste of the 19th century. In 1866 he commissioned the English architect Edward Milner, who was known throughout Europe. He opted for the then very popular neo-gothic style for the interior and the finish of the building, which also looks very Scottish.
Between 1939 and 1945 the castle came into the hands of the German occupier. After the Second World War it was partly made available to the NMBS. They converted the left wing into a holiday residence for groups of children and young people, while the count continued to inhabit the right wing. In 1958 the count finally left the castle to settle in the nearby farmhouse, on the site of the former manor.
After the castle became vacant in 1991, it quickly fell into disrepair. In 2009, almost all 550 windows in the castle were destroyed and complete stairwells collapsed in some parts of the building. The municipality of Celles has already made a bid to take over the castle and the land several times, but the family did not want to give it up yet. On 5 February 2015, the castle was removed from the list of heritage, thus being no longer protected against possible demolition. A month later a demolition request was submitted by the owner of the castle itself. The demolition started on Monday October 24, 2016.

Het kasteel behoorde al sinds de 11e eeuw toe aan het geslacht Beaufort de Celles (later Liedekerke-Beaufort), die vanaf de 15e eeuw het Kasteel van Vêves bewoonden. De kleinzoon van de graaf die het kasteel van Vêves verliet, Hadelin de Liedekerke-Beaufort, besloot om het oude kasteel niet te restaureren, maar de bouw van een geheel nieuw kasteel te overwegen, dat meer bij de smaak van de 19e eeuw paste. In 1866 gaf hij de opdracht aan de Engelse architect Edward Milner, die in heel Europa bekend was. Deze koos voor de toen erg populaire neogotische stijl voor het interieur en de afwerking van het gebouw, dat tevens ook erg Schots aandoet.
Tussen 1939 en 1945 kwam het kasteel in handen van de Duitse bezetter. Na de Tweede Wereldoorlog werd het deels aan de NMBS ter beschikking gesteld. Zij verbouwden de linkervleugel tot vakantieverblijf voor groepen kinderen en jongeren, terwijl de graaf de rechtervleugel bleef bewonen. In 1958 vertrok de graaf definitief uit het kasteel om zich in de nabijgelegen hoeve te vestigen, op de plek van het voormalige landhuis.
Nadat het kasteel leeg kwam te staan in 1991 raakte het snel in verval. Anno 2009 zijn nagenoeg alle 550 ruiten in het kasteel gesneuveld en zijn in sommige delen van het gebouw complete trappenhuizen ingestort. De gemeente Celles heeft al enkele malen een bod gedaan om het kasteel en de grond over te nemen maar de familie wilde nog geen afstand doen van het kasteel. Op 5 februari 2015 werd het kasteel geschrapt van de lijst met erfgoed, waardoor het niet meer beschermd is tegen een eventuele sloop. Een maand later werd een sloopaanvraag ingediend bij de gemeente door de eigenaar van het kasteel zelf. De afbraak is begonnen op maandag 24 oktober 2016.