Kasteel en dorp van Borgvliet zijn afgebeeld op een kaart uit 1570 die de zojuist gebroken dijken aangeeft. GA Bergen op Zoom, ARRI 1558 kaart 2 (voorheen VTH 1466). Op deze kaart ook de Geertrudisbronne. Ook op kaart van Van Deventer, 1545.

Uit Van Ham, 2003:

Eertijds ten zuidwesten van het vroegere dorp (Oud-)Borgvliet gelegen kasteel, op een plek die zich thans in de nabijheid van de kruising van de Laan van Hildernisse-Zuid en de Laan van Everswaard bevindt.

Het is niet duidelijk wanneer er voor het eerst van een versterkt huis sprake was en of de plaats Borgvliet zelf aan deze burch zijn naam ontleende. Bij graafwerkzaamheden op het vroegere kasteelterrein werden bakstenen (zogenaamde kloostermoppen) uit de dertiende eeuw aangetroffen. Vermoedelijk was liet gebouw identiek met het in een oorkonde van 1359 genoemd stenen buis aldaar. Volgens een akte uit 1426 had 't huus van Borcbvliete een neerhof, schuren, stallen en een duifhuis.

De heer van Bergen op Zoom verwierf het kasteel van de laatste heer van Borgvliet bij aankoop van de heerlijkheid in 1481. In de desbetreffende oorkonde wordt het beschreven als de groote steenen huysingbe metter torren boven op den berch gestaen en zijn andere bijgebouwen genoemd. Tot de bijbehorende domeinen behoorde o.a. de Warande (jachtgebied) in de Oostmoer. In 1558 noemt een akte het 'principale huus' of 'donjon'van Borgvliet en de omringende hof[GABoZ, ARR inv.nr.9, res. 13 mei 1558.]. Vooral de markiezen Antoon en Jan IV van Glynies verbleven er herhaaldelijk. Zij lieten verbeteringen aanbrengen aan grachtenstelsel, bruggen en sluizen. Belangrijke werken vonden plaats in 1503/1505 aan de 'poort opte brugge.'

Het kasteel werd in 1568 door een storm en in 1570 door een overstroming sterk beschadigd. Franse troepen die er dat jaar gelegerd waren, brachten vernielingen aan. In november 1571 werd de inboedel openbaar verkocht. Hout en ijzer werden elf jaar nadien uit de gebouwen gesloopt. Een afbeelding van de ru‹nes komt voor op het stadsgezicht door Samuel de Swaeff en Jacob van den Heede (ab Heden) uit 1634.[Van Ham, 2001.] Nog in 1657 werden stenen en puin daaruit verkocht. Door de omstandigheid dat liet terrein drie eeuwen lang open lag voor overstromingen geraakte hetgeen er van het kasteel nog over was met lagen slijk bedekt.[Juten, 1935, afl. Borgvliet 168 - 169; Vermunt, 1994.]

Parochieel: Het kasteel van Borgvliet had – zover bekend – geen kapel. Het hoorde onder de parochie Bergen op Zoom, patrocinium: Sint-Gertrudis, bisdom Luik.[Bijsterveld, 1993, Bijlage 3.]

Staatkundig ca 1500: hertogdom Brabant, land van Bergen op Zoom.

Ham, W.A. van. 96 Bergen op Zoom. IN: Koeman, C., J.C. Visser. De stadsplattegronden van Jacob van Deventer. Map 8. Nederland: Noord-Brabant en Limburg. Alphen aan den Rijn, 1992 (inleiding), 1998 (map 8). (ISBN = 90 6469 732 9).

Ham, W.A. van. Het stadsgezicht op Bergen op Zoom door Samuel de Swaef (1634) herdrukt. De Waterschans 31 (2001) 101 - 115.

Ham, W.A. van. Historische stedenatlas van Nederland. Aflevering 7 Bergen op Zoom. Delft (Delft University Press), 2003. (100 blz., 1 losse kaart, geill., ISBN 90-407-2452-0) Euro 22,50

Juten, G.C.A.. De parochiën in het bisdom Breda 1. Dekanaat Bergen op Zoom; 2. Dekanaat Breda. Bergen op Zoom, 1935.

Vermunt, M.. Het kasteel van Borgvliet: Het "Slikpaleis" onder de Plaat. De Waterschans 24 (1994) 42 - 45.[KUB]