Najbardziej znanym epizodem jest oblężenie z 1338 roku. Agnes Randolph, hrabina Dunbar, zwana Czarną Agnes, broniła zamku przed armią angielską dowodzoną przez Williama Montagu, hrabiego Salisbury. Obrona zakończyła się powodzeniem. Słynna opowieść o damach odkurzających blanki po ostrzale należy do tradycji otaczającej ten sukces. Jest sugestywnym obrazem nieustępliwości, ale teatralne szczegóły należy oddzielić od dobrze potwierdzonego faktu nieudanego oblężenia. Znaczenie Agnes nie zależy od uznania wszystkich anegdot za równie pewne.
Inna znana historia opisuje zniszczenie osłoniętej machiny oblężniczej zwanej sow, czyli maciorą. Opowieści te należą do pamięci o zamku, a późniejsze wersje wzmacniały ich dialogi i dramatyzm. Można je zachować, nie udając, że każdy gest zapisano w relacji naocznego świadka. Właśnie rozróżnienie wydarzenia i jego literackiego obrazu pozwala docenić oba elementy. Czytelnik poznaje rzeczywistą skuteczną obronę, a jednocześnie rozumie, dlaczego postać hrabiny stała się tak wyrazistym symbolem.
Po jej czasach zamek nadal się zmieniał. Korona umacniała kontrolę nad Dunbar, a w 1488 roku parlament nakazał zniszczenie warowni. Nie był to koniec miejsca: Jakub IV później je odbudował, a potężny blok artyleryjski pochodzi z następnego stulecia. W ruinach znajdują się więc elementy znacznie późniejsze niż obrona Czarnej Agnes. Otwory strzelnicze i rozdzielone skalne stanowiska opowiadają szczególnie wyraźnie o wymaganiach epoki artylerii, kiedy dawne rozwiązania musiały odpowiadać na nowe zagrożenia.
Maria, królowa Szkotów, schroniła się w Dunbar po zabójstwie Davida Rizzia w 1566 roku. W 1567 Bothwell przywiózł ją tutaj podczas kryzysu poprzedzającego ich małżeństwo. Okoliczności tego wydarzenia pozostają przedmiotem sporu, dlatego opis kolejnej dobrowolnej wizyty wprowadzałby w błąd. Jeszcze w 1567 parlament nakazał rozbiórkę zamku. Jego znaczenie polityczne i militarne splotło się z walką o panowanie Marii oraz pozycję Bothwella, a dalszy los warowni zależał od wyniku tego konfliktu.
Kolejne straty przyniosła budowa Victoria Harbour w XIX wieku. Nowe wejście wykuto przez część pozostałości zamku, a port otwarto w 1844 roku. Dzisiejszej relacji wody, skał i ścian nie można więc bez zmian przenosić do średniowiecza. Port sam jest zabytkowym miejscem, lecz przekształcił starszą warownię. Spójrz przez wejście i porównaj oddzielone fragmenty, zamiast oczekiwać ciągłego obwodu murów. W ten sposób łatwiej dostrzec, jak prace służące żegludze nadały ruinom ich obecny kształt.
Czerwony piaskowiec reaguje na zmienne światło, a port pozwala ocenić skalę bez wchodzenia do niebezpiecznych ruin. Odróżniaj zamkowy blok artyleryjski od późniejszej baterii na Lamer Island: to osobne konstrukcje z różnych epok. Najciekawsza historia Dunbar łączy rodową siedzibę, słynną obronę, królewską twierdzę i ruiny przekształcone dla handlu morskiego. Legendy nadają jej charakter, gdy jasno nazywa się je tradycjami. Zachowana architektura dostarcza natomiast spokojniejszego świadectwa miejsca, wielokrotnie dostosowywanego do nowych potrzeb oraz form władzy.