Masywne, zaokrąglone wieże w południowo-zachodniej części należą do najwcześniejszej warowni. Ich skala mówi zarówno o potrzebie obrony, jak i o zasobach możnego gospodarstwa. Podczas obchodzenia ruin porównaj krzywizny starszych murów z bardziej prostokątnymi skrzydłami kolejnych epok. Różnica pokazuje, jak następni właściciele przystosowywali odziedziczoną siedzibę, zamiast całkowicie usuwać jej wcześniejszą zabudowę i rozpoczynać inwestycję od początku.
Dirleton uczestniczył w wojnach o niepodległość Szkocji. W 1298 roku zdobyły go wojska angielskie dowodzone przez Antony’ego Beka, biskupa Durham, podczas szkockiej kampanii Edwarda I. Później dochodziło do kolejnych walk. Na początku XIV wieku zamek częściowo rozebrano w ramach polityki Roberta Bruce’a, który pozbawiał przeciwników możliwości korzystania z warowni. Nie należy łączyć tych wydarzeń w jedno oblężenie ani przypisywać królowi Edwardowi osobistego dowodzenia każdym szturmem.
W XIV wieku majątek przeszedł przez małżeństwo do Haliburtonów. Ich rozbudowa objęła między innymi budynek bramny oraz pomieszczenia po wschodniej stronie. Historia nie ogranicza się tutaj do odbudowy zabezpieczeń: wielka sala, zaplecze gospodarcze i kontrolowane wejścia służyły codziennemu funkcjonowaniu ważnej siedziby. Pozostałości opowiadają o mieszkaniu, przyjmowaniu gości i zarządzaniu majątkiem równie wyraźnie jak o ochronie zapewnianej przez mury.
Ruthvenowie przejęli Dirleton na początku XVI wieku przez małżeństwo Janet Haliburton z Williamem Ruthvenem. HES umieszcza ten związek około 1515 roku, dlatego podawanie 1513 jako pewnej daty przejęcia jest mylące. Powstały wygodniejsze pomieszczenia mieszkalne, a gołębnik i ślady urządzania ogrodów pokazują zainteresowania wykraczające poza zamkowe pomieszczenia. Badania archeologiczne ujawniły elementy interpretowane jako pozostałości szesnastowiecznych ogrodów. Dzisiejsze nasadzenia nie są jednak ich pełną rekonstrukcją.
W 1650 roku, po bitwie pod Dunbar, angielskie wojska George’a Moncka obległy i zdobyły zamek. Obecny stan wiąże się z tym atakiem oraz utratą głównej funkcji mieszkalnej, ale także z późniejszym niszczeniem opuszczonych zabudowań. Nisbetowie kupili majątek w 1663 roku i rozwijali pobliskie Archerfield jako swoją siedzibę. Nie przywrócili Dirleton roli najważniejszego domu rodzinnego.
Kolejni właściciele włączyli zamek do komponowanego krajobrazu. Znaczna część dzisiejszego charakteru ogrodów wynika z prac dziewiętnastowiecznych i późniejszych, więc zasługuje na uwagę jako odrębny etap historii. W 1924 roku obiekt objęto państwową opieką konserwatorską. Jest chroniony jako zabytek archeologiczny o numerze SM90096. Opracowanie HES odróżnia opiekę nad zabytkiem od własności nieruchomości; nie należy przedstawiać ustanowienia opieki jako automatycznego zakupu nieruchomości przez państwo.
Rozpocznij od relacji między ogrodem a wyniesionym kamiennym obwodem, a następnie prześledź poszczególne skrzydła tam, gdzie pozwala na to dostęp. Odsłonięte pomieszczenia czynią rozwój zabudowy wyjątkowo czytelnym, a roślinność zapewnia łagodniejsze wrażenie na zakończenie. Urok Dirleton wynika ze współistnienia ufortyfikowanego średniowiecznego domostwa, późniejszych ambicji mieszkalnych i starannie zakomponowanego krajobrazu; każdy z tych elementów wnosi do wizyty coś innego.