Die mächtigen gerundeten Türme an der Südwestecke gehören zur frühen Befestigung. Ihre Größe zeigt die Mittel eines Adelshaushalts ebenso wie die Anforderungen der Verteidigung. Vergleiche beim Rundgang ihre gekrümmten Mauern mit den späteren, stärker rechtwinkligen Flügeln. Der Kontrast erklärt, wie aufeinanderfolgende Besitzer eine vorhandene Residenz anpassten, statt das Gelände abzuräumen und neu zu beginnen.
Dirleton wurde in die Schottischen Unabhängigkeitskriege verwickelt. 1298 nahm eine englische Streitmacht unter Antony Bek, Bischof von Durham, die Burg während des Schottlandfeldzugs von Edward I. ein. Weitere Kämpfe folgten. Im frühen 14. Jahrhundert wurde die Burg teilweise geschleift, entsprechend Robert Bruces Strategie, seinen Gegnern nutzbare Festungen zu entziehen. Diese Ereignisse sollten weder zu einer einzigen Belagerung zusammengezogen werden noch den Eindruck erwecken, Edward habe jeden Angriff persönlich geleitet.
Durch Heirat gelangte das Anwesen im 14. Jahrhundert an die Haliburtons. Ihre umfangreichen Umbauten umfassten das Torhaus und Wohnräume entlang der Ostseite. Hier geht die Geschichte über die Wiederherstellung militärischer Stärke hinaus: Ein großer Saal, Wirtschaftsräume und kontrollierte Zugänge dienten dem Alltag eines bedeutenden Haushalts. Die Überreste bezeugen Wohnen, Gastlichkeit und Verwaltung ebenso wie den Schutz durch Mauern und Tore.
Im frühen 16. Jahrhundert folgten die Ruthvens durch die Heirat von Janet Haliburton und William Ruthven. HES datiert diese Verbindung auf etwa 1515; ein exaktes Übergangsjahr 1513 wäre daher irreführend. Die Familie ergänzte komfortablere Wohnräume, während Taubenhaus und Hinweise auf Gartenanlagen Ambitionen über die Burgzimmer hinaus erkennen lassen. Archäologische Arbeiten fanden Spuren, die als Gartenelemente des 16. Jahrhunderts gedeutet werden. Die heutige Bepflanzung ist jedoch keine vollständige Rekonstruktion davon.
Nach der Schlacht von Dunbar belagerten und eroberten englische Truppen unter George Monck Dirleton 1650. Der spätere Ruinenzustand geht auf diesen Angriff, das Ende der hauptsächlichen Wohnnutzung und einen viel längeren anschließenden Verfallsprozess zurück. Die Familie Nisbet kaufte das Anwesen 1663 und baute ihre Residenz im nahen Archerfield aus, statt Dirleton wieder zum Hauptwohnsitz zu machen.
Spätere Besitzer bezogen die Ruinen in eine gestaltete Landschaft ein. Vieles am heutigen Gartencharakter stammt aus dem 19. Jahrhundert und aus späteren Arbeiten. Dadurch erhält der Ort eine weitere Geschichte, die für sich Beachtung verdient. 1924 wurde die Burg unter staatliche Obhut gestellt; sie ist als Scheduled Monument SM90096 geschützt. Die Bewertung von HES unterscheidet zwischen Betreuung und Eigentum. Staatliche Obhut sollte nicht automatisch als staatlicher Kauf beschrieben werden.
Beginne mit der Beziehung zwischen Garten und erhöhtem steinernem Burgbezirk und folge dann, soweit zugänglich, den verschiedenen Gebäudeflügeln. Die offenen Räume machen die Entwicklung ungewöhnlich gut nachvollziehbar, während die Bepflanzung einen sanfteren letzten Eindruck hinterlässt. Dirletons Reiz liegt im Nebeneinander eines befestigten mittelalterlichen Haushalts, späterer Wohnansprüche und einer sorgfältig gestalteten Landschaft. Jede dieser Ebenen trägt etwas Eigenes zum Besuch bei.