Pierwotnie oba budynki dzieliło około trzech metrów. Ten niezwykły układ mówi więcej niż prosta opowieść o dwóch rywalizujących właścicielach: dokładne przyczyny jego powstania pozostają niepewne. Otwory, zamurowane wejścia i pozostałości przejść pokazują wielokrotne zmiany komunikacji. Sale, komnaty oraz zaplecze gospodarcze łączyły mieszkańców w sposób, który obecna trasa odtwarza tylko częściowo. Warto oglądać Huntingtower jako rozwijającą się rezydencję, a nie projekt ukończony jednorazowo w określonym roku.
W sali wieży wschodniej malowane deski i belki zdobią przeplatające się wzory, roślinność oraz formy zwierzęce. Strop zwykle datuje się na około 1540 rok, lecz opracowanie HES odnotowuje także propozycję datowania około 1580 roku. Dokładna metryka wymaga więc ostrożności. Zachowane fragmenty malowanych tynków przypominają, że odsłonięty kamień nie był zamierzonym wykończeniem każdego wnętrza. Późniejsza konserwacja odsłoniła i zabezpieczyła dekoracje, ale także zmieniła ich wygląd; dzisiejszy obraz obejmuje oryginalną substancję oraz ślady kolejnych zabiegów.
Maria Stuart zatrzymała się tutaj w 1565 roku, niedługo po ślubie z lordem Darnleyem. Zupełnie inny charakter miało królewskie spotkanie w sierpniu 1582 roku, kiedy możni pod przywództwem Williama Ruthvena, pierwszego hrabiego Gowrie, przejęli kontrolę nad młodym Jakubem VI. Tak zwany Raid of Ruthven rozpoczął okres politycznej zależności monarchy. Nie należy jednak wyobrażać sobie dziesięciu miesięcy uwięzienia w jednej komnacie Huntingtower: czas trwania rządów stronnictwa i miejsce pobytu króla to odrębne zagadnienia.
Ostateczny upadek rodziny nastąpił po wydarzeniach nazywanych spiskiem Gowrie w 1600 roku. Rozegrały się one w miejskiej siedzibie rodu w Perth, nie w tym zamku. Zginęli John, trzeci hrabia Gowrie, oraz jego brat Alexander; majątki skonfiskowano, a Place of Ruthven przemianowano na Huntingtower. Nie był to ten sam epizod co przewrót z 1582 roku. Historycy przedstawiali sprzeczne interpretacje zakresu i motywów domniemanego spisku, dlatego relacji o udaremnionym zamachu nie warto przedstawiać bez zastrzeżeń.
Zamek następnie znalazł się w rękach Murrayów, początkowo działających w imieniu Korony; w 1663 roku rodzina nabyła go na własność. Pod koniec XVII wieku zabudowano przestrzeń między wieżami, dodając reprezentacyjne schody i próbując ujednolicić fasadę. Później rezydencja podupadła, a przez pewien czas mieszkali tutaj pracownicy zakładu włókienniczego. Opieka państwowa rozpoczęła się w 1912 roku. Podczas wczesnych prac konserwatorskich usunięto część późniejszego wyposażenia, by odsłonić starsze elementy. Obecnie budowlę chroni wpis scheduled monument SM90164.
Miejscowa legenda o Skoku Dziewczyny nadaje wąskiej szczelinie dodatkowe znaczenie: młoda kobieta miała przeskoczyć między wieżami. Warto zachować tę opowieść jako folklor, nie jako dowód udokumentowanej ucieczki. Tradycja, malowane wnętrza i zmieniające się fasady tworzą razem coś ciekawszego niż katalog królewskich nazwisk. Przyjrzyj się szczególnie stykom murów, dawnym wejściom i różnicom wysokości. To właśnie tam najlepiej widać, jak kolejne pokolenia przekształcały niewielką rezydencję w Perthshire.