Relacje o kampanii Cromwella odnotowują zniszczenie przez oddziały generała George’a Moncka w 1654 roku. Potem nastąpiła odbudowa, ale dostępne opracowania różnie określają jej czas. Historia pobliskiej posiadłości podaje około 1660–1665, natomiast opis architektoniczny publikowany wcześniej w Canmore wiąże prace z muratorem Robertem Nicholsonem około 1670 roku. Pewny pozostaje ogólny przebieg: zniszczona siedziba została poważnie przekształcona w późniejszej części XVII wieku. Nie ma podstaw, by sprowadzać wszystkie te prace do jednego dokładnie datowanego przedsięwzięcia.
Plan przypomina literę L. Mniejsze skrzydło wysuwa się z głównego bloku, a wieże schodowe obsługiwały górne pomieszczenia. Zasadnicza część miała pięć kondygnacji, zaś fragment układu schodowego sięgał wyżej. Choć sylwetka jest surowa, zamek był również domem. Historic Environment Scotland wskazuje prawdopodobne położenie sali i prywatnych pokojów, jednocześnie zastrzegając, że zły stan zachowania uniemożliwia pewne odtworzenie całego wnętrza. Warto zachować tę ostrożność, także próbując wyobrazić sobie codzienne życie dawnych mieszkańców.
Zwróć uwagę na otwory w murach i relację głównego bloku ze zredukowanym skrzydłem. Strzelnice chroniły szczególnie wrażliwe punkty, w tym wejście oraz przestrzenie piwniczne. Nie czyniły jednak całej rezydencji regularną twierdzą artyleryjską. Układ schodów przypomina o wysiłku poruszania się po wysokim domu, gdzie magazyny, zaplecze i prywatne pokoje musiały zmieścić się na ograniczonej powierzchni. Przerwane ściany odsłaniają część tych powiązań, lecz brakujące elementy wymagają wyobraźni, zawsze oddzielonej od tego, co rzeczywiście potwierdza zachowana budowla.
Lojalność rodziny wobec Stuartów łączy miejsce z powstaniami jakobickimi. Lokalna tradycja przypisuje księciu Karolowi Edwardowi Stuartowi wizyty podczas kampanii 1745 i 1746 roku. Konkretne przejazdy i noclegi wymagają mocniejszych dowodów niż ogólny związek zamku ze sprawą jakobicką. Dlatego należy mówić o nich ostrożnie. Lepiej potwierdzony jest przełomowy moment historii ruin: w 1746 roku, po Culloden, oddziały rządowe działające pod dowództwem księcia Cumberland zaatakowały i spaliły Invergarry, kończąc zasadniczy okres użytkowania dawnej siedziby.
Zamku nie odbudowano następnie jako głównej rezydencji rodziny. Późniejszego domu w sąsiedztwie nie należy jednak traktować jako natychmiastowego zamiennika wzniesionego przez tych samych mieszkańców. Invergarry House, dzisiejszy Glengarry Castle Hotel, zaprojektował David Bryce dla Edwarda Ellice’a młodszego; budowano go w latach 1866–1869. To inny rozdział własności i architektury. Zrujnowana wieża oraz późniejsza rezydencja tworzą powiązane, ale odrębne opowieści o posiadłości i ludziach, którzy nadawali jej kolejne formy.
Invergarry jest chroniony jako scheduled monument. Usunięcie wcześniejszego wpisu budynkowego w 2015 roku porządkowało nakładające się formy ochrony, nie pozbawiało zamku statusu zabytku. Traktuj wizytę jako oglądanie z zewnątrz i respektuj granice wokół niestabilnych murów. Kadr z Loch Oich wyjaśnia więcej niż zbliżenie samych ścian. Woda, wysokie pomieszczenia i niewielka skalista powierzchnia przywołują zamieszkaną siedzibę, natomiast wyrwy oraz urwane schody przypominają o ograniczeniach zachowanego świadectwa przeszłości.