Semella que, orixinalmente, o asentamento do Clan Campbell estivo situado no Castelo de Innis Chonnel, nunha illa do Loch Awe, cando menos desde o século XI. Aquí permanecería longos séculos, nos que o clan foi medrando no seu poder en detrimento do Clan MacDonald.
En 1450 foi mandado construír o primeiro Castelo de Inveraray polo primeiro Lord Campbell, Duncan Campbell.