Il club nacque nel 1904 dalla fusione di Exeter United e St Sidwell's United.
Nel 1914 giocò allo Stadio das Laranjerias di Rio de Janeiro con la nazionale brasiliana di calcio la prima partita nella storia della selezione sudamericana, che vinse per 2-0. I principali rivali sono i vicini cittadini del Plymouth Argyle, dove danno luogo al famoso West Country Derby, uno dei derby più accesi di tutta l'Inghilterra.
Il club pur avendo trascorso svariati decenni nei campionati della Football League non è mai andato oltre la terza divisione: per questo motivo, il miglior piazzamento mai ottenuto è il secondo posto in Third Division South nel campionato 1932-1933, a 4 punti di distacco dal Brentford vincitore del campionato e promosso in seconda divisione. Inoltre, tra il 1920 (anno in cui è stato tra i membri fondatori della Third Division) ed il 2003 ha giocato ininterrottamente nei campionati della Football League (in terza divisione tra il 1920 ed il 1958, anno in cui è stato uno dei membri fondatori della neonata Fourth Division, e poi alternativamente tra queste due categorie tra il 1958 ed il 2003). Tra il 2003 ed il 2008 ha trascorso cinque stagioni consecutive in Conference League Premier, campionato da cui è stato promosso vincendo i play-off nel campionato 2007-2008, dopo che l'anno precedente era stato finalista perdente. Dopo un'altra promozione, ha giocato in terza divisione dal 2009 al 2012, anno in cui è tornato in quarta divisione, categoria nella quale tra il 2012 ed il 2020 ha perso tre finali play-off (più precisamente nei campionati 2016-2017, 2017-2018 e 2019-2020).