Podle antických legend byl Karpathos domovem Titánů. Prvním obyvatelem měl být titán Iapetos – syn boha nebe Urana a bohyně země Gaie – otec známých postav jako Atlas, Prométheus nebo Hélios. Když Titáni v čele s Kronem (Saturnem) prohráli válku s Kyklopy, vedenými Diem, byli svrženi do Tartaru. V té době se prý božstva antického světa přesunula z Karpathu na Olymp.
Doložená historie sahá až do 3. tisíciletí př. n. l., kdy byl ostrov poprvé osídlen. Archeologické nálezy potvrzují přítomnost Mínojců z Kréty, Mykénských Řeků z Balkánu i Féničanů z Kartága. Největší rozmach zaznamenal Karpathos za doby Dórů, kteří zde kolem 1. tisíciletí př. n. l. založili prosperující osady a využili strategické polohy ostrova na křižovatce Evropy, Asie a Afriky.
V roce 478 př. n. l. vstoupil Karpathos do aliance s Athénami a zapojil se do Peloponéské války proti Spartě. Po porážce Athén přešel ostrov pod nadvládu Sparťanů. V roce 397 př. n. l. si však vybojoval zpět samostatnost. Následná staletí přinesla řadu změn – ostrov ovládli Arabové, Maurové, janovský pirát Moresco i Benátčané, kteří jej přejmenovali na „Scarpanto“.
V 16. století padl Karpathos pod tureckou nadvládu, která trvala přes 400 let. Turci ostrov nijak nerozvíjeli, pouze z něj vybírali daně. Po první světové válce se Karpathos dostal pod správu Itálie a během druhé světové války i pod německý vliv.
Dne 4.–5. října 1944 se obyvatelé ostrova postavili na odpor a vyhnali italské i německé jednotky. V roce 1948 se Karpathos stal trvale součástí Řecka.
