Najwcześniejsze ślady życia w Karłowie pochodzą z nowej epoki kamienia (VI tysiąclecie p.n.e.). Neolityczna osada istniała na obszarze Jasy Tepe na zachód od miasta. Plemiona trackie, które zamieszkiwały ziemie wokół dzisiejszego Karłowa w późnej epoce żelaza (VI w. p.n.e. - I w. n.e.), według badaczy są objęte zbiorowym etnonimem Odrisi.
W pobliżu dzisiejszego miasta istniało kilka osad i twierdz: Karłowsko Kale, mała późnoantyczna twierdza z IV-VI wieku. Znajduje się na zboczu góry nad parkiem Besh bunar; Suszicko Kale - znajduje się na południowych stokach Starej Płaniny, na wschód od obecnej dzielnicy Suszica istniała jeszcze w XII-XIV wieku; twierdza nad kaplicą św. Trójcy, na północny wschód od Karłowa, istniała w XII-XIV wieku.
Meczet Kurszum (pokryty ołowianą blachą) został zbudowany w 1485 roku przez osmańskiego przywódcę wojskowego Ali Bej, syna Karly. Meczet Kurszum jest dziś najstarszym zachowanym zabytkiem architektonicznym w mieście.
W Karłowie obecnie znajduje się około 115 domów zabytków kultury. W okresie renesansu w mieście rozwinęło się ponad 30 rodzajów rzemiosł: produkcja lin, produkcja róż, produkcja mosiądzu, miedzi, produkcja skór, tkactwo, złotnictwo, produkcja jedwabiu itp. Karłowo kształtuje się jako dobrze prosperujące gospodarczo miasto z wyjątkowym rozkwitem rzemiosła i handlu, słynące poza granice Imperium Osmańskiego, przy czym znajdował się on głównie w rękach bułgarskich producentów i kupców. Wielcy kupcy Puliewi, Geszowi, Hadżidimitrowi, Georgiewi itp. rozwinęli szeroką działalność handlową na wszystkich rynkach Imperium Osmańskiego oraz z Rumunią, Mołdawią, Rosją, Francją, Anglią itd.
W XVII wieku Awram Jerej Dimitrewicz pracował tutaj jako "wykwalifikowany skryba" i nauczyciel,
przedstawiciel Karłowsko-Adżarskiej szkoły literackiej. W okresie renesansu Karłowo było ważnym ośrodkiem edukacyjnym i literackim. Pracują tu wybitni renesansowi oświecicieli i nauczyciele: Rajno Popowicz, Botjo Petkow - ojciec Hrista Botewa, Hristo Popwasylew, Brajko Hadżigenow, Dimityr Popow i wielu innych.
W połowie XIX wieku zbudowano dwie cerkwie Wniebowzięcia Najświętszej Maryi Panny (przebudowany w 1851 roku), w którym w 1859 roku Wasył Lewski został wyświęcony na hierodiakona w 1859 r., a Św. Nikołaj (1847), w którym po raz pierwszy w 1858 r. obchodzono święto alfabetu słowiańskiego, a dnia 16.01.1878 r. wybrano Pierwszą Radę Miejską. Na podwórku cerkiewnym znajduje się grób matki Wasyła Lewskiego Giny Kynczewej.
W 1892 roku Karłowo wzięło udział w Pierwszej Wystawie w Płowdiwie. Pawilon został zbudowany z funduszy Ewlogiego Georgiewa, gdzie zaprezentowano dzieła lokalnego przemysłu i rzemiosła. Wystawcy z Karłowa otrzymali 3 złote, 19 srebrnych, 13 brązowych medali oraz 2 dyplomy honorowe.
W 1926 r. zbudowano jedną z pierwszych elektrowni wodnych w Bułgarii, elektrownię wodną Stara Reka; w 1933 r. zbudowano linię kolejową Płowdiw - Karłowo, a w 1933 r. winiarnię; zbudowano banki, fabryki i szkoły.
Karłowo jest miejscem narodzin wielu oświecicieli, społeczników, darczyńców, artystów, wojskowych, budowniczych współczesnej Bułgarii.