Най-красивата легенда, която и днес калоферци с любов разказват е свързана с основателят на града в началото на ХVI век, прочутият Калифер войвода. Много години той и неговата славна дружина били страшилище за поробителите и истински закрилници за местното население под Юмрук чал.
След като сключил примирие с другите хайдушки войводи, султан Селим I сключил мир и с Калифер войвода. Предложил му право да избере място за заселване и султански привилегии за бъдещото дервенджийско село край Стражата.
Много време търсил Калифер войвода подходящо място и най-накрая се спрял на гъстите гори край река Тунджа, в полите на планината и недалеч от богатите земи на Тракия. Изсекли горите хайдутите, построили къщи, решили да се задомят като откраднат красиви и работливи моми от Сопот.
В турските документи градът е споменаван през 1576 година под името Калуфер дербент.
Легендите разказват за прочутото дервенджийско село, което турците наричали Улзунолук (Дългото корито). През годините на Възраждането, благодарение на работливите калоферци в града се развили занаятчийството и търговията, скотовъдството и земеделието, а градът се прочул в Турската империя като Алтън Калофер (Златен Калофер) – с гайтани и шаяци, китеници и дантели, с ковани изделия и майстори резбари, розово масло и коприна, с красиви и богато уредени калоферски къщи, с черкви и манастири, училища, учители и ученици.