В писмените извори град Кюстендил е засвидетелстван за пръв път през 13 г под името Пауталия/ Улпиа Пауталия и се е намирала в центъра на днешния град. Градът бил здраво защитен с крепостните си стени. Специфичните условия на Пауталия, породени от лековитите извори и благоприятния климат поставили на голяма висота почитането на здравеносният бог Асклепий. В негова чест бил изграден здравеносен център (Асклепион), който по мащабност се нарежда веднага след Епидавърския, най-големият в рамките на Римската империя.
Вероятно част от него са Римските терми, изградени през II-III в. От познатите до момента римски терми на територията на България, пауталийските са втори по големина след термите на Одесос.
На най-високата равнинна част на хълма „Хисарлъка“, издигащ се на 0.71км. югоизточно от Кюстендил се е намирала крепост, изградена в края на ІV-началото на V в. Поправяна през VІв, тя преживява Първата и Втората българска държава и е съборена от османските завоеватели през XVв.
В късната античност IV-VIв. Пауталия разполага и с втора крепост, разположена на Хисарлъка. Изключителните градоустройствени условия и икономически предпоставки издигат Пауталия сред най-цветущите селища от онова време. За последен път името на града е споменато през 553, след което се говори вече за Велбъжд.
Центърът, под който се намира античният град Пауталия, е обявен за Национален архитектурен и археологически резерват „Пауталия – Велбъжд“. Проучените паметници и намерените находки позволяват да бъдат анализирани различни периоди от развитието на града, обхващащи твърде широк хронологичен диапазон – от каменно-медната до късносредновековната епоха. Сред най-големите по площ обекти, изследвани в границите на резервата и най-значими, с оглед на разкритите паметници, се открояват „Хисарлъка“, „Килийно училище“, „Партиен дом“, „Младежки дом“, „Източна порта“, „Художествена галерия“, „Читалище“, „Дервиш баня“ и др. Разкритите архитектурни комплекси с висока културно-историческа стойност, датиращи предимно от римската и ранновизантийската епохи – Градски терми, Югоизточна кула, Източна порта и др. са консервирани и експонирани.
