Името Костур произлиза от кост, защото местността прилича на скелет. Оттук идва Скелетрон – гръцка форма на името. Гръцкото име на града е Καστοριά (Касторя). Предполага се , че идва от думата κάστρο (кастро, означаващо „крепост“, или „замък“).
През 864 година за първи път град Костур влиза в границите на Първата българска държава. В 904 година българският статут се препотвърждава чрез договор на цар Симеон с Византия . 72 години по-късно Костур отново е български, но този път под властта на военначалника Самуил, който по-късно е коронован за български цар. През 1017 година византийският император Василий II Българоубиец превзема Костур.
След 1204 година войските на цар Калоян завладяват за трети път Костур. Градът е в български ръце до средата на 13-ти век.
През 19-ти век, в града мнозинството от населението са гърци и турци. Околните села са чисто български. От Костур, който е митрополитски център, се разпространява гъркоманията в близките български населени места. Все пак в града живеят и няколкостотин българи. Българският свещеник Търпо Поповски от Косинец е в основата на организирането на първото българско училище в град Костур в учебната 1882 – 1883 година.
В „Етнография на вилаетите Адрианопол, Монастир и Салоника“, издадена в Константинопол в 1878 година и отразяваща статистиката на мъжкото население от 1873 година, Кастория е показан като град с 1600 домакинства и 2000 жители мюсюлмани, 650 българи, 700 гърци и 750 евреи.
Към 1900 година в града живеят 6190 жители, от които 300 българи-християни, 1600 турци, 3000 гърци, 300 арнаути, 750 евреи и 240 цигани.