Рыльск впервые упоминается в летописи под 1152 годом в связи с походом Юрия Долгорукого на Чернигов. В конце XII века образовалось удельное Рыльское княжество. Первым его князем считается Святослав Ольгович (происходивший из новгород-северских князей), который участвовал вместе с рыльской дружиной в известном походе Игоря Святославича на половцев, описанного в «Слове о Полку Игореве» (не следует его путать с другим Святославом Ольговичем, сыном Олега Черниговского, умершим в 1164 году). Рыльск каким-то образом пережил монгольское нашествие, хотя князь Мстислав Глебович Рыльский был убит монголами в 1241 году, и оставался удельным княжеством и дальше, пока в 1355 году не попал в состав Великого Княжества Литовского. Там он благополучно находился до 1454 года, когда литовский (он же польский) король Казимир Четвертый передал Рыльск во владение бежавшему в Литву Ивану Шемяке, сыну Дмитрия Шемяки.
В это время восточные окраины Литвы — современная южная Россия и северо-восточная Украина — состояли из мелких православных княжеств, формально подчинявшихся Литве, защищавших ее от приходивших от степи татар, и периодически поставлявших войска для литовских походов.
К концу XV века стало ясно, что объединенное к тому времени Московское княжество становится ближе и сильнее Литвы, и все эти православные князья стали один за другим переходить под покровительство Ивана Третьего.
В 1500 году так же поступил сын Ивана Шемяки, Василий Шемяка. Под предлогом того, что Литва принуждает его к переходу в католичеству, он подал челобитную Ивану Третьему о переходе на русскую службу. В 1503 году переход был оформлен мирным договором между Москвой и Литвой. Впрочем, в 1523 году, когда удельные князья, даже и союзные, Москве уже были не нужны, последнего удельного князя в русских землях Василия Шемяку обвинили в измене и посадили в тюрьму, откуда он уже не вышел, а Рыльск перешел в прямое подчинение Москве.
В XVI веке это был пограничный город, постоянно отражавший нападения из степи, высылавший в степь сторожей; только в 1571 году сторожевая линия была передвинута южнее.
В Смутное время Рыльск стал одним из первых городов, поддержавших Лжедмитрия Первого, и впоследствии несколько раз переходил из рук в руки. В следующий раз боевые действия приходят в Рыльск в Северную войну, в 1709 году. В 1708 году при административной реформе Петра город попадает в Киевскую губернию, затем в 1727 году вместе с Севской провинцией, к которой он принадлежал, в Белгородскую, а в 1779 году становится уездным городом Курского наместничества (впоследствии Курской губернии). В 1784 году город получил генеральный план с прямоугольной сеткой улиц. В XVIII и XIX веках Рыльск был довольно значительным купеческим городом.
В конце 19 в. Рыльск являлся важным торговым центром (зерно, пенька, конопляное масло, сало, мед и воск). Рыльское купечество вело дело не только на внутреннем рынке, но и за границей.
В 1856 г. в уездном городке Рыльск Курской губернии насчитывалось 14 церквей, 1520 домов, 70 лавок.
О гербе города: «В золотом щите черная отрезанная кабанья голова, с червлеными глазами и языком, и серебряными клыками, в вольной части герб Курской губернии»
Утвержден 21 июля 1893 г.
Старый Рыльск на открытке
