1947年8月6日，“南京路上好八连”前身——华东军区特务团四大队辎重连，在山东省莱阳县城西小园村组建。解放战争中，连队先后参加了淮海、渡江、上海等战役战斗。上海解放后，连队随大部队进驻上海，改编为内卫一团二营八连，负责在南京路等地巡逻执勤。

20世纪五六十年代，八连身处繁华都市，始终发扬艰苦奋斗的优良作风，逐渐形成了“节约五个一”“四个自己动手”等优良传统。木工箱、补鞋箱、理发箱“三箱”传家宝由此产生，并传承至今。

1961年，沈西蒙、漠雁、吕兴臣等以八连为原型创作了话剧《霓虹灯下的哨兵》。毛泽东、周恩来等党和国家领导人先后观看了话剧。毛泽东号召全军向八连学习，写下诗篇《八连颂》：“好八连，天下传。为什么？意志坚。为人民，几十年。拒腐蚀，永不沾……”

1963年，八连被国防部授予“南京路上好八连”称号。第二年，根据话剧改编的电影《霓虹灯下的哨兵》在全国公映。

随着使命任务的改变，八连不再担负在南京路执勤的任务，但他们的身影并没有从南京路上消失。每月10日、20日是八连的“为民服务日”。从1982年开始，每逢这两天，八连官兵都要来到南京路，为居民免费理发、补鞋、磨刀。从1983年开始，八连与南京东路街道云中居委会30多位孤老结对帮扶，定期上门为民服务。

2017年，八连换装转型成为一支新型特种作战力量，不到一年就完成了从“霓虹哨兵”到“特战尖兵”的转变。转型以来，八连出色完成进博会安保等任务。