唐末、五代及宋代初年，各地方割據(jù)勢力——藩鎮(zhèn)，都設(shè)有掌警衛(wèi)的官員，有“衙內(nèi)都指揮使”“衙內(nèi)都監(jiān)使”“衙內(nèi)都虞候”等。這些職位多由長官的子弟擔(dān)任，如五代時李嗣源、郭成等，都曾以其養(yǎng)子任衙內(nèi)職。宋代以后，世俗相沿，人們便稱官家子弟為“衙內(nèi)”，這時“衙內(nèi)”已不再是官職名稱，而是像“王孫”“公子”“少爺”一樣的稱謂了。

起初，“衙內(nèi)”一詞并無貶義，但在文藝作品中，被稱作“衙內(nèi)”的多為倚仗權(quán)勢、為非作歹和橫行霸道的人，為人所痛恨。于是，“衙內(nèi)”一詞便有了貶義色彩。