如今人們提到「紅杏出牆」，總以為是指女性越軌的情感，但古人并無此意。最早的「紅杏出牆」詩，乃是晚唐詩人吳融所作之《途中見杏花》：「一枝紅杏出牆頭，牆外人行正獨愁。長得看來猶有恨，可堪逢處更難留。林空色曙鶯先到，春淺香寒蝶未游。更憶帝鄉千萬樹，澹烟籠日暗皇州。」后來，金代的劉豫寫《杏》：「竹塢人家瀕小溪，數枝紅杏出疏篱。門前山色帶烟重，幽鳥一聲春日遲。」南宋詩人陸游也寫過一首《馬上作》：「平橋小陌雨初收，淡日穿云翠靄浮。楊柳不遮春色斷，一枝紅杏出牆頭。」以上皆是寫實景的佳作，詩中的「紅杏出牆」僅指詩人眼前的景物，無言外之意。最有名的「紅杏詩」莫過於南宋葉紹翁的《游園不值》，詩云：「應憐屐齒印蒼苔，小扣柴扉久不開。春色滿園關不住，一枝紅杏出牆來。」當時，詩人去訪問一位隱士園亭，但輕輕敲門，隱士的小院柴扉不見打開。於是詩人推測道，這可能是擔心游客們的「屐齒」會踩傷他家的青苔，暗指主人不願意就俗。「紅杏出牆」在這里，是對隱士品德的赞賞和敬仰，不知后人是怎樣將它理解為越軌之情的。