红绶带，锦香囊。为表花前意，殷勤赠玉郎。——《遐方怨》唐•孙光宪
农历五月被称为毒月，五月初五则是五毒日。古人认为这个月多灾多难，容易被鬼魅侵袭，所以要佩戴香囊，以正气辟邪。香囊中装上香药，能驱虫辟邪。古人也会在香囊上绣鸳鸯、并蒂莲、比目鱼之类送给恋人，以表达爱慕之情。
香囊一般放在三种地方，第一种是车辇上，《杜阳杂编》里描述过唐朝同昌公主车上的香囊“公主乘七宝步辇，四面缀五色香囊，囊中贮辟寒香、辟邪香、瑞麟香、金凤香。此香异国所献也，仍杂以龙脑金屑。刻镂水精、马脑、辟尘犀为龙凤花，其上仍络以真珠玳瑁，又金丝为流苏，雕轻玉为浮动。每一出游，则芬馥满路，晶荧照灼，观者眩惑其目。”
第二种是床帐的四角，汉代《孔雀东南飞》里有“红罗复斗帐，四角垂香囊。”宋代曹勋有诗“蜀锦床前帐，四角垂香囊。上有合欢带，下有双鸳鸯。”香囊里装有安神的香药，一夜好眠。又或者男女情事，床帐里香艳旖旎。
第三种就是系在身上，魏晋时的《定情诗》有“何以致叩叩？香囊系肘后。”这种是系在袖子里，行走间暗香浮动。见父母长辈，系在腰间，是郑重尊敬的意思。也有贴身藏着的，宋代秦观有“消魂，当此际，香囊暗解，罗带轻分”，就是一幅美人褪衣图，宋代何梦桂有“罗袜香囊无觅处，谁有返魂灵药。”这两句皆是写男女燕好之时，香囊也往往是情人感情的见证。