不可以佩戴恶僧橄榄核的人是孩子和无宗教信仰者，因为恶僧橄榄核是基督徒信仰的象征，它表达了信仰、力量和勇气，颜色和形状也代表了不同的品质，基督徒信仰的人应该有一种尊敬和荣耀的态度，因此只有信仰者才可以佩戴恶僧橄榄核。此外，恶僧橄榄核的使用还受到宗教的限制，如天主教会限制佩戴恶僧橄榄核的人数、场合、地方等，因此，只有信仰者能够得到宗教的认可才可以佩戴恶僧橄榄核。