应该清洁水龙头。由于经常开关水龙头会使内部的零件出现水垢、霉菌等，而这些都会影响水的口感，导致出现有霉味的水，所以一定要及时清洁水龙头，尤其在使用新水龙头时，也有必要定期去清洁，以免出现问题。此外，可以在水龙头内加入一些适量的柠檬汁或者白醋，并将其放置片刻，然后再用清水冲洗掉，以免水龙头上产生细菌、苔藓等，也可以起到一定的消毒作用，使用的水更加清澈香甜。