根据《中华人民共和国道路交通安全法》规定，不避让行人的行为将被视为交通违法行为，扣分罚款具体视情况而定。一般情况下，不避让行人的违法行为将扣3分，并处以200元罚款。如果情节严重，造成交通事故或者重大人员伤亡，将会面临更加严厉的处罚。