一些白种人认为“鬼佬”这称呼是对他们的侮辱。在1980年代，有些广东人在“鬼佬”一词被冠上死字，即诅咒对方死亡，而成为一句带有侮辱性的粗话。很多以粤语作为母语的人于公众地方，仍然用“鬼佬”一词称呼白种人或西方人，他们认为这词不含贬义和争议。“鬼佬”一词更出现于香港的儿歌，当时没有人认为有问题。一些居于香港的白种人偶以开玩笑地以“鬼佬”自称，这反映思想开始变化由被视为污蔑到入乡随俗。