最早以南蛮代称南方人（主要指楚人）的是战国的《孟子·滕文公上》“南蛮鴃舌之人”，意思是说南方的楚人说话如鸟的叫声一般。《吕氏春秋·恃君览·召类》说：“尧战于丹水之浦，以服南蛮”。

到了明清朝交替之际，清兵入关后对汉人开始了大屠杀， 各地颁发剃发令：“汉蛮子不剃发者以违制论斩。 ” 一个清兵，遇见近五十名青壮男子，清兵横刀一呼：“蛮子来！蛮子来！”这个时候，蛮子这一称呼，骂人的意味就很浓了。