Le système de castes tel qu'il est connu actuellement ne s'est implanté qu'après la conquête de l'île par le général Gadja Mada, au XIVè siècle. A partir de là, les règles des royaumes Hindou Javanais furent définitivement appliquées et l'île divisée en territoire vassaux payant tribus aux princes locaux fraîchement implantés. Mais les balinais vivaient depuis longtemps déjà sous un régime de castes. Ils se regroupaient en différent rangs, dominés par une sorte d'aristocratie combinant pouvoir politique et religieux.

La pénétration Hindoue Javanaise laissa à l'écart les communautés montagnardes, qui restèrent en-dehors du nouveau système féodal. C'est dans ces villages que ce maintient le conservatisme balinais des origines, retranché contre les Princes perçus comme des intrus. Le système des castes hindoues n'y est pas reconnu, et les descendants de l'ancienne aristocratie y retiennent titres et autorité. Dominant ces microsociétés, on trouve les pasek et les bandesa, à la tête des deux principales institutions de la communauté : le temple des origines et l'assemblée. La tradition voulait qu'une fille appartenant à l'une de ces castes, et se mariant à un homme de l'aristocratie Hindou, soit rejetée par sa famille et spirituellement « expulsée » du village. Egalement en haut de l'échelle de ses sociétés archaïques, les forgerons forment une caste à part entière. Les Pande, anciens prêtres du feu, sont les détenteur des secrets de fabrication des kriss magiques, symboles familiaux de virilité. Même les Brahmanes, membres de la plus haute classe, doivent s'adresser à un Pande à l'aide du niveau de langage le plus élevé, si ce dernier à ses outils en main.