Der er flere bud på, hvad øens navn betyder. Nogle siger, at det er en gammel term for grotte, andre, at det refererer til en historisk person, og andre, at Rong er et gammelt Khmer ord, der betyder ly eller tilflugt.
Der er fire mindre 'byer' på Koh Rong. Basal infrastruktur er dog stort set ikke eksisterende mellem de fire byer, så transport foregår med båd. I takt med at øen er blevet mere populær, er der de seneste år kommet flere hyggelige guesthouses og bungalows, som er ledet af udlændinge, der har slået sig ned på øen.