Tak ako susedná Vrboska i Jelsa bola malou rybárskou osadou na mieste malého rímskeho sídla Civitas Vetus Ielsae (približne v miestach dnešného kempu Mina), ktorá sa začala rozvíjať v 16. storočí, kedy sem utieklo množstvo ľudí z pevniny pred tureckými útokmi. Najstaršou pamiatkou je zrejme pozorovateľňa Tor z obdobia gréckeho osídľovania. Zaujímavá je aj zrúcanina stredovekého hradu na východe obce. Za pozretie stoja i sakrálne stavby, ktoré sú ukážkou renesancie v dalmatínskej architektúre. Dominantou je aj kostol Panny Márie - Ochrankyne zdravia.
Jelsa ako jediná na ostrove má sladkovodné pramene. Po vysušení bažín sú pozemky využívané na poľnohospodárstvo. Inak sa obyvatelia živia hlavne rybolovom a turizmom.
Jelsa poskytuje všetky typy ubytovania od hotelov s niekoľkými hviezdami, cez súkromné apartmány, bungalovy, až po dobre vybavené kempy. Kúpanie je tiež veľmi príjemné, pobrežie je členité, a tak si každý môže vybrať, čo sa mu páči - od skalnatých útesov, cez pláže s vybetónovanými plochami, po kamienkové zátoky (s deťmi prosím vyberajte). Najvhodnejšie je pre deti kúpanie v zátoke Mina v blízkosti rovnomenného kempu. Príjemné sú aj zátoky Malo aj Velo Grebišće s piesočnatým dnom a pozvoľným vstupom do vody. Ďalej potom zátoka Ženčišće a Crkvica. Sem musíte autom alebo na bicykli (cca 4 km).
