Die heutige Pfarrkirche, die Maria Himmelfahrts-Kirche, entstand auf den Fundamenten einer frühgotischen Kirche, die 1535 erweitert und befestigt wurde. Die Sakristei wahrt wertvolles Liturgiezubehör sowie einige Kreuze von künstlerischem Wert. Besonders wertvoll ist das Gemälde "Muttergottes und Folter von Fabian und Sebastian" des flämisch-venezianischen Malers Pieter de Coster. 15. August wird in Jelsa Maria Himmelfahrt gefeiert.
In der Gründonnerstagsnacht findet in Jelsa die KREUZ-Prozession statt, die in Richtung Pitve beginnt und weiter nach Vrisnik, Svirče, Vrbanj und Vrboska führt. Nach einem 22 km langen Fußmarsch kehrt die Prozession zu den ersten morgendlichen Sonnenstrahlen in ihre Heimatkirche zurück. Diese einmalige Tradition, die bereits seit 500 Jahren auf der Insel abgehalten wird, wurde in die repräsentative Liste des immateriellen Weltkulturerbes der UNESCO aufgenommen.