Avec ses façades colorées tout autour de sa crique naturelle, Tobermory est l'une des villes insulaires les plus instantanément reconnaissables d'Écosse.
Pendant la période d'accalmie qui suivit la révolte jacobite de 1745, la British Fisheries Society fut chargée d'établir des stations de pêche afin d'exploiter les stocks de poissons locaux et de créer des emplois. Le superbe port naturel qu'offre la baie de Tobermory attira leur attention et la construction d'une nouvelle colonie démarra en 1787, dans le respect de la topographie locale. Ainsi s'élevèrent, au niveau de la mer, des rangées de boutiques et de commerces surmontées de logements ouvriers.
Le tracé d'origine est toujours visible aujourd'hui. Tobermory finit par devenir un port de commerce général plutôt qu'un port de pêche notoire. Aujourd'hui, la baie a plus tendance à se remplir de bateaux de plaisance, signe que le tourisme tient une place de choix pour cette petite ville insulaire.
La légende veut que l'épave d'un galion espagnol, chargé d'or, se trouve quelque part dans la vase au fond de la baie de Tobermory. Selon certains témoignages, en 1588, le Florencia (ou Florida, or San Francisco), un navire de l'Invincible Armada, dans sa tentative de rejoindre l'Espagne par l'Atlantique Nord, jette l'ancre à Tobermory dans le but de se ravitailler. À la suite d'un litige relatif au paiement (ou peut-être, selon le folklore local, un sort jeté par la sorcière Dòideag), le navire prend feu et la poudrière explose, entrainant le naufrage du navire. Dans ses cales, la légende veut qu'il y avait 300 000 livres en lingots d'or. D'autres sources affirment le navire était le San Juan de Sicilia (ou San Juan Baptista), pour lequel les archives indiquent, qu'il transportait des troupes, et pas de trésor. Quelle que soit la véritable histoire, aucun trésor significatif n'a jamais été récupéré dans la baie de Tobermory.
Fondée en 1796, la petite distillerie Tobermory est la seule de l'île. Elle ferme ses portes et les rouvre plusieurs fois. Elle distille à nouveau régulièrement depuis 1990, et en 1993 elle est rachetée par le groupe écossais Burn Stewart et est devenus pour certains visiteurs la principale attraction.
