นายสุเมธ เจริญสุข ประธานชมรม CSR เพื่อการท่องเที่ยวตำบลสามร้อยยอด เล่าประวัติของเกาะนมสาว ว่าเกาะแห่งนี้เป็นส่วนหนึ่งในตำนานของตาม่องล่าย ซึ่งเป็นนมข้างหนึ่งนางยมโดย ลูกสาวตาม่องล่าย ซึ่งก่อนที่จะมีศาลมาตั้งเมื่อประมาณ 80 ปีที่แล้ว เกาะนี้จะเป็นสถานที่เรือประมงมาจอดหลบลม หลบพายุ มีอยู่ครั้งหนึ่งมีคนในเรือประมง เห็นลูกไฟพุ่งขึ้นจากเกาะ และเมื่อมีคนเห็นบ่อยขึ้น จึงไปเชิญร่างทรงมาดู ซึ่งร่างทรงบอกว่าที่แห่งนี้มีเจ้าแม่นมสาวสถิตอยู่ จึงได้สร้างศาลขึ้นมานับแต่บัดนั้น ซึ่งชาวบ้านที่เชื่อถือได้เข้ามาบนบานกับเจ้าแม่ แล้วหากได้ตามที่ขอ ก็จะแก้บนด้วยชุดไทยบ้าง ยกทรงบ้าง จนเป็นที่เลื่องลือไปยังพื้นที่ใกล้เคียง ต่างพากันมาขอพรจากเจ้าแม่ ทั้งนี้ในส่วนของยกทรงที่ศาลเจ้าแม่นั้น ได้มีการหารือกับคนในชุมชน ว่าอาจจะนำไปบริจาคให้กับผู้ยากไร้ หรือสถานสงเคราะห์ต่างๆ เพื่อเป็นการส่งต่อให้กับผู้รับ โดยมีเจ้าแม่เป็นสะพานบุญอีกต่อหนึ่ง