ประวัติความเป็นมาบ้านควนชุม ไม่มีหลักฐานทราบที่แน่ชัด แต่มีเรื่องราวเล่าสืบเป็นตำนานพอจะจับเค้าได้ว่า สมัยพระยาศรีธรรมโศกราช (เจ้าผู้ครองนครศรีธรรมราช) ได้สร้างพระบรมธาตุ (พระมหาธาตุเจดีย์) ขึ้นที่หาดทรายแก้ว (พ.ศ.1098)
เจ้าผู้ครองนครลังกา (ศรีลังกา) ทราบข่าวก็เกิดความเลื่อมใสศรัทธา ได้รวบรวมทรัพย์สินเงินทอง โดยเฉพาะทองคำ เพื่อนำมาสร้างปรียอดพระบรมธาติเดินทางมาโดยเรือสำเภาพร้อมข้าราชบริพารจำนวนมากพร้อมกับนางชี ซึ่งนางเป็นที่เคารพนับถือของพวกเขาเดินทางร่วมมาด้วย ภายในเรือสำเภามีพระพุทธรูปทองคำ ฆ้องทองคำ และของมีค่ามากมาย เมื่อเดินทางมาถึงเขตอำเภอร่อนพิบูลย์ถึงเกาะแห่งหนึ่งคือ “เกาะคนชุม” เรือสำเภาเกิดอับปาง และขณะนั้นเจ้าผู้ครองนครลังกาทราบข่าวว่าการสร้างพระบรมธาตุเสร็จแล้ว ก็เกิดความเสียใจที่ไม่สามารถร่วมสร้างพระบรมธาตุได้ จึงพักอยู่ที่เกาะแห่งนี้อยู่ระยะหนึ่ง และได้หาที่ทำเลเหมาะสมบนยอดเกาะสร้างพระพุทธรูปไว้ที่เกาะนี้เพื่อทดแทนการที่ไม่ได้ร่วมสร้างพระบรมธาตุ ซึ่งพระพุทธรูปองค์นี้ปัจจุบันเป็นพระประธานอยู่ในอุโบสถวัดควนชุม มีลักษณะที่งดงามหาที่ตำหนิมิได้ มีความศักดิ์สิทธิมาก กล่าวกันว่าเคยมีช่างฝีมือมาลอกแบบ หรือถ่ายแบบเพื่อนำไปสร้างพระพุทธรูปแบบเหมือนพระพุทธรูปองค์นี้ปรากกฎว่าแบบที่ได้ไปไม่สมบูรณ์แบบ เช่น พระพักต์บิดเบี้ยว
กล่าวกันว่า นางชี ได้นำข้าวของมีค่าต่าง ๆ เข้าไปอยู่ในถ้ำที่เกาะนี้ซึ่งต่อมาถ้ำแห่งนี้ได้ชื่อว่า “ถ้ำนางชี” ปัจจุบันถ้ำแห่งนี้ถูกดินทับถมปิดปากถ้ำไม่มีใครสามารถบอกได้ว่าถ้ำอยู่แห่งใดของเกาะ ส่วนพระพุทธรูปทองคำเล่ากันว่าได้นำไปประดิษฐานไว้ที่ยอดเนินของเกาะและโบกปูนทับไว้เพื่อป้องกันโจรกรรม
เรื่องราวของเกาะควนชุม ได้เลือนหายไปจากความทรงจำจนไม่มีใครทราบว่าบนเนินเกาะมีพระพุทธรูปองค์หนึ่งประดิษฐานอยู่กลางป่า จนกระทั่งเหตุการณ์ประหลาดเกิดขึ้น เมื่อมีช้างป่าได้อาละวาดแทงไม้น้อยใหญ่ล้มระเนระนาด และมีผู้พบพระพุทธรูปองค์หนึ่งตั้งอยู่กลางแดด จึงมีผู้คนเดินทางไปกราบไหว้และมีการสร้างหลังคากันแดดกันฝนให้ ภายหลังได้มีผู้คนได้เข้าไปอาศัยอยู่หนาแน่นกลายเป็นชุมชนย่อย ๆ และได้จัดสร้างวัดขึ้นบนยอดเนิน บริเวณที่เป็นทะเลก็ตื้นเขินกลายเป็นทุ่งนาไปหมด เกาะคนชุมจึงกลายสภาพเป็นเนินหรือควน ซึ่งต่อมากลายเป็นที่มาของชื่อ จาก “เกาะคนชุม” เป็น “ควนคนชุม” ต่อมาภาษากร่อนไปเป็น ”ควนชุม” อย่างที่เรียกกันอยู่ในปัจจุบันนี้