วัดช้างไห้ เป็นวัดโบราณสร้างมาแล้วกว่า 300 ปี ตามตำนานพูดว่า พระยาแก้มดำเจ้าผู้ครองนครไทรบุรี อยากได้หาชัยภูมิสำหรับสร้างเมืองใหม่ให้กับน้องสาว ก็เลยได้เสี่ยงอธิฐาน ปลดปล่อยช้างให้ออกเดินทางไปในป่า โดยมีเจ้าผู้ครองเมืองและก็ไพร่พลเดินติดตามไป จนถึงมาถึงวันหนึ่ง ช้างได้หยุดอยู่ในที่แห่งหนึ่ง แล้วร้องขึ้นสามครั้ง พระยาแก้มดำก็เลยได้นับว่าเป็นนิมิตที่ดี จะใช้รอบๆนั้นสร้างเมือง แม้กระนั้นน้องสาวรังเกียจ พระยาแก้มคำก็เลยให้สร้างวัดในรอบๆดังที่กล่าวมาแล้วข้างต้นแทน แล้วให้ชื่อว่า วัดช้างไห้ แล้วนิมนต์พระสงฆ์รูปหนึ่ง ที่ประชาชนเรียกว่า ท่านลังกา หรือ สมเด็จพะโคะ หรือ หลวงพ่อทวดเหยียบน้ำทะเลจืดชืด คำนำของ พระครูวิสัยงาม (พระคุณครูทิม ธมฺมธโร)

วัดช้างให้ทำขึ้นกว่า ๓๐๐ ปี แต่ว่าไม่เคยรู้แจ่มแจ้งว่าผู้ใดกันเป็นผู้ผลิต ตามตำนานบอกว่า พระยาแก้มดำ เจ้าผู้ครองเมืองไทรบุรี อยากได้หาชัยภูมิสำหรับสร้างเมืองใหม่ให้กับน้องสาว(นางเจ๊ะสิตี) ก็เลยได้เสี่ยงอธิษฐานปลดปล่อยช้างคู่เมืองขึ้นเดินป่า โดยมีพระยาแก้มดำน้องสาวแล้วก็ไพร่พลเดินติดตามช้างมาหยุดในป่าแห่งหนึ่งพร้อมเดินวนเวียนรวมทั้งร้องขึ้น ๓ ครั้ง(วัดช้างให้ช่วงนี้) พระยาแก้มดำก็เลยมีความคิดเห็นว่าเป็นนิมิตหมายอันดี ก็เลยจะใช้รอบๆดังกล่าวข้างต้นสร้างเมือง แม้กระนั้นน้องสาวเกลียดก็เลยให้ช้างเริ่มเดินทางหาทำเลที่ตั้งใหม่เจอกระจงขาววิ่งอยู่ น้องสาวก็เลยเชิญไพร่พลวิ่งจับกระจงวิ่งไปรอบๆริมน้ำสีขาว (ตำบลกรือเซะในตอนนี้) แล้วหายไป นางรู้สึกถูกใจ พระยาแก้มดำก็เลยสร้างเมืองให้

แล้วก็เลยเดินทางกลับเมืองไทรบุรีมาถึงที่ช้างเคยหยุดก็เลยค้างดายป่าแล้วก็สร้างวัดชื่อ วัดช้างให้ เมื่อเดินทางถึงเมืองไทรบุรีได้นิมนต์พระภิกษุสงฆ์ซึ่งประชาชนเรียกว่า “ท่านลังกา” หรือ ”สมเด็จพระโคะ” หรือ หลวงพ่อทวดเหยียบน้ำทะเลจืดชืด มาเป็นเจ้าอาวาสองค์แรก ท่านลังกาเดินทางธุดงค์ไปๆมาๆระหว่างเมืองไทรบุรีกับวัดช้างให้และก็ได้สั่งศิษย์ว่าถ้าเกิดท่านตายขอให้นำศพไปกระทำการเผาศพในวัดช้างให้ เมื่อท่านตายที่เมืองไทรบุรี ศิษย์ได้นำพระศพกลับวัดช้างให้เพื่อการเผาศพ ระหว่างเดินทางหยุดที่แห่งใดก็จะปักไม้ไว้ (ตอนนี้ก็เลยมีเจดีย์ ดังที่ต่างๆ) ศิษย์ได้นำอัฐิส่วนใดส่วนหนึ่งกับเมืองไทรบุรี แล้วก็ส่วนใดส่วนหนึ่งฝังไว้ที่วัดช้างให้มีผู้คนมากมายราบไหว้บนบานศาลกล่าวอธิษฐาน เห็นผลตามความต้องการความศักดิ์สิทธิ์ ก็เลยเลื่องลือไปไกล ต่อจากนั้นวัดช้างให้ก็ร้างไปนาน

ปี พุทธศักราช๒๔๘๐ พระครูมนูญเจ้าอาวาส เจ้าอาวาสวัดอานุภาพ หัวหน้าคณะสงฆ์ตำบลทุ่งพลาให้พระตอนมาเป็นเจ้าอาวาส พระตอนได้เชิญราษฎรมาแผ้วป่าสร้างกุฎีศาลาการเปรียญหลังคามุงจาก พร้อมเสนาสนะอื่นๆและก็ได้ลาสึกเมื่อปี พุทธศักราช๒๔๘๔

ปี พุทธศักราช๒๔๘๔ พระคุณครูทิม ธมฺมธโร (พระครูวิสัยงาม) เป็นเจ้าอาวาสได้ตั้งชื่อตามกรมการศาสนาว่า “วัดราษฎร์ซ่อม” สร้างศาลาการเปรียญใหม่ กุฎี ๘ ข้างหลัง สร้างหอพักฉัน(โรงห้องครัว) สร้างหอระฆัง สร้างพระเครื่องลางสมเด็จหลวงพ่อทวด เหยียบน้ำทะเลจืดชืดเนื้อว่านรุ่นแรก ปี พุทธศักราช๒๔๙๗ สร้างโบสถ์ สร้างวิหารติดตั้งรูปหล่อหลวงพ่อทวดสร้างเจดีย์ใส่อัฐิหลวงพ่อทวด สร้างเจดีย์ สร้างกำแพงวัด รวมทั้งซื้อที่ดินตรงกันข้ามวัดสร้างสถานที่เรียนสมเด็จหลวงพ่อทวด ตอนวันที่ ๑๑ เดือนธันวาคม ๒๕๐๗ นำต้นโพธิ์จากอินเดียมาปลูกไว้ พระคุณครูทิมตายปี พุทธศักราช๒๕๑๒ (เป็นเจ้าอาวาส ๒๘ ปี)

เดี๋ยวนี้ได้มีการสร้างรูปเสมือนหุ่นขี้ผึ้งพระคุณครูทิมเท่าองค์จริง ติดตั้ง ในวัดช้างให้ ปี พุทธศักราช๒๕๑๒ พระครูใบฎีกาขาว เป็นเจ้าอาวาส ได้จัดงานพิธีการชูฉัตรทองคำยอดเจดีย์ โดยพระบาทสมเด็จพระเจ้าอยู่หัว ทรงประกอบพิธีชูฉัตรทองคำ ยอดพระเจดีย์วัดราษฎร์ซ่อมแซม (ช้างให้) ตอนวันที่ ๒๙ เดือนสิงหาคม ๒๕๒๐ แล้วก็แก้ไขเจดีย์สมเด็จหลวงพ่อทวด จัดซื้อที่ดินสร้างตึกสถานศึกษาราชมุนีรังสฤษฎิ์ (เป็นเจ้าอาวาส ๙ ปี)ปี พุทธศักราช๒๕๒๑ พระครูอุปถัมภ์ปริยัติธุระ ( ความเจริญรุ่งเรือง อรุโณ ) เป็นเจ้าอาวาสมาจนกระทั่งเดี๋ยวนี้