หลวงพ่อศิลาแต่เดิมประดิษฐานอยู่ที่ ถ้ำเจ้ารามซึ่งปัจจุบันตั้งอยู่ในเขตอุทยานแห่งชาติศรีสัชนาลัย เขตป่าสงวนแห่งชาติ แม่มอก-แม่ลำพัน ซึ่งเป็นสถานที่พักผ่อนของพ่อขุนรามคำแหงและยังเป็นที่หลบภัยข้าศึกศัตรูในอดีต เนื่องจากบริเวณส่วนกลางของถ้ำเป็นที่โล่งมีปล่องแสงอาทิตย์สาดส่องลงมา สามารถบรรจุผู้คนได้จำนวนมาก ภายในถ้ำมีค้างคาวอาศัยอยู่จำนวนมาก ชาวบ้านเชื่อว่าถ้ำเจ้ารามมีความศักดิ์สิทธิ์ ห้ามพูดจาหยาบคายอาจจะลบหลู่เทวดาในถ้ำได้ ชาวบ้านที่มักไปหามูลค้างคาวในถ้ำเพื่อหาเลี้ยงชีพต้องระมัดระวังในการเข้าไปเก็บมูลค้างคาว 

ชาวบ้านที่ได้เข้าไปเก็บมูลค้างคาวได้พบกับพระธุดงค์รูปหนึ่งที่บอกชาวบ้านว่าในถ้ำมีพระพุทธรูปเก่าหลายองค์และองค์ที่งามโดดเด่นกว่าองค์อื่นในถ้ำเจ้ารามเป็นพระพุทธรูปศิลาปางนาคปรก ชาวบ้านจึงได้เข้าไปดูและนำความมาปรึกษาเจ้าอาวาสวัดทุ่งเสลี่ยมซึ่งท่านอายุมากแล้วไม่สะดวกในการทำพิธีการอัญเชิญพระ แต่ความนี้ล่วงรู้ไปถึงครูบาก๋วนเจ้าอาวาสวัดแม่ปะหลวง อำเภอเถิน จังหวัดลำปาง ท่านมีศรัทธาจึงได้รวบรวมผู้คนทำพิธีอัญเชิญพระพุทธรูปปางนาคปรกโดยทำพิธีอัญเชิญองค์พระจากถ้ำเจ้าราม ในขณะเดินทางออกมาจากถ้ำผ่านไปถึงอำเภอทุ่งเสลี่ยมปรากฏปาฏิหารย์ขึ้น ท้องฟ้าในเดือนเมษายนกลับถูกบดบังด้วยเมฆมืดคลึ้มและฝนตกหนักเป็นเวลานานมาก เมื่อฝนหยุดก็มีค้างค้าวบินวนเหนือบริเวณวัดทุ่งเสลี่ยมแล้วจึงบินกลับถ้ำเจ้าราม ด้วยเหตุอัศจรรย์นี้จึงเป็นที่ตกลงยอมรับระหว่างชาวบ้านและครูบาก๋วนยินยอมประดิษฐานพระพุทธรูปศิลาอยู่ที่วัดทุ่งเสลี่ยม จังหวัดสุโขทัยนับแต่นั้นมา

อย่างไรก็ตามได้พบเหตุไม่คาดฝันมีคนร้ายเข้ามาโจรกรรมหลวงพ่อศิลา ที่วัดทุ่งเสลี่ยมจนกระทั่งท่านหายสาบสูญอย่างไรร่องรอยไปนานถึง 17 ปี จนกระทั่งวันที่ 19 ตุลาคม พ.ศ. 2537 จนมีผู้พบหลวงพ่อศิลาที่ประเทศอังกฤษซึ่งมีการประมูลขายที่ Sotheby Institute of Art ในกรุงลอนดอน และมีผู้ประมูลซื้อไปที่ประเทศสหรัฐอเมริกา ซึ่งทางเจ้าของยินดีคืนให้โดยต้องจ่ายค่าเสียหายมูลค่าสองแสนเหรียญสหรัฐ ในที่สุดในวันที่ 16 ธันวาคม พ.ศ. 2539 คณะกรรมการติดตามพระพุทธรูปศิลาได้มอบค่าชดเชยพร้อมเคลื่อนย้ายหลวงพ่อศิลากลับมาประเทศไทยในเงินสองแสนหนึ่งพันเหรียญสหรัฐอเมริกา โดยความช่วยเหลือด้านค่าใช้จ่ายจากกลุ่มเครือเจริญโภคภัณฑ์ เมื่อมาถึงสนามบินดอนเมืองก็ปรากฏสิ่งมหัศจรรย์ขึ้น คือมีค้างคาวบินวนเวียนในสนามบินดอนเมืองทั้งที่มีแสงไฟสปอตไลท์จ้ามาก ค้างคาวก็ยังคงบินวนจนเป็นที่ประหลาดใจของเจ้าหน้าที่ท่าอากาศยานการบิน กรรมการบริหารเครือเจริญโภคภัณฑ์ได้น้อมถวายหลวงพ่อศิลาให้แก่พระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 9 เนื่องในปีกาญจนาภิเษก เมื่อวันที่ 15 กุมภาพันธ์ พ.ศ. 2540 และได้รับพระราชทานคืนพร้อมอัญเชิญกลับไปประดิษฐนาน ณ. วัดทุ่งเสลี่ยมดังเดิมในวันที่ 24 กุมภาพันธ์ พ.ศ. 2540 ซึ่งนับจากวันนั้นจึงถือเป็นวันสมโภชเฉลิมฉลองหลวงพ่อศิลาอย่างยิ่งใหญ่ทุกประเป็นงานประจำปีทุกวันที่ 24 กุมภาพันธ์ จะมีผู้คนหลั่งไหลไปกราบไหว้หลวงพ่อศิลาที่มณฑปวิหารวัดทุ่งเสลี่ยม จังหวัดสุโขทัย