সময়টা ছিল ১৫৪০ খৃষ্টাব্দ। ভূ-কৈলাসের রাজবংশের বংশধর দিগম্বর ঘোষাল মহাশয় গ্রান্ড ট্রাঙ্ক রোড এবং রাজস্ব সংক্রান্ত ব্যাপারে শেরশাহের নির্দেশ মত কাজকর্ম দেখাশোনার জন্য কংসানদী পথে প্রায়ই আসতেন। তিনি এক দিন কংসানদীর তীরে কোলসড়া গ্রামে রাত্রি নিবাস করেন। এবং এক রাতে মা সিদ্ধেশ্বরী তাঁকে পুজো করার জন্য স্বপ্নাদেশ দেন ও মন্দির প্রতিষ্ঠা করতে বলেন। তখন দিগম্বর ঘোষাল শেরশাহকে তাঁর স্বপ্নাদেশের কথা জানান। যানা যায় শেরশাহ ইসলাম সম্প্রদায় ভূক্ত হয়েও দিগম্বর বাবুর ইচ্ছা পুরন করার জন্য মা সিদ্ধেশ্বরী নামে একটি তাম্র ফলকের ওপর পাঁচশত বিঘা জমি একটি দলিল করে দান করেছিলেন।১৫৪০ থেকে আজ পর্যন্ত মা সিদ্ধেশ্বরী কালীর পুজো হয়ে আসছে জামালপুরের কোলসড়া গ্রামে। সিদ্ধেশ্বরী মায়ের মন্দিরটি নির্মান হয়েছে শ্মশানের ধারে।পঞ্চমুণ্ডের আসনের উপর দেবীর মূর্তি স্থাপন করা আছে এবং দেবীর মূর্তিটি একটি ত্রিশুলকে বেষ্টন করে তৈরী হয়েছে, তাই এই মূর্তিটি ঘরে ও বাইরে অক্ষত অবস্থায় বের করা যায় না। যখন সিদ্ধেশ্বরী কালীর অঙ্গহানী হয় তখন পাঁচজন পুরোহিত মূর্তিটি কে খণ্ডখণ্ড করে কেটে ঝুঁড়িতে ভরে পুকুরে নিরঞ্জন দেয়।ঘোষাল পরিবারের বর্তমান বংশধর সমীর ঘোষাল জানান ১৮২৯ পর্যন্ত সিদ্ধেশ্বরী কালী মায়ের পুজো ঘোষাল বাড়ির পুজো হিসাবেই গণ্য হত। তবে ১৮৩০ থেকে এই পুজো কোলসড়া গ্রামের সর্বজনীন পুজো হিসাবেই বিবেচিত হয়েছে। এই গ্রামে সিদ্বেশ্বরী কালীর একা পুজো হয়। এছাড়া দ্বিতীয় আর কোন কালীর মূর্তী পুজো হয় না। এখানে বলি দান প্রথা আছে। প্রতিবছর চৈত্রমাসের শুক্ল পক্ষে এবং কার্ত্তিক মাসে কালী পুজোর সময় মহা ধুমধাম সহকারে সিদ্ধেশ্বরী কালীর পুজো হয় কোলসড়া গ্রামে।