از تاریخ حک شده بر روی سر ستون های این بنا استنباط می شود که بنا تقریبا در تاریخ ۱۳۲۳ ه.ق به اتمام رسیده است. مجموعه تاریخی چالشتر شامل سردر سنگی، خان‌نشین، اندرونی، حمام، انبارها و اصطبل‌ها است. قلعه عیانی و خان‌نشین این مجموعه تاریخی دارای ۳۸ ستون سنگی با سر در و ایوان است.بنا در دو قسمت ساخته شده که وسعت آن تقریبا ۱۲۰۰۰ متر مربع بوده و به شکل و هنر ایرانی در دوران فاجاری ساخته شده است. بنای شمالی تا دهه هفتاد ه.ش مورد استفاده قرار می گرفته درصورتی که بنای جنوبی حدودا نود درصد تخریب شده بود که با همت مهندسان و مرمت گران این بنا برپا شده است.جالب است بدانید علی اکبر دهخدا در هنگام جنگ جهانی که به استان چهارمحال گریخته بود از کتابخانه چالشتر استفاده کرد و تألیف امثال و حکم و لغتنامه خود را با استفاده از منابع موجود در قلعه چالشتر آغاز کرد.این قلعه شامل نقوش افسانه‌ای و اسطوره‌ای، زندگی روزمره، گل و گیاه و نقوش فرشته است. این نقوش به صورت ماهرانه و زیبا خلق شده اند و در برخی موارد به صورت برجسته حجاری شده است. در این مجموعه قلعه، اندرونی با یک دالان با قسمت خان‌نشین ارتباط و ایوان آن ۱۰ستون سنگی دارد. اتاق‌های این مجموعه قلعه نیز با نقوشی به سبک نقاشی لندنی که تلفیقی از هنر نقاشی ایرانی و غربی است، مزین است و از جمله می توان به نقوش گل و گلدان، افسانه لیلی ومجنون و نقوش اسلامی شامل یوسف و زلیخا به همراه خط نوشته‌ای از آیات قرآن اشاره کرد.
این مجموعه قلعه ۵ ایوان دارد و ۵ اتاق نیز در اندرونی آن هستند و در مجموع ۴۰ستون دارد. اندرونی آن به نام قلعه ستوده معروف است. طبقه دوم قلعه دارای پنج اتاق است. اتاق پنج دری و اتاق‌های جانبی آن با نقاشی کتیبه آیات قرآنی صحنه نقاشی یوسف و زلیخا تزئین شده اند.
دو حوض سنگی بیضوی شکل در حیاط دو قلعه وجود دارد. قلعه ستوده با دالانی به قلعه خدارحم خان مرتبط می‌شود. حمام خصوصی این مجموعه از دو طرف، دالان ارتباطی به دو ساختمان است.حمام قلعه تاریخی چالشتر هم مزین به کاشی‌آبی فیروزه‌ای و سفید سربی بوده است. سقف اندرونی این قلعه به صورت قاب‌هایی از چوب گردو است و درها و پنجره‌های اتاق‌های این مجموعه نیز از جنس چوب گردو به صورت گره چینی شده است.
