قدمت شهر خورموج به قبل از اسلام بر می‌گردد و وجود آثار و ابنیه تاریخی در این شهر حکایت از قدمت باستانی آن دارد. آثاری همچون بارگاه میرارم بن سام بن نوح، نوه نوح، باقیمانده‌های شهر باستانی خورموج و قلعه محمد خان دشتی از جمله ی آنهاست.
در مورد وجه تسمیه آن گفته می‌شود که «خورموج» از دو بخش خور و موج تشکیل شده است که خور مخفف خورشید و موج یا موچ یامچ یعنی نخل. یعنی خورموج به معنی شهر نخل و خورشید است.
اخلاق و عادات مردم دشتی
مردم دشتی و خورموج مردمی مهربان و خونگرم و در عین حال مهمان نواز ،بی ریا ، صادق، متدین و در انجام مراسمات مذهبی گوناگون جدی و در مواقع غم و شادی شریک و غمخوار یکدیگرهستند. این خصوصیات و طبع بلند ،الهام گرفته از یک فرهنگ غنی و نشات گرفته از تمدن پرشکوه ایرانی و اسلامی است.
تقریبا تمام مردم شهر خورموج به زبان فارسی لهجه دار صحبت می کنند.مهم ترین صنایع دستی شهرستان عبارت است از گبه و گلیم ، قالی ، عبا ، انواع سبد و حصیر ، عبای دشتی که در روستای کردواناز توابع بخش کاکی ساخته می شود دارای شهرت جهانی است.
بیشتر این محصولات در کشورهای حوزه خلیج فارس و کشورهای اروپایی مانند آلمان به فروش می رسد.
قلعه خورموج
برج قلعه خورموج در شهر خورموج از توابع بخش مرکزی شهرستان دشتی در استان بوشهرواقع است. قلعه خورموج یکی از قلعه‌های معروف و تاریخی و یکی از نقاط نگهبانی و جایگاه پاسداران شهر در دوران گذشته بوده‌است.برجی که تا به حال برجای مانده‌است بقایای قلعهٔ عظیمی است که به نام قلعهٔ خورموج مشهور بوده‌است.
قلعه خورموج یکی از آثار شکوهمند و تاریخی استان بوشهراست که هم اکنون یکی از برج‌های آن باقی مانده‌است.قلعه خورموج شامل چهار حصار، چهار قلعه، اندرونی، عمارت مرکزی و قراولخانه و اصطبل می‌باشد.
سبک معماری آن سلجوقی و متاثر از سبک قلعه سازی دوره ساسانی است که با استفاده از طاق‌نماها و گچبری در آرایش دیوارها و درون اتاق‌ها بنا شده است.قسمتی از این قلعه به نام قلعه محمدخان دشتی و قسمت دیگر آن به نام قلعه جلال خان معروف است.
حدود ۱۵۰ سال پیش محمد خان دشتی حاکم دشتی قلعه‌ای ساخت که دارای چهار برج گلی بود و دیوارها و باروها گچی که به ارتفاع ۱۰تا۱۲ متراست که با وسعت تقریبی ۱۲۰در۱۱۰ متر مربع بود.در داخل قلعه مهمانخانه و قراولخانه به سبک معماری ایتالیایی و به سبک بناهای زمان صفوی ساخته شده بود که معماران شیرازی و اصفهانی کار ساختن آن را بر عهده داشتند.