Istana Kellie dibina oleh seorang peladang Scotland namanya dipanggil William Kellie Smith dari sebuah bandar kecil di Scotland. Beliau membina bangunan untuk isteri tercinta dan struktur bangunan sebab sama titik (simbol kasih sayang) seperti Shah Jahan (Taj Mahal). Tetapi cinta itu ialah cerita yang berbeza.
Pada tahun 1890 (seperti yang Malaysia telah dikenali di kali), sebuah Smith muda pada usia 20 meninggalkan ladang rumahnya di Kellas untuk Malaya. Ia adalah tidak diketahui mengapa ia berkelana ke Tanah Melayu untuk peluang-peluang kerjaya yang mencukupi apabila dia benar-benar tiba. Bagaimanapun, beliau bersepadu dalam kepada masyarakat dengan mudah. Beliau bangkit sekitar beberapa peluang perniagaan mencari beberapa kejayaan tetapi ia tidak sehingga dia bertemu dengan seorang pemilik ladang dipanggil Alma Baker. Baker diperolehi beberapa projek kerajaan untuk membina jalan raya di Selatan Perak dan telah memenangi konsesi daripada kerajaan negeri untuk membersihkan 360 hektar hutan di Perak. Perkongsian dalam projek-projek ini menyebabkan agak sedikit keuntungan.
Smith mula menanam pokok-pokok getah dan berkecimpung dalam industri perlombongan timah. Dalam masa, ia telah menjadi pemunya Kinta Kellas Estate dan Kinta Kellas Tin Dredging Syarikat dan untuk membeli sekeping 960 ekar tanah untuk beliau perladangan pokok getah dan ladang seperti di rumah di Batu Gajah.
Melalui pelbagai bidang perniagaan seperti Penanaman Pokok Getah dan Industri Perlombongan Timah, kekayaan Smith meningkat. Pada tahun 1903, beliau kembali ke Scotland untuk berkahwin Agnes kekasihnya. Beliau membawa pulang ke rumahnya di Malaysia dan kemudiannya pada tahun yang dikurniakan dengan seorang anak perempuan yang bernama Helen. Dia mengasihi anaknya tetapi mahukan anak, waris kepada kerajaannya. Agnes miskin mendapati sukar untuk hamil anak kedua. Ia adalah sebelas tahun lagi sebelum dia itu mengandung lagi. Pada tahun 1915, Agnes telah melahirkan seorang anak lelaki bernama Anthony. Dalam sambutan, Smith mula merancang pembinaan sebuah istana besar.
Oleh kerana daya tarikan tentang agama Hindu dan India, dia diperbadankan banyak unsur-unsur dalam ke rumah barunya. Batu-bata dan jubin yang diimport dari India. dia juga mendapatkan bantuan 70 pekerja India dari Madras India Selatan sebagai buruh mahir bagi pembinaan rumah agam itu.
Malang, dia berlari masuk ke satu tetapan utama kembali. Kebanyakan pekerja kontrak Selesema Sepanyol dan meninggal dunia pada tahun 1920-an awal. A kuil dibina 1500 m dari istana untuk dewa Mariamman itu. Ada yang mengatakan ia adalah untuk melindungi orang-orang yang tinggal di hotel itu. Yang lain mengatakan Kellie mempunyai ia dibina sebagai satu cara untuk mengucapkan terima kasih kerana memberikan Mariamman hasrat beliau untuk mempunyai seorang anak lelaki. Walau bagaimanapun, kuil itu masih berdiri dan banyak terus beribadah di dalamnya. The lif pertama di Malaysia terletak di Istana Kellie. Ia bergerak dari bumbung ke bawah untuk
terowong bawah tanah. Beliau juga merancang untuk membina gelanggang tenis tertutup. Atas bumbung yang dikhaskan untuk halaman untuk pihak. Perang Dunia I perlahan proses yang lebih. Akhirnya, Istana Kellie tidak pernah selesai.
Smith mengambil perjalanan singkat ke Britain pada tahun 1926 kononnya dengan anak perempuannya. Ia adalah tidak diketahui mengapa beliau membuat lencongan ke Lisbon, Portugal (sesetengah percaya ia adalah untuk mengambil lif untuk beliau manor baru). Pada bulan Disember tahun 1926, dia menguncup radang paru-paru dan meninggal dunia pada usia 56. Agnes kemudian dibungkus dan meninggalkan Malaysia dengan anak-anaknya kembali ke Scotland. dia menjual istana untuk sebuah syarikat British bernama Harrisons dan Crossfield. Anthony Kellie Smith terbunuh dalam Perang Dunia II. Helen tidak pernah kembali ke Istana Kellie. Satu-satunya perkara yang tinggal rumah pertama adalah laluan yang dilindungi, halaman terbuka dan sebahagian daripada dinding runtuh. Istana Kellie telah diubahsuai dan kelihatan seolah-olah ia tidak pernah disentuh.
Ia juga digunakan sebagai tetapan pada tahun 1999 filem Anna dan Raja. Sebuah syarikat menguruskan harta itu sebagai tarikan pelancong kini. Ada yang percaya ia dihantui oleh keluarga ia dibina untuk.
Semangat William telah dilihat pacing pada waktu malam di lantai koridor ke-2. Helen memakai blaus putih dan rambut kerinting menghantui bilik tidur rumahnya. Hantu bau kemenyan
dan roh-roh yang telah dilaporkan dalam kandang kuda. Menambah kepada misteri, beberapa percaya rumah yang mempunyai bilik tersembunyi dan terowong rahsia bawah tanah.
