Gambaran pada setiap sudut bangunan Pahang Club yang terdapat di atas bukit bersebelahan dengan Hospital Lipis
Bangunan ini banyak nilai sejarahnya. Bangunan ini merupakan bangunan terawal yang dibina oleh British iaitu pada tahun 1907. Tapak bangunan ini merupakan tapak pertama di mana pihak Inggeris mula-mula mentadbir Pahang. Rumah ini telah dibina bertujuan untuk membina kediaman bagi Sir Hugh Clifford yang ketika itu memegang jawatan sebagai 'Supritendent Ulu Pahang' yang menetap di Kuala Lipis.
Pada Jun 1898, Kuala Lipis telah menggantikan bandar diraja Pekan sebagai ibu negeri Pahang. Bermula pada tarikh tersebut, rumah ini telah dijadikan kediaman rasmi untuk Residen British. Residen British ketika itu, Sir Hugh Clifford telah memikirkan untuk membina sebuah kediaman yang lebih sesuai untuk memudahkan beliau mengawal kawasan bandar Lipis secara menyeluruh. Oleh itu, beliau telah menemui tapak yang dianggap sesuai iaitu di Bukit Residen (Resident Hill). Sementara menunggu kediaman tersebut selesai dibina, beliau menetap sementara waktu di Rumah Kelab Pahang sehingga tahun 1922.
Apabila beliau berpindah ke kediaman di Bukit Residen, rumah kelab ini telah didiami oleh Inspektor Polis British sehingga tahun 1926. Jawatan ini membolehkan beliau mengetuai Keanggotaan Polis British, yang mana ahli-ahlinya terdiri daripada orang-orang Sibu, Dayak dan Melayu. Jumlah kesemua anggota polis ketika itu adalah seramai 100 orang.
Pada pertengahan tahun 1926, rumah kelab ini telah ditinggalkan dan kemudiannya Kerajaan Inggeris menjadikan rumah ini sebagai sebuah kelab yang khas untuk pegawai-pegawai Tinggi British sahaja. Rumah ini tidak dilakukan sebarang pengubahsuaian, bagi tujuan menjaga keaslian seni binanya. Semasa ia menjadi Kelab Pahang, rumah ini dikawal dengan sangat rapi. Pengunjung ke kelab ini mestilah orang yang berpangkat, berkemeja kemas, bertali leher serta dihormati oleh orang-orang British. Setelah rumah ini ditinggalkan, ia pernah dicadangkan sebagai tapak istana tetapi ditolak oleh pihak istana.
Pada tahun 1957, keahlian kelab ini adalah hanya bagi orang-orang kenamaan, orang British dan Pegawai Tinggi Kerajaan sahaja. Setelah merdeka, keahliannya dibuka kepada masyarakat tempatan yang berada serta tidak mengira pelbagai kaum. Secara umumnya, aktiviti kelab ini ialah kemudahan rekreasi, aktiviti sukan seperti permainan tenis, badminton dan sepak takraw. Malah, ahli kelab ini juga menjalankan aktiviti kemasyarakatan.