En septembre 1889, le baron Albert de l’Espée, accompagné de sa femme Delphine de Bongars (1863-1926), découvrit la côte basque au cours d’un séjour à Biarritz près du lac Mouriscot. Héritier de la dynastie des Wendel, riche famille de maîtres de forge de Lorraine, il avait la réputation d'être un homme original pour ne pas dire étrange. S'il avait probablement une santé fragile, il souffrait manifestement d'hypocondrie que sa mère sut entretenir tout au long de son enfance. Il ne sortait jamais sans son ombrelle pour se protéger des rayons du soleil et craignait toute forme de bactéries. Il partageait son temps entre la musique, ses chiens et les travaux qu’il menait dans ses diverses propriétés (Antibes, Belle-Isle-en-Mer, Saint-Avé). Dès 1890, il décida de s'installer sur la côte basque qu'il appréciait pour son climat tonique et ses températures douces. A Paris, il commanda au facteur d’orgue Cavaillé-Coll, un orgue à usage profane et symphonique qui devint le cœur et la raison de la construction de son nouveau projet architectural. En septembre 1890, il engagea l’architecte Gustave Huguenin (1858-1939), auteur de plusieurs villas à Biarritz, pour dessiner l'écrin de son orgue, puis, en 1893, il jeta son dévolu sur la falaise d’Ilbarritz, située entre la propriété de Nathalie de Serbie au sud et Biarritz au nord. Le notaire dut réunir les 75 parcelles appartenant à une trentaine de propriétaires sous un seul et unique domaine de 60 hectares qui comportait alors deux ruisseaux, deux sources, un étang, un moulin à marée (Mouligna Larraldeco : section A, parcelle 32 du cadastre de 1831), deux autres bâtiments (Moulho : section A, parcelle 37 ; Handia : section A, parcelle 43), les vestiges d’une redoute napoléonienne (section A, parcelle 35) et 1500 mètres de littoral. En 1894, Gustave Huguenin dessina les plans du château et des dépendances et les travaux commencèrent. Le domaine fut entièrement clôturé, les ouvriers récurèrent le ruisseau de Lamoulie, détournèrent le second, pavèrent l’étang provisoirement asséché et canalisèrent toutes les sources afin de sécuriser le terrain. En 1985, le bâtiment des cuisines, situé au bord de la plage (parcelle 35, section A) fut terminé. Le Baron de l'Espée put ainsi séjourner sur place et surveiller l’avancée des travaux. La maison Moulho fut détruite alors que le moulin Larraldeco fut transformé en une usine hydroélectrique destinée à approvisionner en électricité l’ensemble du domaine et la maison Handia devint la ferme du château. En 1986, le baron fit construire à l’extérieur de son domaine mais accolée à celui-ci - sur Biarritz - une villa pour sa maîtresse Biana Duhamel - Villa Les Sables. A la fin de l’année 1897, l’orgue fut installé et l’année suivante l’ensemble des dépendances était terminé en effet le parc comportait une dizaine de dépendances dont deux cuisines indépendantes, une conciergerie, un établissement des bains, un pavillon des bains, un chenil, un pavillon chinois destiné aux chiens, une salle à manger surélevée, un pont romain et un château féodal. Elles étaient reliées entres-elles par des galeries qui pouvaient être partiellement ouvertes ou totalement cloisonnées, maçonnées ou charpentées, à cheminement simple ou double. Le parc ponctué également de bungalows et d'abris formait un parcours dynamique et hygiénique où l'on pouvait s'abriter dans des salle de repos chauffé ou encore s'hydrater. Le baron en profita peu car éploré par sa rupture avec Biana Duhamel, en 1899, il décida de vendre sa propriété. Il vida la château de son mobilier et revendit l'instrument à Cavaillé-Coll. Le château ne trouvant pas preneur, en 1904, Albert de l’Espée revint s'installer à Ilbarritz pour la saison hivernal et profiter du climat favorable à sa santé fragile. En 1905, il commanda un nouvel orgue à Charles Mutin, le successeur d’Aristide Cavaillé-Coll et réengagea l’architecte Gustave Huguenin pour améliorer son château. Le grand perron de marbre qui donnait accès à la salle d’orgue sur la façade est fut supprimé et un second corps de bâtiment vint s’adosser à la façade sud du château ; il comportait une vaste chambre avec vue sur l’océan destinée à sa nouvelle maîtresse. En 1910, la maîtresse du Baron de l’Espée quitta le domaine et il vendit le château.

Le château et son parc furent rachetés par la Société Immobilière de la Côte Basque, qui avait pour administrateur Pierre Barthélémy Gheusi (1865-1943), directeur de l’Opéra Comique, co-directeur de l’Opéra de Paris. Impressionné par le lieu, ce dernier le fit ouvrir au public. Le 10 avril 1912, le domaine d’Ilbarritz accueillit une fête en faveur de l’Aviation Militaire française. A cette occasion, un concert fut donné dans la salle d’orgue du château tandis que le reste du domaine fut ouvert au public pour la somme de 5 francs, les visiteurs pouvaient parcourir les 3 km de galeries et les dépendances. La Société Immobilière de la Côte Basque souhaita transformer le château et son parc en un haut lieu de tourisme. Le projet fut suspendu par la guerre qui éclata en juillet 1914. Jean Barthélémy Gheusi mit alors le château d’Ilbarritz à disposition du Ministère de la Guerre.

En 1914, le ministère de la Guerre installa au château d'Ilbarritz un hôpital militaire temporaire destiné à soigner les militaires blessés. Charles Willems (1859-1930), chirurgien renommé du début du 20e siècle, en fut nommé administrateur. Les nombreuses terrasses et l'isolement du château en fit un lieu propice au repos et à la pratique des cures au grand air et au soleil, remèdes préconisés contre la tuberculose osseuse. Au cours des années 1914 et 1915, des concerts furent organisés dans la grande salle d'orgue où l'on pouvait entendre l’orgue Mutin encore en place. A la fin de la Première Guerre mondiale, les hôpitaux maritimes furent fermés. L’hôpital d'Ilbarritz perdura jusqu'en 1922. A sa fermeture, il avait soigné quasiment un millier de malades.

En 1923, le domaine d’Ilbarritz fut acheté par la Société Paris-Province dont l'administrateur était Edmond Hieulle, homme d'affaires parisien. A son tour, elle souhaitait tirer profit des hectares de terrain en front de mer et projeta de lotir l’ensemble du domaine en découpant pratiquement 400 lots. Très vite, elle entama le démantèlement du haut mur d’enceinte, des galeries couvertes et des dépendances. Le pont romain, la tour hexagonale et le pavillon chinois furent détruits. La conciergerie fut transformée en une maison de villégiature. Les pièces et matériaux furent vendus. D'après la presse locale, des travaux eurent lieu en août 1924 : La salle d’orgue fut transformée en salle des fêtes tandis que des plantes et des fontaines lumineuses furent installées dans le jardin et sur les terrasses. La presse locale promettait des fêtes élégantes et fastueuses mais le château fut évincé par la notoriété du Pavillon Royal. En 1928, l'hôtel de la Roseraie fut construit à l'emplacement de la "cuisine est" qui fut détruite. En août 1931, le château rouvrit sous le nom d’Impérial-Club. Le gala d’ouverture fut prévu pour le 1er septembre 1931. Après cette inauguration, l’Imperial-Club sembla tomber dans l’oubli. Malgré la vente de nombreux lots, la crise financière de 1929 bloqua l’épanouissement du domaine d’Ilbarritz. En 1933, la Société Paris-Province endettée vendit le domaine d’Ilbarritz aux enchères. Lors du rachat par la Société Civile des Terrains et des Immeubles d’Ilbarritz, le château d’Ilbarritz fut séparé de son parc.

Dès 1936, le château accueillit des réfugiés basques fuyant la guerre civile espagnole puis en 1940 il fut réquisitionné par l’armée Allemande. Après la Seconde Guerre mondiale, le château fut racheté par Alexandre Legasse qui l’utilisa comme ferme. La salle d’orgue devint bergerie, la salle à manger abrita les cochons et les chevaux étaient ferrés dans le salon. Les boiseries et les gouttières en plomb furent vendues au poids.

En 1958, Monsieur Massiaux, ancien maître de chapelle de Notre-Dame de Paris et son épouse achetèrent le château vidé de son décor. Le couple souhaitait le transformer en hôtel, les boiseries furent entièrement restaurées et une salle à manger avec une vue panoramique sur l’océan fut construite en jonction avec l’aile sud. L’établissement ouvrit ses portes en juin 1960. En juillet 1982, le S.I.A.Z.I.M, Syndicat Intercommunal pour l’Aménagement de la Zone « Ilbarritz-Mouriscot », demanda la préservation du château d’Ilbarritz. En mai 1986, la Compagnie Française du Thermalisme fit l’acquisition du château lors de la vente sur saisie immobilière. En 1988, l’Association des Amis du château d’Ilbarritz réalisa des travaux de remise en état et y organisa durant la première quinzaine du mois d’août un festival de musique classique et des expositions. En 1990, Christophe Luraschi et René Massiaux renouvelèrent la demande de protection au titre des Monuments historiques afin de protéger le château des promoteurs qui grignotaient les terrains alentours. En mai 1990, les façades, la toiture, la salle d’orgue et le grand escalier furent ainsi inscrits au titre des monuments historiques. L‘orgue construit en 1887 par Cavaillé-Coll est aujourd’hui au Sacré-Cœur à Paris. Aujourd'hui, le château appartient à Bruno Ledoux. Les dépendances encore présentes sont : la cuisine ouest devenue le restaurant Le Blue Cargo, l'usine hydroélectrique qui abrite désormais le poste de secours de la plage d'Ilbarritz et la conciergerie devenue maison d'habitation.