Относится к одному из проектов Исидро Гонсалес Веласкес, реализованный по просьбе Фернанда VII для “Casa Reservada del Real Sitio del Buen Retiro.” Сегодня преобразованный в выставочный зал.
Это здание было построено на ферме, где дочери монарха играли с несколькими коровами в пастухов и затем пили молоко, после того как девочки сами их доили.
По указу в 1868, корона теряет права на "Сады Благого Уединения" и переходит в зависимость от Муниципалитета Мадрида под именем "Парк Мадрида".
Дом Коров (Casa de Vacas) в 1873 арендуют Матео Кабесас и Ромераль, которые преобразовывают ее в учреждение , где можно было пить только что подоенное молоко. Через годы, был создан магазин, торгующий шоколадом.
12 мая 1886 ураган разрушил парк, уничтожив 557 деревьев, с периметром между одними и двумя метрами. Кроме нанесенного ущерба в садоводстве, пострадали часть зданий, в том числе и Дом Коров, который был восстановлен уже в XX веке.
К 1950 году здание находилось в жалком состоянии, только поддерживая длинный салон в его внутреннем помещении и боковые террасы: одна использовалась под площадку для катания на роликах, другая для продажи horchata (сладкий напиток) в летние месяцы.
Был осуществлен ремонт и начиная с декабря 1960 года использовался как зал для праздников, с рестораном, баром и оркестром, превратившись в знаменитый Павильон. Но в 1983 году пожар уничтожил зал и после реставрации перешел к городскому совету Мадрида и стал использоваться как Культурный выставочный зал.