Een vriend van de familie Smits Sr. en Jr., architect Vogel, kwam met het plan om een café-restaurant te bouwen op de plaats (toen nog een zandvlakte) waar nu het Apollo(hal) paviljoen staat. Spoedig bleek dat de gemeente alleen maar bereid was een vergunning te verstrekken voor een semipermanente bebouwing, in verband met plannen om daar een scheepvaartmuseum te bouwen. Smits Restaurants trok zich daarna terug. De Amsterdamse Ballast Maatschappij kreeg tenslotte de grond in erfpacht en bouwde er een café-restaurant, een tennishal en legde open tennisbanen aan. De eerste officiële paal is geslagen door A.A. Smits Jr. Smits Restaurants heeft dit complex, het Apollopaviljoen, tot 1946 gepacht.