Bygdø Kongsgård, Gartneriet