堆叠假山和建造房屋一样，必须先做基础，即所谓的“立基”。首先按照预定设计的范围，开沟打桩。基脚的面积和深浅，则由假山山形的大小和轻重来决定。
计成在《园冶》“立基”条中说：“假山之基，约大半在水中立起。先量顶之高大，才定基之浅深。掇石须知占天，围土必然占地。最忌居中，便宜散漫。”所以园林假山的堆叠必须从设计出发，做到胸有成竹，意在笔先，先确定假山基础的位置、外形和深浅等，否则当假山的基础已出地面，再想改变假山的整体形状，增加高度或体量，就很困难了。一般假山基础的开挖深度，以能承载假山的整体重量而不至于下沉，并且能在久远的年代里不变形的要求为原则。同时也必须做到假山工程造价较低而施工简易的要求。
　　假山工程的基础可分为陆地和涉水两种，在做法上又有桩基、灰土基础和混凝土基础之分。桩基这是一种最古老的假山基础做法，《园冶•掇山》说：“掇山之始，桩木为先，较其短长，察乎虚实。”尤其是水中的假山或假山驳岸，用得较为广泛。其原理是将桩柱的底头打到能接触到水下或弱土层下的硬土层，以形成一个人工加强的支撑层，桩柱在假山基础范围内均匀分布，这种桩称为“支撑桩”。平面布置按梅花形排列的则称“梅花桩”；用以挤实土壤，以加强土壤承载力的，则称之为“摩擦桩”。桩柱通常多选用柏木或杉木，以取其通直而较耐水湿。桩粗一般在10～15厘米左右，桩长一般在100厘米以上至150厘米以上不等。如做驳岸，少则三排，多则五排，排与排之间的间距一般在20厘米左右。在苏州古典园林中，凡有水际驳岸的假山基础，大多用杉木桩，如拙政园水边假山驳岸的杉木桩长约150厘米；而北方则多用柏木桩，如北京颐和园的柏木桩长约160～200厘米。桩木顶端露出湖底十几厘米至几十厘米，其间用块石嵌紧，再用花岗岩条石压顶。条石上面再用毛石和自然形态的假山石，即《园冶•掇山》所云：“立根铺以粗石，大块满盖桩头”。条石和毛石应置于最低水位线以下，自然形态的假山石的下部亦应在水位线以下，这样不仅美观，也可减少桩木的腐烂，所以有的桩木能逾百年而不坏。
　　除了木桩之外，也有用钢筋混凝土桩的。由于我国各地的气候条件和土壤情况各不相同，所以有的地方，如扬州地区为长江边的冲积砂层土壤，土壤空隙较多，通气较多，加之土壤潮湿，木桩容易腐烂，所以传统上还采用“填充桩”的方法。所谓填充桩，就是用木桩或钢杆打桩到一定的深度，将其拔出，然而在桩孔中填入生石灰块，再加水捣实，其凝固后便会有足够的承载力，这种方法称为“灰桩”；如用碎瓦砾来充填桩孔，则称为“瓦砾桩”。其桩的直径约为20厘米，桩长一般在60～100厘米，桩边的距离为50～70厘米。苏州地区因其土壤粘性相对较强，土为基础方法，称为“石钉桩”，再在缝隙中夹填碎石，上用碎砖片和素土夯实，中间铺以大石块；若承重较大，则在夯实的基础上置以条石。北京圆明园因处于低湿地带，地下水成了破坏假山基础的重要因素，包括土壤的冻胀对假山基础的影响，所以其常用在桩基上面打灰土的方法，以有效地减少地下水对基础的破坏。