从光明顶往西或由排云亭南行，就能见到“飞来石”。往西北小路行2公里，可至西海门排云亭。“飞来石”是一块高12米、重600吨的巨石，底部和山峰豁然分开，似天外飞来，故名。《红楼梦》中拍摄的的顽石就是飞来石。飞来石又名“飞来峰”，即“仙桃峰”。
关于奇石是如何“飞来”的，有个关于八仙之一铁拐李的传说。相传，宋代有个叫单福的石匠，一生造桥，毕生心愿想在自己家乡的江上也造桥一座，但叹息没有帮手。他膝下只有一女叫小姣，长得聪明美丽，深知父亲的心思，恳求父亲让她帮忙。但那深山采石，百里运石的苦和累，小女子怎么受得了，所以单福就是不答应。小姣跪在地上苦苦哀求，单福没奈何，才含泪点头。他还把三个徒弟找来邦忙，不久就干起来了。但由于熬不过苦累，大徒弟和二徒弟先后悄悄地溜了。只剩下单福和女儿、三徒弟为修桥铁了心，继续咬牙苦干着。但好几年过去了，运到江边的石头只有一小堆．这样累死苦死，桥也建不起来。小姣一咬牙，请人写了“捐身修桥”四个大字，插了个草标，坐到江边石堆旁。一连三天，来看的人无数，但望望滔滔的江水，就都走了。这天，忽然来了个瘸子。身背一把扇子，摘了草标．问小姣愿不愿意跟他走，小姣回答说：“什么时候把大山里开采的石头全运到江边，就什么时候踉你走。”
这瘸子原来是八仙中的铁拐李。他挤出人群，腾云驾雾，很快来到百里外的大山，从背上拿下扇子，对着单福和三徒弟开出的石头就扇。石头竟都飞了起来，又纷纷都落在江边。单福和三徒弟也被从山上扇到了造桥工地。铁拐李还怕不够，又对身下立着的一块巨石扇了三扇子，他就站在那巨石上飞到了江边。只见底下尽是人，未敢让巨石落下。又听单福大声说：“石头够了”。他便驾起云头，飘游起来，游到黄山，见黄山风景秀丽，便将石头落下。从此，这飞来石在这里落地生根。