他开始在各个城池流浪，风餐露宿，居无定所。起初他还有阿爹留给他的吃食，但是那些很快就吃完了，他开始随着那些流浪汉一起，四处讨些别人留下的或者施舍的饭菜。后来他知道给人打工可以赚钱，赚了钱就可以填饱肚子，可他太小了，没有人愿意找他打工。
有一次，他路过一座小寺庙，老住持见他饿得面黄肌瘦，便收留了他。他难得吃上一顿饱饭，向老住持道谢，问他该如何报答，老和尚垂眼看着他，只道：“施主与我佛有缘。”
几年过去了，他继续漫无目的地四处漂泊着，在一座城里，他碰到了一个穷困潦倒的老神棍。
两人挤在一间破屋檐下，一个瘦得猴儿似的，看着风一吹就要倒，一个老眼浑浊，站都站不起来，看起来行将就木。
那老神棍难得见着个人，喋喋不休地同他讲着自己曾经“算命卜卦”的丰功伟绩，杜五大多没听进去，冬天太冷了，他蜷在角落，努力用身体给自己取暖。
老神棍讲完了，一双浑浊的眼看向他，费力地道：“你…与我…有缘…”
杜五不理他，怎么谁都上来就跟他说与他有缘，缘分是什么东西呢，有缘又能如何呢？
他如今不还是孤身一人。
那人继续道：“待我死后…我的这些家当…你便拿…拿去吧…”
他喃喃道：“其实我所说之事…都是…是骗人的，但…但…我确实…是靠着骗人…生存的…，不论是靠辛勤劳作…靠坑蒙拐骗…靠敷衍谄媚…还是……”
他看着杜五，眼中的光在慢慢熄灭：“……我们这些人，不都是这般…挣扎着…活么…”
他说完便断了气，杜五愣愣地看着他。
那老神棍死在了最冷的冬夜。
小杜五连拖带拽地将那老神棍的尸体带到了城外的乱葬岗，他们这些人，生前怎样挣扎过，死后都是一卷席子一裹，被丢入这万人坑，然后再被世人遗忘。
他拿走了老神棍的“家当”，那其实就是些破旧的衣服，还有几卷书册，上面写着他看不懂的符文，还有几枚铜钱。
这便是老神棍留在这世上所有的东西了。
杜五试着画了几个那些符文，竟真叫他瞎猫碰上了死耗子，有一个符文在他停笔后，光芒一闪，纸上有火舌掠过，顷刻间将他捡来练习作画用的纸都烧了个干净。
……倒也不必这么厉害。
他渐渐发现了自己于术法上的领悟，他靠着从那书册里抠出来能用的简单的术法，加上他一头奇特的银发，成功唬住了不少人，混成了个“小神棍”。
杜五靠着这法子，在几座城里都混得如鱼得水，他渐渐长大了，术法有所长进，不过他后来发现，那老神棍的书册里能使出来的术法也没几个，故而主要长进的，还是一身坑蒙拐骗的本事。
他学会了察言观色，见人说人话，见鬼说鬼话，给自己起了个“杜半仙”的名号，几年来倒也挣了些钱。
他在一座城里不会留太久，他知道自己不属于这里，与其熟悉之后再难割舍，倒不如一开始就不要多做停留。