到楚庄王的孙子楚平王即位之后，楚国渐渐衰落了。公元前522年，楚平王要把原来的太子建废掉。这时候，太子建和他的老师，伍子胥之父伍奢正在城父（在河南襄城西）镇守。楚平王怕伍奢不同意，把伍奢叫来关进监狱，楚平王一面派人去杀太子建，一面又逼伍奢写信给他的两个儿子伍尚和伍子胥，叫他们回来，以便一起除掉。
伍子胥逃走，楚平王下令画图捉拿。伍子胥先奔宋国，因宋国有乱，转投郑国，但在郑国又惹是非，只得再投吴国。东行数日，便到昭关。昭关在两山对峙之间，前面临江，形势险要，并有重兵把守，过关难于上青天。伍子胥一连几夜愁得睡不着觉，连头发也愁白了。幸亏他们遇到了一个好心人东皋公，同情伍子胥，把他接到自己家里。东皋公有个朋友，模样有点像伍子胥。东皋公让他冒充伍子胥过关。守关的逮住了这个假伍子胥，而那个伍子胥因为头发全白，面貌变了，守关的认不出来，就被他混出关去。
伍子胥到了吴国，帮助吴国的公子光杀了吴王僚，夺取了王位。公子光自立为王。这就是吴王阖闾。阖闾即位之后，封伍子胥为大夫，帮助他处理国家大事；又用了一位善于用兵的大军事家孙武当将军，依靠伍子胥和孙武这两个人，阖闾整顿兵马，兼并了临近几个小国。
随后，吴王阖闾拜孙武为大将，伍子胥为副将，于公元前506年亲自率领大军，向楚国进攻，连战连胜，一直打到郢都，把楚国的军队打得一败涂地。
那时，楚平王早已死去，他的儿子楚昭王也逃走了。伍子胥刨了楚平王的坟，把平王的尸首挖出来狠狠鞭打了一顿，已泄心中极愤。