就这样，袁隗、袁逢二人在梁氏外戚集团垮掉之后又攀上了日渐强大的宦官集团之“高枝”，终于化险为夷。在汉桓帝延熹二年（公元159年）之秋梁氏外戚集团被一网打尽之时，素与梁家交好的袁隗、袁逢兄弟居然全身而退、毫发无伤，这便是袁赦隐在幕后的暗助之功了。
但是，袁隗、袁逢、袁赦等人企图在汉桓帝一朝独揽大权，则难以实现。在日渐隆盛的士大夫阶层中，朝廷中枢有弘农郡杨氏一族、西凉武将派等势力集团，外方州郡有颍川荀氏、颍川陈氏、太原王氏等新兴清流名门，各个派系势力纵横交错，袁隗、袁逢并不能力压群雄、一枝独秀。而汉桓帝时期宦官集团势力庞大，袁赦只是其中一名“要员”而已，根本没有达到徐璜、左绾、具瑗、唐衡等那些大权阉的地位，也号令不了大多数宦官为己所用。加之汉桓帝亦非昏弱之主，袁隗、袁逢也操纵不了他。
所以，在汉桓帝御政期间，袁隗、袁逢兄弟不断地腾挪运转，仍只是做到了中二千石官秩的九卿之职，没有独立的人事辟召之权，自然难以铺设人脉。他俩的资历也不够担任三公，只能是养望待机。