王亚樵在安徽大张旗鼓地“锄强抑暴铲富济贫”，把个合肥市闹得天翻地覆。当时的安徽都督是倪嗣冲，卧榻之旁，岂容他人鼾睡。他指责社会党为“乱党”，要立即取缔捉拿党人，通缉王亚樵。王亚樵第二次逃离安徽，几个月后，他亡命来到上海。
在上海，他举目无亲。只好白天做苦工，夜晚上报纸盖身，露宿街头。他对自己因闹革命而受通缉追捕愤愤不平。他这时刚26岁，只读过几年私塾，没有受过系统的良好教育，充其量只能算半个知识分子，也没人给他宣传马克思主义，这是他与华克之在人生转折关头所遇到的完全不同的两种环境。在迷惘中，他结识了一批无政府主义者，且深受影响，加入了无政府主义研究小组，开始钻研克鲁泡特金的学说，研究怎样打倒社会上的一切强权。无政府主义思想与他的豪迈、率直的性格、流氓无产者的实际处境交融在一起，奠定和形成了他后来事业的思想基础。
在上海，为了立足，他加入了红帮，网罗了一批安微同乡和原先的一些追随者，逐渐成为安徽帮的首领。在无政府主义思想支配下，王亚樵及他手下的一帮人，经常以斧头为武器“锄强抑暴铲富济贫”。久而久之，江湖上就流传着“斧头帮”的说法，王亚樵自然被人视为“斧头帮”的魁首。有一阵子，他同上海青帮大亨的杜月笙、张啸林较上了劲。在灯红酒绿的十里洋场，同流氓头子打交道，是没有公理的，谁硬谁就赢。一天，王亚樵率领一批门徒，个个手拿斧头直奔张啸林住处，将张住宅的后院墙掏了两米见方的大洞。还有一次，在光天化日之下，王亚樵带领三四百人，每人手擎一把斧头直奔杜月笙的门徒、张啸林的本家侄子、“江安”号轮船经理张延龄家，逼张把“江安”号交给他使用。张延龄到杜月笙那儿哭诉，杜月笙挥挥手：“算啦！算啦！”不敢去招惹他。王亚樵的名气一下传遍了上海滩。1915年，柏文蔚到上海，找到了他，介绍他到上海环龙路44号晋谒孙中山先生，聆听教诲，深感不打倒军阀，中国就无宁日。自此，他追随中山先生从事反军阀斗争。护法运动前夕，他向孙中山建议用非常手段铲除段祺瑞，遭到中山先生的批评。中山先生批驳道：“解决革命，应以武装力量推翻其组织，不在于以恐怖手段杀死人。”可惜的是，王亚樵没有能听取，结果自己最后被人暗杀。但孙中山说的“武装力量”，他听进去了。1919年，他与老同盟会吴韩恢在苏北、皖东组织国民革命军，建立了一支一千多人的武装力量。在进攻南京时，被江苏督军李纯打败，韩恢被囚，死难于南京，王亚樵在部队被打散后潜逃到安徽农村老家。