当棉纱的价格涨到最高峰时，谢里曼停止了这项交易，开始做茶叶的买卖。茶叶是从印度装船运来的。谢里曼当时认为棉纱的市价不久会下跌，这样一来就必然会大蚀其本。其实，谢里曼的想法是对的。
不料，1862年的冬天，邻国波兰发生了革命，第二年又演变成内乱，波兰全国陷入极端混乱的状态。当时一些精明的犹太商人认为有机可乘，便把大量的茶叶走私了进来。因为他们的茶叶是没有缴纳关税的，所以谢里曼那些缴纳了高额关税的进口茶叶在价格上根本无法与之竞争。谢里曼只好停止茶叶的交易，并忍痛将仓库里的6000箱存货以接近成本的价格售出。
经过了这次挫折以后，谢里曼的运气又开始好转，金钱像雨点一样洒向他。短短一年时间，谢里曼的财产比以前又增加了很多。凭着这些财产，谢里曼似乎可以随心所欲地去实现从儿时就一直憧憬的梦想。
30年前，谢里曼曾经对父亲和米娜说过：“有朝一日，我要让埋藏于地下的特洛伊城重见天日。”当时的情景，至今仍历历在目，谢里曼虽然已经成了一名商人，并且为了赚钱而终日埋头苦干，但是，赚钱并不是谢里曼的最终目的，他只是把它当作实现自己的梦想的阶梯而已。