到了19世纪中后期，六大茶山开始衰落，先是发生云南各族反清起义，其中杜文秀军打到普洱，这次起义用了多年才平息，这期间茶叶内销通道基本中断。后来法国人又侵占印度支那地区，禁云南茶，六大茶山外销也受阻，茶农开始外迁，茶号开始改行或外迁。同时倚邦土千总曹瞻被暗杀，其子曹清民又在民国初与普洱道尹徐为光发生矛盾，引发军事冲突，曹清民败逃乌德。曹氏结束了对茶山统治。曹氏的衰败对五大茶山衰败是有直接影响的。这期间易武得以取代倚邦成为六大茶山的中心。1937年到1949年间，由于战乱，加之疫病流行六大茶山进一步衰落，更多茶农外迁，茶号歇业。1942年攸乐起义，起义军攻入倚邦，倚邦在一场烧了三天三夜的大火中几乎全毁。新中国成立后，茶叶统购统销，六大茶山只生产原料，不少茶山开始改为种粮，很多古茶树被挖或被火烧死。著名的贡茶之山曼松仅剩老茶树一二百棵且以融入莽林中。现在古茶树还保留较多的是麻粟树、倚邦、曼拱等地。
古倚邦茶区内有19个自然村，面积360平方公里。倚邦古茶山（傣语称“磨腊”倚邦，即茶井之意）
古倚邦茶区海拔差异大，最高点山神庙1950米，最低点磨者河与小黑江交汇处只有565米。倚邦茶区产茶著名的地方有倚邦、曼松、嶍崆、架布、曼拱等。茶区种茶历史悠久，在曼拱古茶园中还保留着基部径围1.2米，高6米，树龄500年左右的古茶树。
倚邦茶区内有大叶种茶和小叶种茶，倚邦的小叶种茶有说法是明末清初由四川人带来的小叶种不像大叶种那样苦涩浓烈，在六大茶山区种植后既保留了小叶种传统的香甜柔和，又增加云南茶区的山野气韵，倚邦小叶利茶一到清宫内，自然被皇室所看中，定为贡茶，大小叫种混生的曼松茶成了六大茶山中地位最尊，价格最高配茶。
作为倚邦土司所在地的倚邦很快繁荣起来，兴盛时倚邦街上有关帝庙、石屏会馆、四川会馆、楚雄会馆等，还有曹家大院，还有鸿昌、庆丰和、庆丰益、元昌等著名茶号。倚邦正街东西向，长达250米，宽12~16米。正街东头通向东北方向是石屏街，东南向是曼松街。正街西头分别是通往普文、思茅和易武、景洪的茶马古道。
