潘?归顺孙权之后一直率军征战，后来因功升为奋威将军，加封为常迁亭侯，孙权称帝后，又转为少府，乃至太常，位列九卿之首，孙权所以要任用潘?征讨五溪蛮夷，一是基于他平时征战的表现，二是因为潘?生于武陵，熟悉当地情况，三是因为潘?当初在征讨樊?时所展露出来的非凡洞察力。这绝对是一个能够在复杂情形之中抓住要点弱点的人，五溪蛮夷各部各自情况复杂不同，要理顺矛盾各个击破，而少费周折，减轻损耗，正需要他这样的人。

南阳人樊?当年是武陵部从事，他在关羽被杀之后，诱导武陵诸夷部落，曾企图夺取荆州再投刘备，当时有人建议孙权派遣都督督率万人立即前往征讨，但是孙权没有听从。孙权特地把潘?召来商议，潘?说：“不须调集军队大将，只需这里点起五千士兵就可以活捉樊?。”孙权听了很怀疑，他问道：“先生何以如此轻敌？”潘?回答道：“樊?是南阳土豪，很能拨弄是非，但实无真实辩才。我之所以清楚他，是因为樊?有一次曾经请州里的人吃饭。他请的人都到了，可是那顿饭过了中午人们还没有吃上，到了最后十几个人只好拔脚走路。这就好比侏儒，看到他身上的一部分，就可以知道他整个的模样了。”潘?的话使孙权哈哈大笑，他采纳了潘?的意见，当即派他率兵五千去了那里。不久，潘?果然迅速平定了反乱，斩杀了樊?。

孙权对这件事的印象非常深刻。

起初，有人是反对派潘?独自领兵五万去老家武陵的，这个人是武陵太守卫旌，卫旌因为潘?的妻兄蒋琬在蜀国任丞相长史，便写信给孙权说，潘?派遣密使与蒋琬联系，有寄托归附的企图――他把臆测中的事当成事实告发，自然有他的想法打算――但是孙权根本不信，他不但不信，还在说了一句：“潘?决不会这样！”之后，把卫旌的奏章封好寄给了潘?，同时召回卫旌，免去了他的官职。

这种不同寻常的信任和恩德怎能不使潘?感恩戴德，更思报效？孙权的权术足以令人赞叹。

潘?是十一月结束战事回到武昌的，他此前就以太常之职，与陆逊一起驻扎在武昌，共同负责那里的事务，回来之后，仍旧奉旨照前。潘?陆逊同为东吴重臣，二人肝胆相照，各自谦逊，合作相当融洽，这时候正当吕壹专权更甚之时，二人不免忧心忡忡，于是相继接连上书劝谏孙权，但是孙权不为所动。

于是潘?就在某一天提出要奔赴建业朝见孙权，可是这个请求又为孙权否决，潘?无可奈何，一时间只有切齿怒骂吕壹而已，他的激烈态度很快就传播到了东吴各处。