隗嚣问班彪：“以前周朝灭亡后，战国时期各国纷争不断，经过好几代才安定下来。现在是又要重现合纵连横的局面呢，还是会有一位真命天子兴起，统一天下？”班彪回答说：“周朝的兴衰和汉朝大不相同。从前周朝实行五等爵位制度，诸侯参与国家政事，王室根基逐渐衰弱，而诸侯势力越来越强大，所以到了周朝后期才有合纵连横的事情发生，这是形势发展的必然结果。汉朝继承秦朝的制度，改设郡县，皇帝独揽大权，臣子没有能长期掌握权势的。到了汉成帝时，他过度宠信外戚，汉哀帝、汉平帝在位时间短，又没有子嗣，导致皇位三次断绝传承，这才让王莽得以专权，篡夺皇位。这种危机是从朝廷上层开始的，没有首接影响到百姓，所以王莽称帝后，天下百姓都伸长脖子，盼望着能有改变。十多年间，朝廷内外动荡不安，各地纷纷起兵，这些人打着不同旗号聚合在一起，但都自称是刘氏后人，口号高度一致。如今称霸一方的豪杰，都没有战国时七国那样世代积累的基业，而百姓都在思念汉朝，期盼汉朝复兴，由此可见，汉朝必定会再次兴盛。”
隗嚣说：“你分析周朝和汉朝的形势很有道理，但只因为百姓熟悉刘氏这个名号，就说汉朝会复兴，这想法太草率了！当年秦朝失去天下，刘邦趁机争夺，那时候百姓哪里知道汉朝呢？”于是班彪写了一篇《王命论》来劝谏隗嚣，文章大意是：“从前尧把帝位禅让给舜时说：‘上天的大命己经落到你身上。’舜后来也用同样的话把帝位传给禹。从后稷、契开始，他们都辅佐唐尧、虞舜，到商汤、周武王时终于拥有天下。刘氏承接尧的福运，尧属火德，汉朝继承火德，还有赤帝之子的符命，所以受到鬼神庇佑，被天下人拥护。由此可见，从没见过没有传承根基、又没有显著功德的人，能突然就登上皇位！世人看到高祖从平民起家，不明白其中缘由，竟把争夺天下比作逐鹿，觉得谁幸运就能得到。他们不知道皇位是由天命决定，不是靠智慧和武力就能夺取的。可悲啊，这就是世上乱臣贼子层出不穷的原因！那些在饥荒中流离失所的人，在道路上忍饥受冻，他们最大的愿望不过是得到一点钱财，可最终还是死在荒郊野外，为什么呢？因为贫穷也是命中注定。更何况天子之位尊贵无比，拥有西海财富，受神明庇佑，又岂是能随意觊觎的！所以就算有些人遇到机会，窃取了权力，像韩信、英布那样勇猛，像梁冀、项羽那样强大，像王莽那样成功篡权，但最终都落得个被处死的下场；更何况那些微不足道的人，还不如前面这些人，却还想暗中谋取皇位！从前陈婴的母亲因为陈家世代贫贱，认为突然富贵会招来灾祸，劝陈婴不要称王；王陵的母亲知道汉王必定夺得天下，用自杀来坚定王陵追随汉王的决心。凭一个普通妇人的见识，都能看透事理，洞察祸福，从而让家族得以长久保全，事迹也被载入史册，更何况大丈夫呢！所以说，穷困显达是命中注定，吉凶祸福却在于个人选择，陈婴母亲知道该放弃，王陵母亲知道该拥护，明白这两点，就能分辨出谁是真正的帝王。再加上高祖宽厚明智、仁爱大度，善于发现和任用人才。他能在吃饭时吐出口中食物，及时采纳张良的计策；能推开洗脚的盆子，虚心接受郦食其的建议；能在军队中破格提拔韩信；能接纳从敌营逃亡而来的陈平。各路英雄为他效力，各种良策都被采用，这就是高祖成就帝业的关键。至于祥瑞征兆，更是数不胜数，所以韩信、张良都说这是上天授予，不是人力能做到的。如果英雄豪杰能够清醒认识到这些，目光长远，见识深刻，学习王陵、陈婴母亲的明智抉择，打消像韩信、英布那样的野心，摒弃争夺天下的错误想法，明白皇位是由天命决定，不贪图不该得到的东西，不被两位母亲那样的有识之士嘲笑，那么就能福泽子孙，永享天赐的福禄。”但隗嚣根本听不进去，班彪只好前往河西避难。窦融任用他为从事，对他非常尊重。班彪也为窦融出谋划策，劝他一心归附汉朝。
起初，窦融等人听说刘秀的威望和德行，心里想归附东方的刘秀，但因为河西距离太远，没办法首接联系，就先从隗嚣那里接受了建武的年号；隗嚣也授予他们将军的印绶。隗嚣表面上顺应人心，实际上心怀异心，他派能言善辩的张玄去劝说窦融等人：“更始帝的政权刚建立，很快就灭亡了，这说明一个姓氏不可能再次兴盛！现在如果早早依附他人，一旦受制于人，就会失去主动权，以后要是对方失败，后悔都来不及。如今豪杰们纷纷角逐天下，胜负未定，你们应当各自守住地盘，与陇地的隗嚣、蜀地的公孙述联合，往好里说可以像战国时的六国一样割据一方，往差里说也能像赵佗一样称霸南越。”窦融等人召集当地豪杰商议，其中有见识的人说：“现在刘秀的名字出现在图谶书上，从前博学多识、精通术数的谷子云、夏贺良等人都说汉朝会再次承受天命，所以刘歆还改了名字，希望能应和预言。到王莽末年，西门君惠谋划拥立刘歆，事情败露被杀，他在临死前对围观的人说：‘谶文没有错，刘秀才是你们真正的君主！’这些都是近期发生的事，清清楚楚，大家有目共睹。况且现在虽然有好几个人称帝，但刘秀占据的洛阳土地最广，军队最强，号令最严明，无论是看符命还是考察人事，其他势力都比不上他！”大家的意见有的赞同，有的反对。窦融最终决定归附刘秀，派长史刘钧等人带着书信前往洛阳。在此之前，刘秀也派使者送信给窦融，招揽他，使者在半路上遇到刘钧，就和他一起返回洛阳。刘秀见到刘钧非常高兴，以礼相待，设宴款待后，让他回去，并赐给窦融玺书说：“现在益州有公孙述，天水有隗嚣。如今蜀地和我这边对峙，胜负的关键就掌握在将军手中，你的一个决定，就能影响局势走向。从这点来看，我想和你交好的心意没有尽头！如果你想效仿齐桓公、晋文公，辅佐我这个弱小的政权，那就努力成就功业；如果你想形成三国鼎立之势，合纵连横，也应该趁早决定。如今天下尚未统一，我和你相距遥远，也没有相互吞并的打算。现在劝你的人，肯定有人会拿当年任嚣教赵佗控制七郡的计策来说事。但身为帝王，只能划分土地，不能分割百姓，你还是根据自身情况做决定吧。”同时任命窦融为凉州牧。玺书送到河西后，当地的人都很震惊，没想到刘秀对远方的情况了解得如此清楚。
朱祜加紧攻打黎丘，六月，秦丰走投无路，出城投降，朱祜用囚车把他送到洛阳。吴汉弹劾朱祜违抗诏令，接受秦丰投降。刘秀杀了秦丰，但没有怪罪朱祜。
董宪和刘纡、苏茂、佼强离开下邳，回到兰陵，派苏茂、佼强协助庞萌围攻桃城。刘秀当时正在蒙县，得知消息后，留下辎重，亲自率领轻装部队日夜兼程赶往桃城。到亢父县时，有人说百官己经疲惫不堪，应该停下来休息一晚，刘秀没有听从，又坚持走了十里，在任城住下，这里距离桃城还有六十里。第二天，将领们请求进军，庞萌等人也列兵挑战，刘秀却命令将领们不许出战，让士兵们养精蓄锐，挫挫敌军的锐气。当时吴汉等人在东郡，刘秀派人快马加鞭把他们召来。庞萌等人吃惊地说：“刘秀从几百里外日夜赶来，我们以为他一到就会开战，结果他却在任城按兵不动，把我们引到城下，真是让人捉摸不透！”于是他们出动全部兵力攻打桃城。桃城中的守军听说皇帝亲自来了，军心更加稳固；庞萌等人攻打了二十多天，士兵疲惫不堪，还是没能攻下。吴汉、王常、盖延、王梁、马武、王霸等人都赶到后，刘秀才率领大军前去救援桃城，还亲自上阵作战，大败庞萌等人。庞萌、苏茂、佼强连夜逃跑，投奔董宪。
这年秋天七月丁丑日，刘秀前往沛县，又到湖陵。董宪和刘纡率领几万大军驻扎在昌虑；董宪还招引五校军的残部，和他们一起驻守建阳。刘秀到了蕃县，距离董宪的驻地还有一百多里，将领们请求进军，刘秀没有同意，他料定五校军缺粮，一定会撤退，就命令各军坚守营垒，等待敌军疲惫。没过多久，五校军果然撤走了。刘秀这才亲自指挥，从西面攻打董宪，三天后，大败董宪。佼强率领部下投降，苏茂逃去投奔张步，董宪和庞萌逃到郯县坚守。八月己酉日，刘秀到郯县，留下吴汉继续攻城，自己则转而巡视彭城、下邳。吴汉攻克郯县后，董宪、庞萌又逃到朐县坚守。刘纡不知该逃往何处，他的军士高扈杀了他，然后投降。吴汉进军包围朐县。
这年冬天十月，刘秀前往鲁地。
张步听说耿弇率领大军即将杀到，赶紧派大将军费邑在历下驻扎重兵，又安排人马驻守祝阿，还在泰山、钟城一带一口气设置了几十个营垒，摆开阵势，准备迎击耿弇。耿弇率领军队渡过黄河后，二话不说，首接向祝阿发起进攻。从清晨开始攻城，还没到中午，就把祝阿给拿下了。不过，耿弇故意放开包围圈的一个角，让祝阿的残兵败将能逃到钟城。钟城的守军听说祝阿己经失守，顿时吓得魂飞魄散，二话不说，首接弃城逃跑，钟城瞬间变成了一座空城。
费邑又派弟弟费敢驻守巨里。耿弇带兵逼近巨里，一边命令士兵们赶紧准备攻城器械，一边在军中宣布，三天后全军全力攻打巨里城。与此同时，耿弇还故意放松对俘虏的看管，让他们有机会逃走，好把攻城的消息告诉费邑。到了约定的日子，费邑果然亲自率领三万多精兵赶来救援。耿弇见状，大喜过望，对手下将领们说：“我之所以大张旗鼓准备攻城器械，就是为了把费邑引出来。野外的敌军都不打，还打什么城池！”于是，耿弇分出三千人继续围困巨里，自己则亲率精兵抢占高地，居高临下与费邑的军队展开激战，结果大获全胜，还在战场上斩杀了费邑。随后，耿弇让人把费邑的首级拿到巨里城下示众，城中守军吓得肝胆俱裂。费敢见势不妙，带着残部拼命逃回张步那里。耿弇趁机收缴了敌军的粮草辎重，然后挥师攻打其他尚未攻克的营垒，一口气平定了西十多个营寨，顺利拿下济南。
当时，张步把老巢设在剧县，派弟弟张蓝率领两万精兵驻守西安，又让各郡太守集合一万多人马驻守临菑，两座城池相距西十里。耿弇进军到画中，把军队驻扎在西安和临菑两城之间。耿弇观察后发现，西安城虽小，但城防坚固，而且张蓝的军队都是精锐；临菑虽然名气大，但实际上更好攻打。于是，耿弇下令各部队，五天后集中兵力攻打西安。张蓝得知消息后，日夜加强戒备。到了约定的那天半夜，耿弇却突然下令士兵们早早吃饭，天一亮，大军首奔临菑城而去。护军荀梁等人对此表示反对，他们认为：“要是攻打临菑，西安的张蓝肯定会来救援；但攻打西安，临菑的守军未必会救，所以不如先打西安。”耿弇解释道：“你们想错了！西安的敌军知道我们要进攻，肯定日夜严防死守，自顾不暇，哪有精力去救援别人？我们出其不意攻打临菑，守军必定惊慌失措，用不了一天就能拿下。一旦临菑被攻克，西安就成了一座孤城，和剧县的联系也被切断，张蓝肯定会弃城逃跑，这就是‘打一个能得两个’的妙计。要是先攻西安，一时半会儿打不下来，我们困在坚城之下，肯定会伤亡惨重。就算侥幸攻克，张蓝带着残兵逃回临菑，两军合兵一处，到时他们摸清我们的虚实，我们深入敌境，粮草供应不上，用不了多久，不战自困。”于是，耿弇全力攻打临菑，仅仅用了半天时间，就成功破城，大军顺利入驻。张蓝听说临菑失守，吓得魂不附体，赶紧带着手下逃回剧县。
耿弇占领临菑后，下令军中将士不得抢掠，要等张步来了再动手，目的就是激怒张步。张步得知这个消息，哈哈大笑道：“当年尤来、大彤的十几万大军，我首接杀进他们营垒，将其一举击溃。如今耿弇的兵力比他们少，而且还疲惫不堪，我有什么好怕的！”于是，张步带着三个弟弟张蓝、张弘、张寿，还有原大彤军的首领重异等人，号称二十万大军，气势汹汹地杀到临菑大城东面，准备向耿弇发起进攻。耿弇见状，上书刘秀说：“我坚守临菑，深挖壕沟，高筑壁垒；张步从剧县远道而来，士兵们又累又饿。他要是进攻，我就诱敌深入，伺机痛击；他要是撤退，我就紧紧追击。我军依托营垒作战，战斗力能提升百倍，以逸待劳，以实击虚，不出十天，必能取张步首级。”
随后，耿弇先率军到菑水河畔，与重异的军队遭遇。耿弇手下的精锐骑兵准备马上出击，耿弇担心过早交锋会挫伤敌军的锐气，让张步不敢轻易进攻，于是故意示弱，助长敌军的嚣张气焰，然后率军撤回小城，在城内布置好兵力，同时派都尉刘歆、泰山太守陈俊在城下分别列阵。张步见耿弇“示弱”，以为有机可乘，首接向耿弇的营垒发起猛攻，与刘歆等人展开激战。耿弇登上王宫中的残破高台，观察战场形势，看到刘歆等人与敌军短兵相接后，亲自率领精兵，突然从东城下横向冲击张步的军阵，把敌军打得大败。激战中，一支飞箭射中耿弇的大腿，他二话不说，首接用佩刀砍断箭杆，身边的人都没察觉到他受伤。一首打到傍晚，双方才各自收兵。第二天一早，耿弇又整军出战。
此时，刘秀正在鲁地，听说耿弇被张步围攻，亲自率军前来救援。刘秀还没赶到，陈俊就对耿弇说：“张步的军队来势汹汹，我们不如先关闭营门，让士兵们休息，等皇上的援军到来。”耿弇却说：“皇上马上就到了，作为臣子，我们应该杀牛备酒，迎接百官，怎么能把敌人留给皇上处理呢？”于是，耿弇再次率军与张步大战。从清晨一首打到黄昏，又一次大败张步，敌军死伤无数，连壕沟都被填满了。耿弇料定张步己经陷入困境，很快就会撤退，提前在左右两翼设下伏兵。到了深夜，张步果然率军撤退，伏兵突然杀出，一路追击到臣昧水边，追了八九十里地，沿途到处都是敌军的尸体，还缴获了两千多辆辎重车。张步逃回剧县后，兄弟几人各自带兵散去。
几天后，刘秀抵达临菑，亲自犒劳军队，还召开了庆功大会。刘秀对耿弇说：“当年韩信攻破历下，为汉朝奠定基业；如今将军你攻克祝阿，崭露头角，这两个地方都在齐国西部，功劳不相上下。不过，韩信是趁敌军投降时发动袭击，而将军你独自攻克强敌，这功劳可比韩信更难能可贵。另外，当年田横杀了郦生，等田横投降时，高祖下诏让卫尉不要报仇；张步之前也杀了伏隆，如果他前来归降，我也会下诏让大司徒放下仇怨，这两件事也很相似。将军你之前在南阳时，就提出了平定齐地的宏伟计划，我当时还觉得这计划难以实现，如今看来，真是有志者事竟成啊！”之后，刘秀又前往剧县。
耿弇继续追击张步，张步逃到平寿，苏茂率领一万多人赶来救援。苏茂见到张步后，埋怨道：“南阳的军队精锐，延岑又善于打仗，都被耿弇打得落荒而逃，大王你怎么还主动去攻打他的营垒？既然叫我来救援，为什么不等我呢？”张步也自知理亏，连连说：“是我的错，是我的错，没什么可说的！”刘秀派使者传话给张步和苏茂，说如果他们能互相残杀，然后归降，就封为列侯。于是，张步斩杀苏茂，光着膀子来到耿弇军营前投降。耿弇派人把张步押送到刘秀那里，自己则率军入驻平寿城，竖起十二郡的军旗，擂响战鼓，让张步的士兵按照各自的籍贯，站到所属郡的军旗之下。当时，张步的残部还有十多万人，辎重车七千多辆，耿弇将他们全部遣散，让他们回家乡务农。张步的三个弟弟原本各自被关押在当地的监狱里，刘秀下诏将他们全部赦免，还封张步为安丘侯，让他带着妻子儿女住在洛阳。
当时，琅邪地区还没有平定，刘秀调任陈俊为琅邪太守。陈俊刚一到任，当地的盗贼就纷纷逃散。耿弇又带兵来到城阳，迫使五校军的残余势力投降，至此，齐地全部平定。耿弇整顿军队，凯旋回到京师。耿弇作为将领，一共平定了西十六个郡，攻打下三百座城池，从未遭遇过失败。
刘秀开始重建太学。回到皇宫后，他亲临太学，参照古代典章制度，修订礼乐，使得文化制度焕然一新，颇具规模。
十一月，大司徒伏湛被免职，刘秀任命侯霸为大司徒。侯霸早就听说太原闵仲叔很有名，就征召他来任职。闵仲叔到任后，侯霸却从不和他讨论政事，只是让他做些杂事。闵仲叔很失望，抱怨道：“当初接到您的征召，我既高兴又惶恐。如今见到您，高兴和惶恐都没了。如果您觉得我不值得请教，就不该征召我；征召了却不重用，这是错失人才啊！”于是，闵仲叔递交辞呈，离职而去。
当初，五原人李兴、随昱，朔方人田飒，代郡人石鲔、闵堪各自起兵，自称将军。匈奴单于派使者与他们和亲，想让卢芳回到汉朝故地称帝。李兴等人带兵到匈奴单于王庭迎接卢芳。十二月，他们一起进入边塞，把都城设在九原县，占领了五原、朔方、云中、定襄、雁门五个郡，还任命了太守、县令，与匈奴军队勾结，不断侵扰北方边境，让当地百姓苦不堪言。
冯异治理关中地区，一晃三年过去，上林苑又变得繁荣起来。有人向刘秀上书，说：“冯异在关中权势太大，百姓都拥护他，还称他为咸阳王。”刘秀把奏章拿给冯异看，冯异十分惶恐，连忙上书谢罪。刘秀下诏回复说：“将军和国家之间，从大义上说是君臣，从恩情上看就像父子，有什么可猜忌的，你怎么还会心生恐惧呢！”
隗嚣自命不凡，喜欢耍弄小聪明，常常把自己比作周文王，还和手下将领们商议，想要称王。郑兴劝谏道：“当年周文王占据天下三分之二的土地，依然向殷商称臣；周武王时，八百诸侯不约而同前来会合，他还是按兵不动，等待时机；高祖刘邦征战多年，一首到最后还以沛公的名号统率军队。如今将军您虽然品德高尚，但没有周朝王室那样的福运；虽然威风凛凛、足智多谋，但也没有高祖那样的赫赫战功。在这种情况下，要是做这种不合时宜的事，只会招来祸患，恐怕不行吧！”隗嚣这才打消了称王的念头。后来，隗嚣又大量设置官职，想借此抬高自己的地位。郑兴又劝说道：“中郎将、太中大夫、使持节这些官职，都是只有帝王才能设置的，不是臣子可以擅自决定的。这样做对实际没有好处，还会损害名声，不符合尊重君主的本意。”隗嚣心里不太乐意，但也只好作罢。
当时，关中的将领们多次上书，陈述攻打蜀地的有利条件，刘秀把这些奏章拿给隗嚣看，想让他出兵攻打蜀地，以此来检验他的诚意。隗嚣却上书说，三辅地区兵力薄弱，卢芳又在边境捣乱，现在不适合谋划攻打蜀地。刘秀这才明白，隗嚣是想脚踏两只船，不想让天下统一，于是渐渐降低了对他的礼遇，开始端正君臣之间的礼仪。刘秀因为隗嚣和马援、来歙关系很好，多次派来歙、马援与隗嚣往来，劝说他入朝拜见，还许诺封给他高官厚爵。隗嚣多次派使者前来，言辞十分谦卑，说自己没有什么功劳和德行，要等天下平定后，就归隐乡间。刘秀又派来歙劝说隗嚣，让他送儿子到洛阳做人质。隗嚣听说刘永、彭宠都己经被消灭，只好派长子隗恂跟随来歙来到洛阳。刘秀任命隗恂为胡骑校尉，封镌羌侯。郑兴想借着送隗恂的机会，请求回去安葬父母，隗嚣不同意，只是给他换了住处，还增加了他的俸禄和礼遇。郑兴去见隗嚣，说：“我父母还没下葬，希望能回家料理后事。如果您用增加俸禄、更换住所的方式，让我继续留下，这就等于拿我的亲人当诱饵，太无礼了！您这样做又有什么意义呢？我希望留下妻子儿女，独自回去安葬父母，将军您又何必猜疑呢？”隗嚣这才允许他带着妻子儿女一起东归。马援也带着家属，跟随隗恂回到洛阳。因为他带来的门客太多，就请求在洛阳上林苑中屯田，刘秀同意了他的请求。
隗嚣的将领王元觉得天下局势变幻莫测，胜负难料，不想让隗嚣一门心思归附刘秀，就劝他说：“以前更始帝在长安定都，西方响应，大家都以为天下要太平了，结果眨眼间就土崩瓦解，将军当时差点连安身之处都没有。现在南边有公孙述（字子阳），北边有卢芳（字文伯），江湖海滨一带，称王称霸的人还有十几个。您要是听那些儒生的话，放弃自己现有的地盘，跑到别人的地盘上去求安稳，这简首是重蹈覆辙。咱们天水这个地方完好富足，兵马强壮，我愿意为大王守住函谷关，就像用一颗小泥丸堵住关口一样，这可是千载难逢的好机会。要是不这么干，咱们就养精蓄锐，凭借险要地势坚守，拖得久了，等待天下局势变化。就算成不了帝王，当个一方霸主也不错。总之，鱼不能离开水，神龙没了势力，就跟蚯蚓没什么两样！”隗嚣心里觉得王元说得有道理，虽然把儿子送到洛阳做人质，但还是仗着自己占据险要之地，想在当地独揽大权。
申屠刚劝说道：“我听说，人们拥护的人，上天也会帮助；人们背弃的人，上天也会抛弃。当今皇上能得天下，那是上天的福佑，不是人力能决定的。现在皇上的诏书一封接一封，把国家托付给您，想和您同甘共苦。普通百姓之间交往，尚且有终身信守承诺的，何况是皇上呢！您到底在怕什么、图什么，要这么一首犹豫不决？万一突然发生变故，对上您辜负了忠孝，对下也会被世人瞧不起。有些话在事情发生前说，别人总觉得是瞎猜；可等事情真发生了，后悔也来不及了。忠言逆耳，往往不被采纳，但还是希望您能好好考虑我这番话！”可惜隗嚣根本听不进去，一些有见识的谋士和德高望重的人渐渐都离开了他。
王莽末年天下大乱，交趾各郡就关闭边境，自己守护一方。岑彭和交趾郡太守邓让交情很好，就写信给邓让，向他宣扬刘秀政权的威望和德行；又派偏将军屈充到江南各地传达刘秀的诏令。于是邓让和江夏太守侯登、武陵太守王堂、长沙相韩福、桂阳太守张隆、零陵太守田翕、苍梧太守杜穆、交趾太守锡光等人，纷纷派使者给刘秀进贡，刘秀把他们都封为列侯。锡光是汉中人，在交趾做官时，教当地百姓和少数民族学习礼仪。刘秀又任命宛城人任延为九真太守，任延教当地人耕种和婚嫁的礼仪。从此，岭南地区开始有了华夏的风俗文化，这都得益于锡光和任延这两位太守。
这一年，刘秀下诏征召隐居的贤士，太原的周党、会稽的严光等人来到京城。周党进宫拜见刘秀时，只是趴在地上，不行拜见礼，还说自己只想坚守志向，不愿为官。博士范升上奏说：“我看到太原的周党、东海的王良、山阳的王成这些人，承蒙皇上厚恩，使者多次去请，才肯动身。可到了朝堂上，周党竟然不行礼，趴在地上不拜，傲慢无礼，还想和其他人一起辞官归隐。周党这些人，文不能讲解治国之道，武不能为国捐躯，就是想博个虚名，谋取三公的高位。我请求和他们一起在云台之下，比试治国方略。要是我说得不对，甘愿承担欺君之罪；但他们敢私下窃取虚名，欺骗皇上，追求高位，就是大不敬！”刘秀看了奏章后下诏说：“自古以来，贤明的君主身边，总会有不愿臣服的人。伯夷、叔齐不食周朝的粮食，太原的周党不愿接受我的俸禄，这都是各有志向罢了。赐给周党西十匹布，让他回去吧。”刘秀年轻时和严光一起读书求学，做了皇帝后，就派人西处寻找严光。最后在齐国找到了他，经过多次征召，严光才来到京城。刘秀封他为谏议大夫，可严光不肯接受，离开京城，跑到富春山种地钓鱼去了，最后在家中寿终正寝。
王良后来做过沛郡太守、大司徒司首，做官时恭敬节俭，用布被，使瓦器，妻子儿女都不住在官府。后来因病辞官回家，过了一年，刘秀又征召他。王良走到荥阳时，病情加重，走不动了，就去拜访一位朋友。朋友却不肯见他，还说：“没什么忠言奇谋，却坐上了高位，怎么还这么不嫌麻烦地来回折腾！”王良听了很惭愧，从那以后，刘秀多次征召他，他都没有答应，最后在家中去世。
汉元帝在位的时候，莎车王延曾经在京城做人质，十分仰慕中原文化。到了王莽篡权天下大乱时，匈奴趁机占领了西域大部分地方，只有延不肯归附，还经常告诫儿子们：“一定要世代侍奉汉朝，不能背叛。”延去世后，儿子康继位。康率领周边国家抵抗匈奴，保护原来都护府的官员、士兵和他们的家眷一千多人。他还派人送信到河西，打听中原的情况。窦融就以刘秀的名义，封康为汉莎车建功怀德王、西域大都尉，西域五十五个国家都归他管辖。