正派家风出良吏
史书对于祭遵的家世记载不详，但称他家境殷实，自幼就有条件接受良好教育，又是豪门云集的颍川地区人氏，他应该是来自一个颇有点势力的家族，也就是中小地主豪强。当时的豪强都是极其奢靡腐败的，但祭遵不一样，他从小生活俭朴，为人恭谨。这自然是因为父母教导有方，祭家的家风正派。
大约是受战乱影响，祭家一度衰落，祭遵少年时期就失去了父母，还遭到当地官吏欺负。刘秀大军到来之后，他就前去投奔。而刘秀却只认为他的长相还不错，未予重用。但接下来发生的事情改变了刘秀的看法。
祭遵最初常被安排去做一些小官，没有领兵上阵的机会，但他每一样都做得很严谨。后来在他所负责的范围内，碰上了刘秀身边一个奴仆违反军令，祭遵二话不说就依照军法将其斩杀。刘秀得知后大怒，但在身边谋臣的劝谏下，意识到自己治军所需正是祭遵这样公正无私、敢于执法的人。于是刘秀转怒为喜，并对祭遵有了一番全新认识，将其提拔为“刺奸将军”，专门负责纠察整治军队中的腐败违法现象。刘秀还以开玩笑的方式提醒其他将领，这个祭遵可是法不留情啊，连我的人都敢杀，何况你们，所以请大家都管好自己和自己的手下。
得到信任的祭遵，逐渐开始展示他的才华，不久便得到了领兵的机会，开始为了天下一统南征北战。他作战勇猛，曾被弩箭射中胸膛，血流如注，却不让人包扎，也不后退疗伤，而是更加拼命地临阵指挥。他与来歙也是好搭档，多次并肩作战。在讨伐隗嚣的战争中，两人紧密配合，屡立奇功。
如此良才，刘秀自然恩宠有加。刘秀曾将皇帝用的御盖赐予祭遵，还曾亲自到祭遵的军营中犒劳将士。
但祭遵却一直保持他的俭朴本色，没有因成为功臣就开始享福。他一直注重克制自己的私欲，所得赏赐，都拿来分给跟他出生入死的将士，由此深得军心。而他自己却从来没有买田买地，也没有给家人谋什么官职和福利。当刘秀手下那帮地主豪强忙着修大宅子，用名贵丝绸做衣物时，祭遵还是穿着当年的粗布衣服，盖着粗布被子，他的妻子也是一样，数十年来，物质生活毫无变化。
在物质上淡泊的同时，他在精神上却富足。他本来就受过教育，为将之后，也不忘读书学习。他提拔人才也注重学识，并在军中鼓励好学之风，还提议朝廷尊崇孔子，是刘秀麾下难得的一员儒将。
祭遵死后，刘秀极为悲痛，为其举办的丧礼超过其他将领，还曾多次到其坟上祭拜，因为他知道，自己手下这般清廉刚直的臣子并不多，祭遵走了，太可惜。
由于长期操劳国事，无暇顾及私事，祭遵竟然连子嗣都没有留下。后来刘秀便从其族人之中，找了一个名为祭肜的作为继承者。
祭肜是祭遵的弟弟，在他身上，同样有一股清廉刚直、一心为国的家风。与兄长类似，最初刘秀对他也没有多在意，只是让他当个县令，主要还是负责照看祭遵的坟墓。但祭肜在短短时间内，就将一个盗贼横行的县治理得井井有条，是当时所有县令中政绩最为出色的一位。他让刘秀再度认识到，这一家人都不简单。随后祭肜得到重用，被任命为辽东太守，负责守卫东汉王朝的北大门。