《天龍八部》中介紹，段延慶在與刀白鳳有過一夜情之后：

最近五年習練以杖代足，再將“一陽指”功夫化在鋼仗之上；又練五年后，前赴兩湖，將所有仇敵一家家殺得雞犬不留，手段之兇狠毒辣，實是駭人聽聞，因而博得了“天下第一大惡人”的名頭，其后又將葉二娘、南海鱷神、云中鶴三人收羅以為羽翼。

段譽今年十八歲，段延慶與刀白鳳的遇合因為是在十九年之前。去掉中間練習武功的十年，“四大惡人”集團形成，最多只有九年時間。

另外，段延慶“曾隸籍西夏一品堂麾下”，在西夏呆過一定的時間。西夏地處西北，遠離中原武林，沒有機會作惡。

再有就是段延慶“曾數(shù)次潛回大理，圖謀復位，但每次都發(fā)覺段正明的根基牢不可拔，只得廢然而退”，不在西夏的時間，還有一部分呆在西南的大理國境內，同樣遠離中原武林，沒有機會——不，不是沒有機會作惡，而是做壞事的影響力不大，沒有及時傳到中原武林中。

所謂的“俠義之輩”，以中原武林為主，像少林、丐幫等等。而段延慶、以及四大惡人集團，與中原武林交集不多，也就不容易受到仇恨和攻擊。

說白了，“四大惡人”合中有分，在大事上還是唯段延慶馬道是瞻的。段延慶的主要目標是大理段家，而不是中原武林。