臨汾西南有多少人
西晉武帝太康元年（280年）六月的一天，在幽州范陽國涿縣（今屬河北）的刺史官邸花園裡，三個少年正在練劍。
一個十五歲，身體強健，面目英俊。一個大約十三歲歲，身材矮小，精神有點猥瑣。一個十一歲，眉清目秀，頗呈書卷氣。
他們是在對練。十五歲的以一敵二，招數精妙，劍氣縱橫，已經穩佔上風。
十三歲的雖然仍在見招拆招，但已顯得力不從心，手忙腳亂。十一歲的在劍氣籠罩下，則彷彿被無形之力束縛，不僅跳躍不靈，連劍也無法運用自如。
勝負顯然已分。然而，十五歲的似乎毫無住手之意，得寸進尺，更加緊逼。十三歲的和十一歲的退到籬笆下，再也無處可退，大汗淋漓，氣息阻滯。
花園外站著一個虎背熊腰的中年漢子，正隔著籬笆聚精會神地觀戰。看到先前情形，曾微微一笑；看到眼下景況，不禁眉頭一擰但見他身形一晃，便越過籬笆，插到三人之中，倏然奪下十五歲少年的手中的劍，厲聲斥道：“心中煩悶，也不該拿同門兄弟出氣！”
中年漢子姓李名陽，字景祖，原籍幷州。少年時代，從名師學藝，練就一身卓絕武功青年時代，因仗義疏財，扶弱鋤強，在幷州闖出不小的名頭。
後來攜劍出遊，在國都治陽小駐，無賴斂跡，豪強屏息，贏得“京師大俠”的美稱，受到晉武帝的重視。
幽燕自古多豪傑。當時幽州所統七郡國（范陽國、燕國、北平郡、上谷郡、廣寧郡、代那、遼西郡），遊俠甚多。他們劫富濟貧，藐視王法，很令朝廷頭痛。
武帝心生一計，請李陽暫攝幽州刺史。李陽儘管知道朝廷想利用自己的威望籠絡幽州的遊俠，但君命難違，也只好抱著暫且應付一下的念頭，單人匹馬，匆匆赴任。幽州刺史的治所設在范陽國的國治涿縣。誰知一到涿縣，李陽就讓這三個少年給纏上了，轉眼數年過去，竟然脫身不得。
十一歲的少年姓司馬名虓，字武會，是范陽王司馬綏的愛子。司馬綏是晉王朝的宗室，武帝泰始元年（265年）受封范陽國王。范陽原是郡，司馬綏受封之後，才改稱國。司馬綏貴為宗王，卻十分美慕遊俠生活，可惜自己武功平凡，無法在江湖上闖蕩。於是，將希望放在愛子身上。猛虎怒吼曰“虓”。“武會”倒讀即為“會武”。從給愛子所取名字就可知道，司馬綏對愛子寄託甚深。
一代大俠屈就幽州刺史，自然令司馬綏欣喜若狂。他在洛陽與李陽曾有一人之交、一面之雅，因而馬上命司馬虓拜李陽為師，苦練武功。然而司馬虓資質文弱，不是學武的胚子，荏苒數年，成就甚小。李陽不便將實情告訴司馬綏，也只好硬著頭皮繼續教下去。
十三歲的少年姓祖名約，字士少。
十五歲的少年姓祖名約，字士稚。他倆是同胞弟兄，家就住在范陽國的遒縣。提起祖家，當地無一不知，無人不曉，不僅在范陽是名門，在幽州也排得上冠族。上推九代，都出身孝廉，官至郡守。可以說是一個以敦禮尚文為事業的世家。
祖逖的父親祖武，繼承家業，當過晉王掾、上谷太守。祖武有六個兒子：前二個早卒。中二個為正房所生，一名該，一名納。後二個為側室所出，一即逖，一即約。該，納克紹箕裘，以敦禮尚文為業。逖卻從小不好讀書，藐視禮法，喜歡舞槍弄棍，行俠仗義。約與逖手足情深，受逖的影響，也置家訓於不顧。祖武對於這兄弟倆的不肖，既惱且怒，最後鬱郁而逝。
父親一死，祖逖更加無所顧忌。他與同父異母的二個兄長關係本來就不好，卻偏要打著他們的招牌，把他們的谷，帛慷慨地接濟貧困的鄉黨宗族。
二個兄長對祖逖又恨又怕，多次投書官府，要與祖逖脫離兄弟關係。然而祖逖毫不在乎，照樣我行我素。
李陽一到幽州，祖逖就帶著祖約拜到門下，硬要學藝。李陽愛才，見祖逖氣宇軒昂，大堪造就，自然同意了。祖逖學了幾年，武功飛速進步，李陽非常高興。祖約資質較祖逖為差，且貪多務得，不自量力，進步不大。
祖逖知道自己的功力、劍法超出同門兄弟許多，較一般江湖好手也不為差，不覺有點自命不凡。
去年（279年）十一月，聽說朝廷大舉伐吳，祖逖怦然心動，想攜劍從軍，不露鋒芒。沒想到李陽以年齡還小，武功未精為由，不許他去。祖逖為此很不高興。
本年三月，吳國被滅；五月，吳主孫皓被押到洛陽。一個立功揚名的機會，就這樣好端端地錯過了。幾天來，祖逖越想心裡越不是滋味。對恩師自然無可奈何，在剛才對練中，就不由自主地把不滿情緒發洩到二個同門兄弟身上了。
此刻，祖逖看到李陽眼中嚴厲的閃光，祖約，司馬虓狼狽不堪的可憐模樣，才知犯了錯誤，羞愧地低下頭來。
李陽的面色漸漸平和，一隻手把劍還給祖逖，另一隻手拍拍祖逖的肩臂，緩緩道：“知錯能改，才是大丈夫！”停了一下，又道：“有人開玩笑，說你是個‘不肖子弟’。此話在為師看來，雖無太大貶義，但也足以說明一些問題。須知世間萬事，錯綜複雜，僅憑匹夫之勇，並不能完全解決。作為大俠，也還必須泛誦詩書，博覽史籍，通天地陰陽之變，明古今治亂之理！”
祖逖聽罷，肅然答道：“恩師放心，弟子一定不辜負恩師教誨！”
李陽微微一笑，道：“這樣就好！”
祖逖一邊練武，一邊讀書，如此過了3年。太康四年（283年），祖逖18歲，文才武略均已大成。
這年六月的一天清晨，李陽忽然把祖逖召去，道：“你的武功頗有成就，同輩之中，恐怕已無對手，不久之後，必將青出於藍，勝為師多多。士少和武會，資質較差，再隨為師學下去，收穫也不會很大。因此，為師決定辭官不做，重入江湖了。”
祖逖心中一驚，轉而想到，恩師言出必踐，決定的事，絕無回改的可能，便含著眼淚問道：“恩師準備何日動身？”
李陽答道：“就在明日。”
祖逖又問道：“那麼，恩師是準備悄然離去，不與故舊話別的了。”因為李陽在幽州的故舊足有數百家之多，而且分居各郡國，僅用一天時間話別，顯然是不可能的。
不料李陽答道：“在幽州這些年，蒙故舊多方照顧，話別之禮是不可省的，不過，有一天時間也就夠了。”
祖逖不禁目瞪口呆，難以置信。過了一會，祖逖才想起還有話說，便道：“弟子不才，對今後道路選擇，殊無把握。恩師此去，不知何日才能再見，尚望恩師臨別贈言，指點迷津。”
李陽沉思良久，答道：“道路選擇靠自己，為師不便指點。但須記住：君道賢明，吏治清廉，可以輔佐之。君道昏庸，吏治黑暗，可以清除之。國家有難，民族有難，可以捨身拯救之。”
祖逖跪下答道：“恩師教誨，弟子銘記於心，終生不忘！”
李陽扶起祖逖，道：“你也該出外走動走動了。本年十二月，當今天子準備在洛陽宣武觀大閱，可以去看看，長長見識。”
“大閱”是國家級的講武閱兵，極為隆重，很多年才舉行一次，的確不能錯過。
祖逖連忙唱聲“諾”。然後，師徒二人揮淚分手了。
出外走動，是祖逖多年來的夙願。他準備先去翼州高陽國（在今河北高陽縣附近）看望未來的妻子和岳父母，再到洛陽看望很長時間未曾見面的舅舅。
祖逖小時候，父親就為他訂了一門親。對方許氏，出身冀州高陽國的名門。許氏的祖父許允，做過曹魏的中領軍；父親許猛，時官尚書吏部郎。這次看望他們，是遵母命與他們商量婚期。
祖逖的生母程氏，出身司州廣平郡（在今河北廣平縣西北）的名門。程氏有兄弟三人，長名元良，次名衛，再次名收，都強正方嚴，操行出類拔萃。由於國都洛陽在司州境內，程家在司州也是望族，這兄弟三人內外仕宦均十分順利。程元良時官司州陽平郡（在今河北大名縣東）太守，程衛時官洛陽縣令，程收時官尚書郎，在司州與洛陽頗有勢力。這次看望他們，是因為與祖該，祖納二個兄長積怨難解，想依靠他們的關係，把小家遷到司州來。
幾天後，祖逖讓祖約在家照顧生母，自己僅帶一劍一馬，疾然南下。
范陽與高陽，相距近二百里。祖逖馬不停蹄，跑了整一天，才進入高陽郡界。這時人困馬乏，只好找個小酒館暫且歇歇。
剛進酒館，就聽見有人大聲說道：“京師李大俠最近辭官歸隱，僅用一天時間，就憑雙腿跑了數百里地，與數百家故舊話別。這種功夫，咱們怎麼連聽也沒聽說過呀！”
祖逖至此方信恩師所言非虛，不禁暗歎，武學之道，實在深不可測，這種“陸地飛騰”的輕功，自己一輩子也恐怕學不會。想到自己以前學得一點皮毛，就要到處賣弄，不覺可笑。
進了酒館，發現剛才說話的是個十四五歲的少年，面容十分熟悉，想是以前在哪裡見過一樣。那個少年見了祖逖，先是微微一驚，稍後長身竄出，來到祖逖面前，身手竟然非常矯捷。問道：“閣下可是逖兄？”
祖逖答道：“在下正是祖逖！”
少年喜道：“逖兄不認識小弟了？”
祖逖猛然醒悟，少年姓許名柳，字季祖，是許氏的胞弟，幾年前曾隨乃父許猛到范陽遒縣祖家莊上作客，與自己見過面，便道：“哎呀！幾年不見，柳弟快要長成大人了，難怪我不敢相認！令尊、令堂及全家可好？”年輕人臉皮薄，不敢問許氏的近況。
許柳卻答道：“都好！都好！阿姊也好。”祖逖只覺臉上一熱。
許柳又道：“咱家離這酒館不遠，一會就到。”說罷，扔下酒館裡的一班小兄弟，拉著祖逖就走。
許家莊依山傍水，景色迷人。許猛夫婦見文武雙修，儀表出眾的未來女婿突然來訪，自然無限歡喜。
許氏年方十六，嫵媚動人，祖逖一見之下，也感到由衷高興。雙方商定，等祖逖從洛陽回後便完婚。
許猛夫婦執意要留祖逖在莊上多住些日子，祖逖見離十二月“大閱”之期尚早，也就欣然同意。
祖逖平時陪岳父母聊天，閒下來便在山巔水畔練習武功。許柳和他的一班小兄弟從小喜歡遊俠，莊上曾請武師教他們練功，因而於武學都有點根基。
他們知道祖逖是“京師大俠”李陽的大弟子，就纏著要祖逖教他們功夫。
祖逖不便拒絕，教給他們一些劍術和武功心法。時間過得很快，轉眼便到九月了。祖逖向岳父母辭行後，又一劍一馬，向南而去。
祖逖快馬加鞭，跑了三天，到了陽平郡，見到做太守的大舅程元良。
程元良見大外甥長得如此精神，大喜過望。
他聽祖逖說，想把小家遷到司州來，便道：“此事自應包在大舅身上。陽平這地方不錯，賢甥你看，把小家遷到這裡來如何？”
陽平地處程家所在的廣平的東南，二郡之間僅隔漳，清二水，相距不到百里。陽平風景優美，土地富饒，確是一個理想的僑居地。
魏晉時期，對人口遷徙有些限制，若把祖逖一家直接遷到廣平，難免會給程氏三兄弟招來物議。而遷到陽平，不僅可以避免別人說三道四，由於距廣平甚近，也可以間接得到程家的照顧。
祖逖當然明白這些道理，便道：“此事全由大舅作主！”
程元良道：“好！那麼，大舅現在這裡替你們買地蓋宅。等賢甥從洛陽回來，諸事一定早已安排妥當，隨時都可搬遷了。”事情商定之後，祖逖覺得很輕鬆，在陽平痛痛快快地玩了一個月，才向大舅告辭，繼續南下。
這次心無掛礙，不用趕忙，陽平到洛陽六百里，足足走了六天。到洛陽後，祖逖很快見著做洛陽縣令的二舅程衛，做尚書郎的三舅程收。
程衛、程收早就聽說祖逖曾從“京師大俠”李陽學藝，武功頗有造詣，現在見祖逖文才也意外地不錯，加上身材容貌超凡脫俗，均喜不自勝。
兩人均道：“憑賢甥的才貌，舅舅的神通，還怕不能在京師出人頭地？”第二天便帶著祖逖去拜會朝中顯貴。
開始，這些顯貴對年輕的祖逖並不怎麼重視。
一天，祖逖應邀去王敦家做客。王敦字處仲，小名阿黑，徐州琅邪國的巨族。尚武帝女襄城公主，官駙馬都尉。位高勢顯，兼有一身武功，從未把任何人放在眼中。一見祖逖，便嚷道：“聽說閣下是‘京師大俠’的弟子，武功不凡，敢與我比劍麼？”
祖逖何曾受過如此輕視，禁不住生起氣來，道：“不管閣下願意比什麼，在下都一定奉陪！”兩人就在王家花園裡拉開了架勢。
聞聲前來觀戰的皇親國戚、高官顯吏不計其數。大家都以為會有一番好鬥。誰知王敦在祖逖的劍下還未走到三招就敗了，而且敗得十分之慘。
王敦倒還有些度量，狂傲之氣盡收，對祖逖的武功大為讚歎。然而祖逖卻對王敦沒有什麼好印象。比劍之事傳開，祖逖的名聲在京師大噪。齊王司馬攸、隴西王司馬泰等晉室宗親均認為祖逖有贊世之才。司馬攸命其子司馬罔，司馬泰命其子司馬越、司馬略、司馬模與祖逖結交。
十二月五日，武帝果然親臨宣武觀“大閱”。
祖逖由諸公子王孫簇擁著，坐在貴賓觀禮席上，分外引人注目。祖逖並非存心出此風頭，而是坐在這裡，要比別人看得仔細，聽得清楚。十萬禁軍的整齊操練，使他對練兵之事有深入的瞭解。老將王浚、唐彬的講演武事，對他更有啟發。他驀地產生一個念頭：如果有一支可以由自己支配的軍隊，來施展自己縱橫揮闔的軍事思想就好了。
太康五年（284年）春，祖逖把遷居和完婚兩樁事一齊辦了。祖該，祖納二個兄長仍然留在范陽，祖逖和生母程氏、胞弟祖約、妻子許氏在陽平安了家。
東漢規定：地方長官察舉本地人才，僑居者不在察舉之列；僑居久者，已變僑地為本貫，方可察舉。魏晉相承不改。祖逖僑居陽平之初，是不能察舉的。
直到太康十年（289年），祖逖24歲，陽平郡才闢察祖逖為孝廉。祖逖認為自己本是有名的“不肖子弟”，有負“孝廉”這個稱號，拒而不受。
不久，司州又辟舉祖逖為秀才。祖逖認為“秀才”這個稱號與自己的志向不合，又拒而不受。
太熙元年（290年）春，地方推薦祖逖任司州主簿。當時，司州由於地轄京畿，首長不稱刺史，稱為司隸校尉。司州主簿作為司隸校尉的高階秘書，六品，地位高於一般州主簿。祖逖不便再拒絕，就告別家人，到司州的治所京師洛陽上任了。
司州地轄京畿，事務繁多，主簿不止一人。與祖逖同時任司州主簿的還有一個年僅二十的青年。這個青年姓劉名琨，字越石，冀州中山國人，漢中山靖王劉勝之後。少年時代也好遊俠，曾從名師學藝，劍法十分高明，與祖逖在伯仲之間。
祖逖與劉琨志趣相投，自然一見如故，日則同鍋共食，夜則同被共寢，有如親兄弟一般。
當時有品評人物的風尚，祖逖評劉琨為“偶朗”，劉琨評祖逖為“朗詣”，意思相差不遠，朝野名流則目二人為“京師二俠”祖逖就任司州主簿這年四月，武帝死，子惠帝即位。
惠帝是個不知飢飽、不辨寒暑的白痴，朝廷大權全由外戚楊駿包攬，楊駿是武帝的皇后楊芷之父，資歷甚淺，奉武帝遺詔輔政，唯恐朝野不服，遍樹親黨，廣攬權利，頗遭物議。惠帝的皇后賈南風，是個有名的潑婦，委屈地嫁給一個白痴，便是想仗著乃父賈充是本朝開國元勳，黨羽遍佈朝野，過過專權的癮。
如今楊駿掌權，使自己的夙願難以實現，賈南風如何不惱火！永平元年（291年）正月，賈南風考慮惠帝的叔祖父汝南王司馬亮與自己的父親賈充私交甚好，且曾受楊駿的排擠，擁重兵鎮守許昌，就密召司馬亮舉兵入京討楊駿。
司馬亮為人奸猾，只想坐收漁利，不想親自冒險，拒絕討楊。
賈南風沒有辦法，便派人與惠帝的弟弟楚王司馬瑋商量。
司馬瑋有膽無識，身在荊州，心向洛陽，連忙同意。二月，賈南風矯詔調司馬瑋回洛掌管禁軍。三月八日夜，司馬瑋奉賈南風旨意發動政變，殺死楊駿，收其黨書，誅三族，凡死數千人。
楊駿死後，宗室威望最高的司馬亮，元老碩果僅存的衛瓘，為眾望所歸，理所當然地共執朝政。
賈南風辛苦一場，卻是為人作嫁，只覺得怒火萬丈，難以平息。
六月，賈南風假惠帝手詔，司馬瑋再次發動政變，殺掉了司馬亮和衛瓘。司馬瑋居功自傲，妄想執掌朝政，與賈南風鬧起矛盾。同月，賈南風以擅殺大臣罪，把司馬瑋殺死。
自此，朝廷大權全部落到賈南風手中。賈南風讓族兄賈模為侍中，掌門下封駁詔令之權，讓從舅郭彰為右衛將軍，掌管禁軍，其他親黨也均有職位安排。賈氏家族的權勢，一夜之間便達到炙手可熱的程度。
賈充的養孫賈謐，無才無學，唯一的長處是善於招賓納客，門下聚集了不少名士豪俠。
劉琨在權力的誘惑下，與乃兄劉輿也投靠了賈謐。他倆與石崇、歐陽建、潘岳、陸機、陸雲、繆世微、杜斌、摯虞、諸葛銓、王粹、杜育、鄒捷、左思、崔基、劉環、和鬱、周恢、牽秀、陳胗、郭彰、許猛、劉訥等佼佼者結成所謂“二十四友”，為賈謐出謀劃策。
他們不是在賈謐的府中高淡闊論，就是在石崇的金谷別墅裡飲酒賦詩，簡直無憂無慮，過著神仙一般的生活。
一些趨炎附勢之人，巴結賈謐不上，紛紛與“二十四友”結交，希望得到賈氏家族的庇護。面對賈氏家族如日中天的權勢，祖逖表現得異常的冷靜。他感覺到一場政治大風暴正在醞釀之中。
因此，他不接受賈氏家族成員的任何邀請，也拒絕任何賈氏家族成員上門作客，甚至與劉琨及岳父許猛也漸漸疏遠，有時間他只悄然回陽平探望家人。他已有二個兒子和一個女兒。大兒子名沛，二兒子名渙。他教兒子讀書習武，想把兒子也培養成文武全才。就這樣，不知不覺地過了八九年。
惠帝元康九年（299年）十二月上旬的一天深夜，祖逖正在洛陽官邸挑燈讀書，忽然聽到一陣急促的敲門聲。開門一看，是多年未曾見面的劉琨。
劉琨面容疲倦，神色緊張，問祖逖道：“逖兄，小弟想回邸來住，不置可否？”
劉琨本與祖逖合住一邸，投靠賈謐後，才從這裡搬出去，現在願意搬回來，祖逖自然不便拒絕。
祖逖答道：“當然可以！”
劉琨進邸後，祖遜問道：“琨弟，到底發生了什麼、事？”
劉琨長嘆一聲，道：“小弟年輕識淺，貪圖一時的榮華富貴，投靠賈家，直到現在才看出前途的兇險，實在感到慚愧！”原來，惠帝的太子司馬遹，為謝才人所生，賈南風以非己出，深惡之。
司馬通從小聰明，善於分辨是非善惡，對賈氏家族專制朝政也深為不滿。賈謐目中無人，常大模大樣地去太子的東官遊玩，司馬遹看不慣，言語之中，多有頂撞。
賈謐從未受過別人的氣，便到賈南風那裡告司馬遹的狀，並編造謊言，說司馬遹想矯詔廢掉賈南風的皇后之位。賈南風自然大怒，與本家族成員商量，打算先發制人，就在這個月的下旬，廢掉司馬遹的太子之位。諸宗室王公本來就對賈氏家族極端不滿，只是一時找不到發動兵變的好的藉口，現在聽說賈南風要廢太子，無不心中暗喜。
沒人想阻止賈南風廢太子，沒人能阻止宗室王公發動兵變，一場大的政治動亂自然無法避免了。宗室王公大多手握重兵，賈氏族所控制的只有白痴天子，可以說，未經較量，已知勝負。作為賈氏家族的朋黨，要想在這場即將到來的政治動亂中保全自已，只有儘早與賈氏家族脫離關係。
劉琨離開賈謐，回到司州官邸，便是出於這種考慮。祖逖聽到這裡，不禁熱血沸騰，道：“琨弟迷途知返，惠兄深感高興！常盲道：亂世造英雄。惠兄在司州主簿任上，逗留將近十年，早有寂寞之感。如果四海鼎沸，豪傑並起，未嘗不是好事，惠兄正可與琨弟在中原幹一番事業！”
自此之後，風聲日緊。一天半夜，祖逖與劉琨同被共寢，忽然聽到雞叫。祖逖踢醒劉琨，道：“半夜雞叫，恐非惡聲！”當時認為，半夜雞叫，必有兵亂，流血滂沱。祖逖此語，意思是：天既示警，讓世人有所準備，並非壞事。劉琨自然明白此語用意。
二人一躍而起，提劍出戶，相對而舞。但見劍氣散開，樹枝紛紛斷落。曠野之中，彷彿有一個聲音在徘徊：動亂快來吧！我們已經作好了準備。
元康九年（299年）十二月三十日，賈南風終於廢太子司馬遹為庶人，囚之於洛陽城外的金墉城。永康元年（300年）三月二十二日，賈南風矯詔將司馬遹害死。四月三日，惠帝的另外二個叔祖父梁王司馬肜，趙王司馬倫發動兵變，廢賈南風為庶人，先囚之於金墉城，旋即矯詔賜死。賈氏家族及朋黨被捕殺數千人。司馬肜無德無才，大權落到司馬倫手中。
趙王司馬倫也是一個庸人，僅因為親信孫秀較有謀略，才顯得比梁王司馬肜高出一籌。
司馬倫不能管事，唯孫秀馬首是瞻。孫秀官癮很大，想當名符其實的宰相，便勸司馬倫篡位當皇帝。
永寧元年（301年）正月九日，司馬倫篡位稱帝；十日，遷惠帝於金墉城，號太上皇。三月，繼封齊王司馬同起兵討伐司馬倫，惠帝之弟常山王司馬父、成都王司馬穎及宗室河間王司馬順等起兵響應。四月，聯軍攻入洛陽，盡誅司馬倫，孫秀及其黨羽，迎惠帝復位。六月，司馬同以功進升大司馬，都督中外諸軍事。
齊王司馬同曾與祖逖結交，很欣賞祖逖的武功，特別調祖逖為大司馬府掾屬。同時調為大司馬府掾屬的還有39人，均是近年來有名的俠士。掾屬本是大司馬的佐官，司馬囧卻讓他們作自己的私人衛士。
祖逖事後得知，很不滿意。司馬同驟得高官，十分驕恣，聽不得不同意見，使朝野非常失望。
祖逖則不僅失望，更生反感，經常盤算脫身之計。同年七月，常山王司馬乂復封長沙王，拜驃騎將軍，給了祖逖脫身的機會。
長沙王司馬乂開朗果斷，年輕好俠，久仰祖逖的文才武功，常以未能結交為憾。
一次拜會司馬冏，見祖逖在冏宅外面仗劍巡視，司馬乂急忙上前，長揖嘆道：“逖兄大材，卻替人作衛士，小弟深感惋惜！”祖逖默然不語。
司馬乂環顧左右，見無人偷聽，又道：“逖兄如果願意來小弟府中，助小弟一臂之力，小弟將喜不自勝！”
祖逖沉吟片刻，道：“祖逖不才，蒙大王厚愛，深感榮幸！可惜祖逖已經侍奉齊王。此事雖合祖逖心意，祖逖卻作不了主。”
司馬乂笑道：“只要逖兄願意，小弟自有辦法。”
司馬冏是司馬乂的堂兄。司馬乂見到司馬囧，佯問道：“小弟剛才在同兄宅外見到一名衛士，似乎武功不凡，不知此人是誰？”
司馬囧頗為得意地笑道：“乂弟太孤陋寡聞了！此人乃京師大俠李陽的高足，曾經名噪一時的祖逖呀！”
司馬乂佯驚道：“哦，原來是祖逖！冏兄門下真是藏龍臥虎，象祖逖這樣的人都只配當衛士，實在令人羨慕。”
司馬冏面呈驕色道：“能在愚兄門下當衛士，就很抬舉他了。”
司馬乂正色道：“既然冏兄門下豪傑甚多，小弟想借祖逖作家庭武師，不知可否？”
司馬冏牛皮吹得太過，想拒絕已無理由，只好裝作不在乎的神態，道：“自家兄弟，說‘借’未免見外，父弟既然需要，帶去就是了。”
司馬乂委任祖逖為驃騎將軍府祭酒。不久，又轉祖逖為驃騎將軍府主簿。
齊王司馬冏在洛陽城裡作威作福，引起宗室王公的不滿。
太安元年（302年）十二月，河間王司馬順上表，指責司馬冏窺伺神器，有篡位之心，聯合成都王司馬穎、新野王司馬歆、繼封范陽王司馬戰等，擬同會洛陽，請廢司馬冏。
長沙王司馬乂平時與司馬冏關係較好，見形勢不妙，擔心自己會受池魚之殃，惶恐不安。
范陽王司馬憂是祖逖的師弟，派人深夜送信到洛陽，請祖逖為內應。祖逖痛惡司馬冏的所作所為，又知司馬乂此時的心境，便向司馬乂進言道：“識時務者，方為俊傑。齊王多行不義，咎由自取。大王如能反戈一擊，天下當謂大王為國為民，以公廢私。”
司馬乂考慮良久，終於下定決心，對祖逖道：“逖兄高見！反戈之事，一切由逖兄安排。”
祖逖讓司馬乂屯軍洛陽南止車門，阻司馬囧逃竄之路，命大將宋洪等放火燒諸觀閣及千秋，神虎等門，製造混亂，自己率一支精悍分隊直搗大司馬府，經過激戰，將司馬囧擒獲。
司馬乂立斬司馬窘以謝天下。同黨因牽連被誅者多達二千餘人。司馬乂以功升為太尉，都督中外諸軍事。祖逖也由驃騎將軍府轉到太尉府繼續供職。
齊王司馬囧當政時，以東宮無人，曾奏立惠帝之弟清河王司馬遐之子司馬覃為太子司馬覃是一個不到十歲的小兒，無知無識，又逢動亂，朝臣深以教育與安全為憂。司馬乂代司馬囧總理國務，為了表示自己對國家忠心，太安二年（303年）春，忍痛推薦祖逖為太子中舍人。
祖逖在任太子中舍人之初，事務較少，有充分的時間分析形勢。他知道，一個白痴當皇帝，於國於民均無希望可言，人人都想取而代之。
司馬乂有此野心自不待言。成都王司馬穎積極禮賢下士，收買人心，胸懷甚大。河間王司馬顒雄踞關中，兵強馬壯，必不肯居人之下。此二人遲早要與司馬乂展開一場逐鹿之戰。其它宗室王公也都虎視眈眈，妄圖分得一杯鹿羹。
這樣一來，雍、豫，司、冀諸州，都將變為戰場。
分析至此，祖逖忽然想到，老母及妻兒住在陽平，兵荒馬亂，無人照顧，極為不妥。怎麼辦呢？洛陽是動亂之源，讓她（他）們來洛陽隨自己一起住，情況只會更糟。
正焦慮間，胞弟祖約以孝廉改授司州河南郡成皋縣（在今河南滎陽縣汜水鎮西）的縣令，前來辭行，使祖逖有了主意。
成皋在洛水、黃河南畔，雖為兵家必爭之地，但也為交通便利之津，一旦發生戰事，東可順河直下青，齊，西可順洛直上京師。於是與祖約商定，立即派人把老母及妻兒護送到成皋，由祖約暫時看護。此事處理完畢，祖逖就心無掛礙了。
這年八月，成都王司馬穎、河間王司馬顒果然向長沙王司馬父舉起問罪之旗。司馬穎的大將牽秀、石超出身行伍，熟悉戰陣，司馬顒的大將張方原為河間怪俠，驍勇善鬥，更難對付。
司馬乂挾惠帝、太子出征，一戰而敗，倉皇北逃，洛陽失守。
祖逖隨太子在軍中，由於本身已負重責，不能助司馬乂征戰，便向司馬乂建議道：“二王之中，河間兵力最強。雍州刺史劉沈，為人忠義，如能請他偷襲河間老巢長安，河間只能回師援救，眼前之困則自然可解。”
劉沈字道真，幽州燕國人，與祖遜有鄉里之祖，故祖逖知之甚深。司馬乂對祖逖絕對信任，當然同意，連忙請惠帝下求救詔，派人星夜送給劉沈。劉沈接到詔書，立即發兵攻打長安。
司馬顒屯兵鄭縣高平亭，為張方軍聲援，聞長安告急，揮師回救。劉沈以逸待勞，大敗司馬顒。
司馬顒退入長安，膽戰心驚，急召張方回援。張方不得已，分軍一半，令赴長安解圍。十月，司馬乂回師南下，大敗二王聯軍，收復洛陽。
祖逖臨敵不亂，有大將之風，令隨軍出征的惠帝之弟豫章王司馬熾由衷軟佩。回洛陽後，司馬熾假惠帝手詔，把祖遜調到自己的豫章王府當從事中郎。
朝廷以司馬乂、司馬穎兄弟相煎，為國家大不幸，派中書令王衍、光祿勳石陋進行調解，勸乂、穎分陝而居，停止爭鬥。穎自恃實力日增，予以拒絕雙方相持期間，洛陽缺糧，人心惶惶。永興元年（304年）正月，禁軍發動叛亂，擁東海王司馬越為主，囚司馬乂於金墉城，迎二王聯軍入城。
司馬顒被張方極為殘忍地殺害。三月，二王逼惠帝廢太子司馬覃，立司馬穎為皇太弟，委司馬順為太宰。司馬穎屯駐魏郡鄴城（在今河南安陽市北），監視洛陽；司馬顒留守長安，遙控朝政。
惠帝雖然愚昧，但也有短暫清醒的時候，對諸弟凌逼自己十分不滿。七月，司徒王戎、東海王司馬越、高密王司馬略、平昌公司馬模、豫章王司馬熾、吳王司馬晏、東安王司馬繇、琅邪王司馬睿、裹陽王司馬範、右僕射荀藩等簇擁著惠帝，北征司馬穎於鄴城。
十餘萬大軍浩浩蕩蕩，可惜眾心不一，進至蕩陰（今河南湯陰），與司馬穎大將石超遭遇，一戰而潰，除了司馬越、司馬略、司馬模三兄弟逃脫外，惠帝及其他諸王公都成了俘虜。本來，祖遜憑藉自己的武功和輕功，完全能夠突圍遠遁，但由於擔負保護豫章王司馬熾之責，也只好隨司馬熾一起進了司馬穎的戰俘營。
在戰俘營裡，祖逖結識了琅邪王司馬睿。司馬穎戰勝之後，為了立威，公開殺害了司馬睿的叔父東安王司馬繇。司馬瑞唯恐禍將繼及，連夜找祖逖想辦法。祖逖道，“三十六計走為上！”
司馬睿仰望一輪皓月，嘆道：“月明如此，禁衛又嚴，哪裡走得出去！”
祖逖笑道：“祖逖不才，粗通天文，算準一個時辰之後，必有云霧雷雨。屆時衛士定會分散避雨，禁微一弛，大王就可脫身而去了。有頃，一切均如祖逖所料。司馬睿知道祖逖不會拋棄豫章王與自己同走，便道：“中原板蕩，已難收拾。江南物產豐富，大有開發前途。小王此去，擬集合豪傑，開發江南。逖兄倘若有意，度此厄後，萬望到江南一聚！”
祖逖點點頭，表示同意。司馬睿輕鬆地出了戰俘營，在雲霧雷雨的掩護下，逃回了洛陽。
這年八月，安北將軍王浚、東贏公司馬騰為營救惠帝，邀烏丸鐵騎夾擊司馬穎，大敗穎軍於鄴城下。
司馬穎押著惠帝及諸王公狼狽南下，剛渡河就落到張方手中。張方把司馬穎也當俘虜囚禁起來。在洛陽住了二個月，張方押著惠帝及諸王公西去，十一月抵長安。十二月，河間王司馬顒假詔廢司馬穎皇太弟之位，立豫章王司馬熾為皇太弟。為了籠絡關外諸王公，司馬顒又假詔以東海王司馬越為太傅，與自己夾輔惠帝；以高密王司馬略為鎮南將軍，司隸校尉，權駐洛陽；以平昌公司馬模為寧北將軍，屯守鄴城。
祖逖通過幾年來的風雲變幻，對宗室王公只知道爭權奪利越來越反感，對不斷受人利用的仕宦也越來越厭惡。
司馬熾榮升皇太弟，仍想把祖逖留在身邊，祖逖遞上辭呈，堅決不幹。司馬顒為防人才外流，禁衛甚嚴，辭官不做的人也不許隨便離開長安。
祖逖無事，只好整天在長安城裡閒逛。永興二年（305年）正月的一天，祖逖在長安街上遇到一個從成皋來的商人，說祖逖的生母程氏剛在成皋病故了。祖逖心中大痛，當晚仗劍闖出長安城，直奔成皋而去。
范陽王司馬城、高密王司馬略、平昌公司馬模聽說祖逖從關中東歸，竟相召請，祖逖均堅辭不就。東海王司馬越請祖逖為典兵參軍，濟陰太守，祖逖也以母喪為由而謝絕。祖逖回到成皋，與家人一起就地安葬了母親。祖逖決心在母親墓旁守孝三年，靜觀時局變化。
幾年間，時局不僅未見好轉，反而更加惡化。
匈奴劉淵已在左國城（在今山西離石縣東北）稱王，建國號為漢，準備南下，參加中原逐鹿，而晉室王公，仍不知死活，爭鬥不休。
永興二年七月，東海王司馬越聯絡其弟高密王司馬略、平昌公司馬模及范陽王司馬虎、成都王司馬穎故將公師藩、幽州都督王浚所統鮮卑、烏丸鐵騎，以河間王司馬順、張方劫持惠帝為由，大舉西征。
司馬顒大懼，放掉了成都王司馬穎，使還鎮鄴城，欲分裂聯軍，然而聯軍不為所動。十月，司馬顒讓張方為大都督，統軍十萬東征。張方狂傲，不聽使喚，屯軍霸上，盤桓不進。
司馬顒大怒，光熙元年（306年）正月，用計殺掉張方，將其首級送給司馬越，以求和解。殊不知聯軍所懼僅張方一人，見張方已死，反無顧忌，鼓譟而西，日行數百里，直抵長安。
司馬顒嚇得單騎逃到武功縣的太白山。六月，聯軍迎惠帝及諸王公還洛陽。八月，司馬越以太傅、隸尚書事總理朝政。十月，鎮守鄴城的司馬虓病死。虓手下長史劉輿恐被囚在鄴城的司馬穎趁機興風作浪，偽撰詔令將穎殺死。劉輿向司馬越推薦其弟劉琨為幷州刺史，以抗劉淵。
十一月，惠帝食餅中毒死，皇太弟司馬熾即位，是為懷帝。十二月，司馬越召司馬顒為司徒，顒東行至新安，被剛由平昌公升為南陽王的司馬謨殺害。
懷帝永嘉元年（307年）二月，東萊人王彌起兵，攻青、徐二州，長廣太守宋羆、東牟太守龐伉死難。
三月，劉淵侵陷幷州，刺史劉琨獨守晉陽（今山西太原）孤城。公師藩死，四月，故將汲桑起兵，以替司馬穎復仇為名，派羯人石勒為先鋒，攻打鄴城。五月，鄴城陷落，留守東燕王司馬騰殉難。七月，司馬越以琅邪王司馬睿為安東將軍，都督揚州、江南諸軍事，鎮守建業（今江蘇南京）。
當時所謂三年之孝，實僅25個月。永嘉元年七月，祖逖服除，聽說司馬睿開始經營江南，不禁感到振奮。中原烽火，越燒越旺，決非久留之地，祖遜作好了渡江投奔司馬睿的思想準備。但他知道，戰亂之中，跋涉數千裡到人地生疏的江南，並非一件簡易的事。如果沒有足夠的實力，別說能否得到司馬睿的重視，在江南覓得一塊生存之地，就是這水陸數千裡行程，盜匪猖獗，也休想平安跋涉過去。
於是，祖逖在成皋樹起召募豪傑的大旗。首先應召的是受過祖逖接濟，對祖逖存有好感的范陽祖氏親黨，共有百家之多。接著，范陽豪俠李產也率領一大批李氏親黨投奔了祖逖。
妻弟許柳也從高陽來到成皋。精通各種武藝的中原遊俠，如董昭、衛策、韓潛、馮鐵、陳超、殷義、王愉、蔡豹、童建等，也慕祖逖之名，先後歸附。
有個姓王名安的少數民族俠客，對祖逖極為敬佩，想投奔祖逖，又恐祖逖以為異族而不留用，乾脆賣身祖家為奴。就這樣，不到幾個月，祖逖有了一支由數百家，幾千人組成的精悍隊伍。
祖逖正準備率領隊伍撤退時，接到東海王司馬越的公函，委任祖逖為豫州汝南郡（在今河南息縣一帶）太守。祖逖召叢集俠，商量去留問題。
李產大聲道：“東海王讓琅邪王經營江南，自己已有退意，咱們留下來幹什麼？”
蔡豹是兗州陳留人，道：“如果讓逖兄當陳留太守，留下來倒不礙事。”
董昭、衛策、韓潛、陳超等豫州遊俠則道：“狐死首丘。留下來人地兩熟，總比去異鄉作異客要妥當得多！”
馮鐵、殷父等遊俠道：“咱們既奉逖兄為主，去留問題自應由逖兄定奪！”
大家均道：“當然！請逖兄示下。”
祖逖目射精光，朗朗道：“國難當頭，大家務須同心同德！當前形勢，錯綜複雜，難以逆料。汝南背靠長淮，進可直抵河、洛，退可順流到達徐、揚，地方不錯。咱們先到汝南暫避戰火。去留問題，等到汝南之後再定！”
大家齊聲道好。於是，祖逖為“行主”，命令健壯者均步行，老弱疾病乘車馬，即日向汝南行進。一路上，祖逖與大家同甘共苦，藥物衣糧均與大家共同享用，威望越來越高。一個月後，到達淮水之畔的汝南。祖逖將人馬安頓妥當，一邊派人造船，一邊派人去洛陽打探訊息。
這年八月，撫軍將軍苟晞大敗汲桑於鄴城。十月，石勒見汲桑土崩瓦解，便投靠劉淵，淵封勒為平晉王，令率部侵擾中原。十一月，司徒王戎見形勢不妙，以弟王澄為荊州都督，族弟王敦為青州刺史，預備退路。永嘉二年（308年）正月，劉淵之子劉聰攻佔太行要塞，石勒侵擾冀州。三月，王彌攻掠青、徐、兗、豫四州。四月，佔領許昌，五月，兵抵洛陽，京師大震。
祖逖得知以上訊息，認為中原大勢已去，便率領隊伍，於永嘉二年六月，乘船順淮東下，七月，到達徐州廣陵郡淮陰縣（今屬江蘇）的泗口。琅邪王司馬睿聽說祖逖帶了一支精悍的隊伍到了泗口，大喜過望，急忙派人向朝廷請求，委任祖逖為徐州刺史。
徐州原治彭城國的彭城縣，因祖逖之故，改治淮陰縣。當時規定，刺史帶兵者可依軍府例自闢武職官吏。祖逖以李產為長史，蔡豹為司馬，董昭、陳超為督護，衛策、韓潛、馮鐵、童建等為將軍，殷父、王愉為參軍，許柳為從事中郎，命令他們抓緊訓練兵馬，貿易糧草，以備非常。
一天，祖逖正在官衙批閱公文，衛士報告，說有幾個中原難民想拜見刺史。
祖逖急忙迎出，見是僑居陽平時的鄰居，一個人衣衫檻樓，面呈菜色。
他們見到祖逖，均泣不成聲，訴說遭遇。原來，王彌進攻洛陽，被涼州刺史張軌派來的河西勇士擊敗，走投無路，降附了劉淵。劉淵先得石勒，再得王彌，實力大增。王彌、石勒奉劉淵之命攻圍鄴城，侵擾陽平，助桀為虐，作惡更甚。
朝廷守軍經“八王”內訌之後，實力減弱，鬥志消沉，無法與之抗爭。老百姓無所寄託，只好晝伏夜行，紛紛南逃，所受磨難，真可謂一言難盡。他們幾個人在南逃途中，多次遭到盜匪襲擊，財物盡被劫走，連身上的褻衣也被剝去；後來揀了幾件別人扔掉的破衣爛衫裹住身子，吃草根啃樹皮，好不容易才混到淮陰。
祖逖聽了，胸中怒火頓起。安頓了他們之後，祖逖苦苦思索：自己應該如何行動？
祖遜對宗室王公的自相殘殺是深惡痛絕的。跋涉數千裡的所謂避難，避的就是宗室王公的內江之難。但現在情況已經有了變化。宗室王公的內訌似乎告了一個段落，代之而起的是漢民族與匈奴等少數民族的爭鬥。對於宗室王公的內訌，普通老百姓無能為力，也可以不管；對於匈奴等少數族的外患，作為一個漢人，卻不能坐視。國家興亡，匹夫有責！祖逖決定重返中原，與異族強敵作一番較量，然而正在此時，祖遜接到琅邪王司馬睿的緊急調令。
原來，司馬睿初鎮建業，江南豪強均表不服，三吳（吳郡、吳興、會稽）大姓尤其傲慢。吳郡顧榮閉門不出，會稽孔愉躲進深山，均拒絕與司馬睿照面。頭面人物態度如此，土匪地痞就更加囂張，三吳地區隨時可能發生一起矛頭指向北方僑民的暴亂。
從三吳到建業，必經長江南岸的京口（今江蘇鎮江）。為了確保建業的安全，司馬睿只好急調祖逖為自己鎮東大將軍府的軍諮祭酒，使鎮守京口。軍令如山。祖逖雖然滿肚子不願意，也只好暫時服從軍令。永嘉三年（309年）正月，祖逖率領隊伍，由淮陰南下，渡過長江，來到京口。
三吳大姓、江南豪強聽說大俠祖逖鎮守京口，均心懷畏懼，不敢放肆。司馬睿在琅邪王導的輔佐下，放心地經營江南，漸漸收到成效。青州刺史王敦是王導的從兄，到建業來探望王導，司馬睿如獲至寶，連忙留下，先用為本府軍諮祭酒，不幾天又用為揚州刺史。琅邪王氏為北方巨姓，敦，導兄弟為士流冠冕，他們二八商定，要利用自己的名望，為司馬睿立威。
三月上巳那天，根據風俗，要到水濱洗濯，清去宿垢，祓除不祥，稱為“禊”；攜飲食到郊外宴飲，稱為“禊飲”。
司馬睿乘肩輿，具威儀，出門觀禊。王敦，王導等北方名流以騎相從，前呼後擁，執禮甚恭。南方士族首領顧榮，紀瞻、周已、賀循、孔愉等本來躲在遠遠觀看，一見司馬睿八面威風，有如天子出行，均大驚懼，慌忙上前，拜於道旁。從此，司馬睿的地位得到江南豪強的承認。
在司馬睿一心一意經營江南的同時，中原晉政權已到生命的最後關頭。永嘉二年十月，劉淵稱帝，命令其子劉聰，族子劉曜及石勒，王彌等分兵大舉入侵。
永嘉三年三月，京師禁軍將軍朱誕投降劉淵，獻計道：“洛陽孤弱，可一攻而下。”十月，劉聰，劉曜、王彌等圍攻洛陽，被守軍拚死擊退。永嘉四年（310年）七月，劉淵死，劉聰繼位。十月，劉曜，王彌，石勒再次圍攻洛陽。十一月，東海王司馬越以討石勒為名，率20萬大軍出走許昌，洛陽空虛。永嘉五年（311年）三月，懷帝痛恨司馬越專擅，臨危脫逃，密詔大將軍苟晞討司馬越。越聞信，憂憤而死，王衍代領其軍。四月，石勒追王衍等至梁國苦縣，王衍及王公將士十餘萬人，接戰不利，全部遇難。六月，劉曜、王彌、石勤合兵洛陽，懷帝被俘，洛陽也被焚為灰燼。
祖逖在京口，無日不為中原局勢擔心，聽說懷帝被俘，一氣之下，隻身跑到建業，找到司馬睿，慷慨陳辭道：“晉室之亂，並非由於君主無道，人民叛變，而是由於藩王爭權，自相殘殺。戎狄乘隙，侵略中原，導致君主被虜，社稷傾覆。今天下盡遭戎狄蹂躪，遺民思本，多有奮擊之心，只是無人能主其事。大王若能振臂號召，大舉北伐，祖逖庸劣，願為前驅。上為國家雪恥，下為萬民請命，郡國豪傑必然響應，沉溺黎庶必然踴躍，灑掃中原，收復寰宇，此千載一時之機會。請大王三思！”
司馬睿默然不等，半晌才道：“小王初鎮江南，闢掾屬百餘人，人稱‘百六掾’。‘百六’者，厄運之謂也。證明小王無日不為國難揪心。現在江南未定，士卒疲鈍，大舉北伐，談何容易！逖兄大才，小王寄託甚殷，暫駐京口，已然隱若長城，何懼沒有用武之地！國家大事，要須妥當，小王自有主見，逖兄不必多慮。”祖逖知道司馬睿毫無北伐之意，憤然回到京口。
永嘉五年（311年）八月，劉聰之子劉粲攻陷長安，南陽王司馬模遇難。九月，大將軍苟晞舉兵討石勒，大敗，與豫章王司馬端並沒於陣。十月，石勒掃蕩豫州，直抵長江北岸。司馬睿大為驚慌，永嘉六年二月，傳檄四方討伐石勒，同時命令部下加強長江南岸的防守，不派一兵一卒過江。永嘉七年正月，劉聰在平陽（在今山西臨汾西南）大宴慶功，令懷帝青衣行酒。被俘晉臣見此情景，均大哭。劉聰惡之，二月一日，將懷帝殺死。四月，懷帝遇難訊息傳到收復不久的長安，南陽王司馬保、雍州刺史麴允等擁懷帝兄吳王司馬晏之子秦王司馬鄴為帝，是為愍帝。改永嘉七年為建興元年。五月，江南得悉懷帝死、愍帝繼位訊息，司馬睿宣佈奉建興年號，改建業為建康。
祖逖得悉懷帝死訊，不禁悲從中來，大哭了一場。懷帝為豫章王時，祖逖任王府從事中郎，二人朝夕相處，患難與共，長達1年有餘，情誼自非泛泛可比。將士見主帥如此悲傷，也都覺得難過。董昭嚷道：“琅邪王不北伐，咱們北伐！咱們不是琅邪王的嫡系，要走便走，怕他作甚！”
韓潛也嚷道：“昭兄說的是！腿長在咱們自己身上，今夜就走，看誰敢管！”
王愉較為冷靜，道：“諸兄雖然說得有理，但這萬里長江，所有渡船均由琅邪王管理，沒有徵得他的同意，別說北伐，恐怕連江也無法過去。“
大家一聽，都覺洩氣。祖逖止住淚，在一旁聽大家議論已經多時，這會站起，冷冷道：“要走也非難事，只是有累諸兄陪祖逖在千載之下背個惡名！”
大家均道：“咱們只管眼前，誰顧身後！主師肯有脫身良策，請說給咱們聽聽。”祖逖如此這般一說，大家齊聲道好。
當時揚州大飢，民不聊生，而南塘土著富豪卻拚命居積，以謀暴利。
司馬睿及諸北方士族，為籠絡計，儘管整天挨餓受凍，也不敢向那些土著富豪徵索衣糧。
可是有一天，一批武功高強的蒙面人，突然來到南塘 ，把土著富豪家裡的財物洗劫一空。
案子報到建康琅邪王府，司馬睿大為震怒，立即命揚州刺史王敦去偵辦。王敦由於職掌關係，早就得到確切訊息，道：“此案已經清楚。青天白日敢行搶劫，除了祖逖和他那幫遊俠弟兄，誰有這麼大的能耐！”
司馬睿聽說是祖逖，不禁兩眼發直，暗道難辦。拋開祖逖於自己有救命之恩不說，祖逖的那幫遊俠弟兄桀驁不馴，是誰也惹不起的。
司馬睿想了一下，對王敦道：“祖逖治軍甚嚴，怎會發生如此之事？想必是驟逢饑荒，不得溫飽，出於無奈吧！敦兄應去勸勸祖逖，請他對部下嚴加管束，此類事情務必不能再發生了！”
王敦對祖逖畏之如虎；不敢答應這個差事，便道：“王敦脾氣不好，恐與祖逖衝撞，誤了大事。從弟丹楊太守王導，鎮東大將軍府西曹掾庾亮，溫和健談，可以辦好此事。”
司馬睿道：“這樣也好。”
王導、庾亮身穿破衣來到京口祖逖官宅，見祖逖及其衛士、奴僕均身著新衣，頭戴新帽，宅內堆放著許多裘袍珠寶。王導佯問道：“逖兄真有本事！哪裡弄到這麼多的財物？”
祖逖哈哈一笑，神氣活現地道：“靠老本行弄到的。”
王導問道：“什麼老本行？”
祖逖道：“劫富濟貧！”
庾亮裝作不信的模樣，道：“逖兄說笑話了。大災之年，像我輩也均靠典當度日，哪裡還有富豪！”
祖逖笑道：“亮兄真是健忘，南塘的富豪不是多得很麼？”
庾亮佯驚道：“哎呀！逖兄，南塘的劫案真是你乾的呀！如此，未免太魯莽了。”
祖逖裝不懂，問道：“有何魯莽可言？”
王導道：“雨塘的富豪，都是江南豪強的頭面人物，咱們如今寄人籬下，得罪不起呀！”
祖逖滿不在乎地道：“如今得罪了，他們又能把我怎麼樣？”
庾亮正色道：“只要逖兄以後不再幹，咱們想辦法大事化小。”
祖逖冷笑道：“我可以不再幹，但我手下這幫弟兄，我可管不住！一回生，二回熟。他們在這裡嚐到了甜頭，大概不會善罷甘休吧！”
王導，庾亮見難以商量，頗為失望，匆匆回建康向司馬睿彙報去了。
這年五月，愍帝仿周、召二公分陝夾輔之制，拜司馬睿為侍中、左丞相、大都督陝東諸軍事，南陽王司馬保為右丞相、大都督陝西潮軍事。
七月，愍帝派殿中都尉劉蜀至建康，命令司馬睿立即率精兵20萬，北上中原。司馬睿向愍帝奏稱“江南未平，無暇北伐”，竟然拒不出兵。王導勸道：“完全不出兵，未免有違君命。”
司馬睿道：“你說怎麼辦？”
王導道：“就讓祖逖和他那幫弟兄去吧，既可遂他的心願，又可避免他那幫弟兄給咱們惹麻煩。”
司馮睿道：“這樣好雖好，只是祖逖是個人才，我真有點捨不得。”
王導道：“丞相可把祖逖的胞弟祖約闢為相府掾屬，留在身邊作人質。祖逖與祖約極為友愛，北伐不利，還能不回來？”
司馬睿笑道：“如此便為萬全之計！就這樣辦吧。”
這年八月，左丞相司馬睿以祖逖為前鋒都督、奮威將軍、豫州刺史，給千人廩食、布三千匹，使自籌甲仗，自募軍隊，先行北伐。
同月，48歲的祖逖率領原班人馬，從京口渡江北上。當時南渡者，均視北歸為畏途，象祖逖這樣率領原班人馬重返北方的，可謂絕無僅有。祖逖望著滔滔大江，東流不返，感慨萬千。行至中流，祖逖以手擊楫，詣音清朗、辭色壯烈地誓道：“祖逖若不能收復中原，則如同大江，永不迴歸！”
渡江後，祖逖率領部隊直趨淮陰。在淮陰休整二月，起冶爐，儔兵器，募士卒，籌糧草。募得2000餘人。推薦蔡豹為徐州刺史，作為自己的後援。以許柳為司馬。其他人均官復自己為徐州刺史時的原職。一切準備就緒，建興元年（313年）十二月，全部人馬出屯淮水中游的蘆洲。
當時的中原，兵荒馬亂，烽火連天。老百姓為了自保，紛紛大築保壘，名之為“塢”，推選豪俠為首領，名之為“塢主”。中原塢主割據，爭權奪利，互不統屬，時而依附石勒，時而心向晉室，首鼠兩端，最為難治。
祖逖西上豫州，首先必須經過該州所轄的譙那（今安徽亳縣一帶）這裡有二個塢主，一姓張名平，一姓樊名雅，私交甚好。
當初劉琨的侄兒劉演（劉輿之子）為北中郎將、兗州刺史，與石勒進行拉鋸戰時，為得塢主之助，曾私署張平為豫州刺史，樊雅為譙郡太守。
祖逖正式受命豫州刺史，率眾西上，平，雅二人以為來與自己爭奪地盤，均心存敵意。祖逖不願與同胞開戰，派參軍殷乂前去勸降。
參軍殷乂本是一個性情怪傲的豫東遊俠，早年成名時，張平，樊雅還只是江湖上默默無聞的小人物，因而對此二人頗為看不起。
殷乂先去見張平，張平久仰殷乂是本地前輩遊俠，執禮甚恭。
殷乂卻越發擺大架子，參觀張平的住宅，輕蔑道：“此宅只配做馬廄。”
張平素知殷乂怪傲，雖然生氣，還能忍住。參觀烹食用的大鑊，殷乂嚷道：“如此大鑊，何不用來鑄兵器？”
張平不滿道：“這是帝王之鑊，等到天下清平，可以派大用場，為什麼要毀：掉！”
殷乂冷笑道：“你張平連腦袋都不知是否保得住，愛惜這個大鑊幹什麼？”
張平勃然大怒，迅速拔劍在手，指著殷乂道：“我敬你是個前輩，對你分外忍讓，誰知竟如此不識抬舉。好！好！今天看誰的腦袋保得住！”一言甫畢，劍鋒暴長，直指殷乂胸口。
殷乂怪傲，武功勢必有獨到之處，但見滑步避開，長劍也已出手。戰了半日，一個年輕力壯，一個功夫老辣，竟然不分勝負。最後，張平欺殷一不諳塢中地形，將殷乂誘入絕境，命手下亂箭射死。
祖逖聽說殷乂被害，大怒，親自領兵圍攻張平塢。張平塢異常堅固 ，糧草儲蓄亦豐，圍攻數月，竟然不下。
當時譙郡附近還有董瞻、於武、謝浮等十餘塢主，曾奉劉演之命，聽張平指揮。這些塢主均自視甚高，輕易不肯屈身事人，劉演一去，全與張平貌合神離。其中謝浮尤其狂傲，已經公開不奉張平號令。
祖逖遂派人說謝浮，只要能夠誘殺張平，一定請朝廷拜官封爵，重重賞賜。謝浮大喜，當即埋伏刀斧手，邀張平會議，共商抗擊祖逖之計。
張平於窮困之中，急切需要援助，接到邀請，欣然赴會。謝浮砍下張平的頭，獻給了祖逖。張平一死，部下均作鳥獸散。祖逖順利佔領了張平塢及其所屑地盤。訊息傳到建康，司馬睿很高興，派人給祖逖送糧草。
建興二年初夏，青黃不接，軍中大飢。
祖逖苦等建康送的糧草，卻聽信使報告，由於交通阻塞，司馬睿又取消了送糧草的計劃。
沒有辦法，五月，祖逖率軍進據離譙郡郡治譙縣不遠的太丘（在今河南永城縣北）覓食。太丘本是張平的地盤，譙縣則是樊雅的大本營，兩地相距二百里。
樊雅得知張平被殺，十分悲憤，聽說祖逖進據太丘，以為準備圍攻自己，急忙選派六十餘名精悍的武士，前去刺殺祖逖，祖逖進據太丘的次日夜晚，月黑風高，這批刺客就突然到了。
他們一進大營，就直撲主帥大帳。軍中不知刺客人數，以為樊雅傾巢來犯，大亂，人人惶恐，均欲遁去，祖逖端坐帳中，不動聲色，聽了一會，對左右道：“敵人不過60餘人，傳令將士，不用驚慌！”命令胡奴王安舉燈隨自己出帳。
將士見主帥如此鎮靜，頓時心安。督護董昭揮舞雙刀，銳不可當，一會就砍倒七八個刺客；督護陳超旋轉雙戟，勇猛異常，轉眼也殺死五六個刺客。
其餘刺客見勢不妙，紛紛逃竄。率眾窮追，直到譙縣，把城池團團包圍心來。
樊雅兵多將廣，又得張平餘黨之助，祖逖部隊的圍攻：受挫折，形勢十分不利。時有蓬陂塢主陳川者，自封寧朔將軍、陳留太守，屯兵兗州陳留那的浚儀縣（今河南開封），勢力很大。祖逖派人向陳川求助。陳川得悉祖逖志在經營豫州，與自己志在經營充州沒有矛盾，為將來能夠和睦相處，便派大將李頭率兵二千支援祖逖。然而合二支部隊，攻圍譙城，歷時經月，仍不能克。
南中郎將王含手下有個參軍，姓桓名宣，譙郡人，與張平、樊雅同鄉交好。當初司馬睿想收張平、樊雅為己所用，曾派桓宣作說客，馬到功成，十分順利。祖逖遂函求王含派桓宣前來相助。
桓宣領兵五百很快趕到譙城之下的祖逖大營。
祖逖對桓宣道：“桓參軍以前曾勸平、雅歸順，有信於彼，有功於朝。這次仍請為我勸雅：如能立即投降，不僅可以免死，還可以受到獎勵和重用。”
桓宣遂帶二個隨從入譙，說樊雅道：“祖豫州為人俠義，決心蕩平劉、石二寇，如雅兄這等人才，必會受到重用。以前殷父怪傲，得罪張平，原非豫州本意。但兩國交兵，不斬來使，張平殺了殷父，總覺理虧。張平之死，實咎由自取，怪豫州不是。雅兄如願和解，則忠勳可立，富貴可保。如有固執，琅邪王赫然動怒，再遭猛將，以雅兄烏合之眾，孤守窮城，萬難倖免！願善自珍重，早做選擇。”
樊雅考慮再三，覺得桓宣說得有理，便派兒子隨桓宜一起去見祖逖，同意投降。幾天後，樊雅又親自到祖逖營中謝罪。不料張平餘黨中有人恨祖逖謀害其主，有人曾辱罵祖逖怕遭報復，等樊雅回城後，威脅樊雅，又閉門拒守。
祖逖率眾攻之，不下，再派桓宣入譙。樊雅與桓宣定計，將異己者全部殺死，於八月率部出降。
祖逖將大本營遷到譙城，從此在豫州有了一塊進可攻、退可守的根據地。初戰告捷，祖逖以功升為平西將軍。
建興四年（316年）十一月，劉曜攻下長安，愍帝被俘。建興五年正月，平東將軍宋哲從關中逃到建康，宣愍帝被俘前所撰詔書，請琅邪王司馬睿即位。可一以愍帝未死，僅稱晉王，改建興五年為建武元年。
建武元年六月，石勒派從子石虎大舉圍攻譙城。祖逖勢單力孤，一面人向建康求援，一面堅壁固守。新稱晉王的司馬睿，不肯動用自已的嫡系部隊，派徒有虛名的太山太守司馬颺率兵2000前往援助。司馬颺無知無識。凡事均需占卜而行。
他找到當時有名的術士戴洋，戴洋對他說：“祖豫州深謀遠慮，自有退敵之方，你去於事無補。”他就真的稱疾不出兵。司馬睿一怒之下，把他下了大牢，援助之事也就不再提了。
祖逖苦守二月，外無援兵，內無糧草，形勢十分危急。祖逖遷據譙城之初，為長遠利益考慮，曾命士卒在城北屯田。現在正當收穫時節，而城中恰又缺糧，祖逖遂將人馬分作兩路：強壯者隨自己出城逐敵，老弱者跟在後面抓緊時間搶收稻穀。行動時間定在夜晚。大家均須手持炬火，如果敵人猖狂反撲，抵擋不住，就放火燒掉稻穀，不能讓敵人用作糧草。後來執行這項計劃，還算比較順利，搶收了一半稻穀，燒掉了另一半稻穀。有了糧草，又堅守了一個月。
這時，桓宣率增援部隊趕到了。原來，收服樊雅後，桓宣又回到南中郎將王含那裡。
聽說祖逖被困，晉王不派援兵，桓宜很感氣憤，桓宜一向仰慕祖逖為人，譙郡又是桑梓，遂找王含軟纏硬磨，終於徵得王含同意，前來援助祖逖。石虎糧草已盡，將士均無鬥志，聽說祖逖方面來了援軍，不敢久留，連夜撤退了。祖逖對桓宣非常感謝，把他留在身邊，用作譙國內史（即譙郡太守）。
司馬睿聽說祖逖逐走強敵，大為高興，傳檄天下，聲稱：“逆賊石勒，肆虐河朔，又遣兇黨石虎，率犬羊之眾，犯我譙郡。平西將軍祖逖，智勇雙全，帥眾討擊，挫敗兇黨。今遣車騎將軍，琅邪王裒等九軍，銳眾3萬，水陸四道，直抵中原，受祖逖節度。“
琅邪王司馬裒是司馬睿的兒子，當時正患重病，司馬睿怎麼可能派這個快要死了的兒子去冒險？這不過是個騙人的花招，想說明司馬睿本人對祖逖的北伐是由衷支援。果然，出師沒有幾天，司馬睿又把人馬全部召回去了。
這年十二月，劉聰在平陽大宴群臣，令愍帝洗爵行酒；宴畢，將愍帝害死。太興元年（318年）三月，愍帝死訊傳到建康，晉王司馬睿即位，是為東晉元帝。
五月，幷州刺史劉琨被鮮卑段匹害死。七月，漢主劉聰死，子劉粲即位。大臣靳準殺劉粲，不久自己也被殺。十月，劉曜即位，遷都長安，改國號為趙，史稱前趙。石勒控制幽、冀、司、豫等州，駐於襄國（在今河北邢臺市西南），已有與劉曜抗衡之意。
愍帝之死及匈奴漢政權內訌，均在祖逖意料之中，雖心有悲喜，尚未動容。只有劉琨被害，使祖逖大為驚痛，顛狂失態。祖逖曾與劉琨相約，共同在中原幹一番事業。劉琨任幷州刺史十二年，面對劉淵，劉聰這樣的強敵，毫不氣餒，孤軍奮戰，盡忠衛國。
不久前，劉琨聽說祖逖攻佔譙郡，在豫州獲得一塊立足之地，曾大為興奮，以為馬上可與祖逖實踐舊約，聯手抗敵，收復大晉江山。他在給親友的信中寫道：“我枕戈待旦，志梟逆虜，常恐祖生先我著鞭！”頗有要與祖逖競賽爭勝的意思。誰料壯志未酬，人卻選逝。
祖逖閉門三日，時而放歌，時而痛哭。等到鎮靜下來，祖逖暗暗發誓；不論困難多大，也要完成二人共同的事業，以告慰烈士在天之靈。
祖逖考慮，石勒為與自己對抗，在豫州西北布有重兵，由此北上河、洛，困難甚大，不如先行迂迴之策，東去兗，徐二州，看看石勒的反應。
由徐州北上，先得經過該州的彭城國。當時彭城地區有二個塢主，一名周撫，一名周默，靠剽劫為生。周撫善惡不辨，唯利是圖，難以商量；周默天性未泯，能識大體，較易說話。
祖逖便派人向周默勸降，請求借路。周默素敬祖逖為人，競不如思考，欣然同意。然而周撫聽說，懷疑周默賣己，不念同袍之誼，於太興元年十二月，襲殺周默，以彭城叛附石勒。
朝廷派徐州刺史蔡豹、彭城內史劉遐和太山太守徐龕討伐周撫，在彭城一帶展開激戰，交通阻塞，道路不通。祖逖無奈，轉而向兗州陳留的蓬破塢主陳川假道。
陳川曾派大將李頭助祖逖圍攻樊雅 ，祖逖對陳川頗有好感。李頭想要擒獲的樊雅的駿馬而不敢言，祖逖自 己愛馬成癖，但知道之後，看在陳川的面子上， 忍痛把這匹駿馬送給了李頭。
李頭受此恩遇，感激萬分，回去之後，逢人便道 “若得此人為主，雖死無憾。”陳川非常惱火。
太興二年（319年）春，祖逖向陳川假道，陳川以為是李頭暗中策劃 ，將李頭殺死。李頭親黨馮龐等率部下四百人連夜投降祖逖 陳川更怒，派大將魏碩攻打祖逖轄地，搶劫車馬及人口 。祖逖派將軍衛策追擊，戰於谷水，大勝，把車馬及人口全部奪回。 陳川大懼，四月，率眾叛附石勒。
祖逖最恨認賊作父之人 ，見陳川叛附石勒，惡感頓生。五月，親率將士討伐陳川 ，一起打到蓬陂的門戶蓬關之下。
祖逖武功既強，謀略又高，陳仲自知不是對手，急忙飛書向石勒求救。
石勒派石虎率兵五萬，殺氣騰騰而來。祖逖所率將士不足五千，無法正面迎戰，便設計將石虎誘入蓬關附近的山谷，居高臨下以殲之。
這一仗大獲全勝，斬敵近2萬人。石虎不甘心失敗，集聚優勢兵力，六月，在陳留的浚儀佈陣。陳川也傾巢出動。祖逖欲從浚儀西上河、洛，不得已，與敵人展開了正面戰。這一仗以寡敵眾，自然十分殘酷，足足打了一日一夜。
祖逖親自上陣，長劍出手，矯如游龍，無人能敵。將士見主帥威風如此，也都勇猛異常，直殺得天昏地暗，日月無光。然而殺敵一萬，已損三千。敵方人數太多，繼續拚下去，只會對自已不利。祖逖率餘部衝出重圍，七月，退出梁國（今河南商丘市）。
正當祖逖在前方吃緊時，後方的建康局勢也不平靜。王敦有大功於東晉，新任荊州刺史，手握強兵，威權莫二，漸生專制朝廷之心。
元帝心中畏懼，引丹楊尹劉隗和尚書令刁協為心腹，以對抗王敦。祖逖在浚儀受挫，訊息傳到建康，佐著作郎虞預上書道：“周撫、陳川相繼背叛，祖逖面對強敵，孤立無援，雖有智力，亦難持久。懇請選舉賢能，率牢北上，以助祖逖一臂之力。”元帝自顧不暇，當然毫不理會。王敦聽說祖逖受挫，心中大喜。
他一生之中，僅怕祖逖、劉琨二人，遲遲不敢公然反叛，就是因為這“京師二俠”均尚健在的緣故。
一年前聽說劉琨被害，他曾興奮地開懷暢飲，大醉三日。現在祖逖受挫，他認為祖逖已經自身難保，再也無法干涉他的行動，膽氣更壯了。
八月，王敦派參軍數十人，出使四方，宣佈自己要親下建康，干預朝政。祖逖在梁國，得悉其，不覺拍案而起，對王敦所派參軍瞋目厲聲道：“你回去告訴阿黑，休要膽大妄為！令他速回荊州！稍有耽擱，我定率三千快騎，取他的性命！”王敦聽說，嚇得直淌冷汗，立即停止了行動。
山這年十月 ，石勒又派大將桃豹增援石虎，敵方的總兵力達到10萬人。祖逖只有近3000人，如果固守梁國，無疑兇多吉少。
督護陳超請求率1000人偷襲桃豹， 觀察敵方的虛實和動向，祖逖同意了，但對陳超道：“孤軍深入，最忌戀戰。發現不妙，立即回師。我在這裡先作好撤退準備，只等你的訊息。“陳超出梁國不遠，突然遇到桃豹的大軍。
這時回師無異引狼入室，陳超只好先派人火速通知祖逖撤退，自己率軍纏住敵人，拖延時間。這一仗更加殘酷，陳超與手下士卒均抱必死之信念，無不以一當十，直殺得屍橫遍野，血流成河。
最後，陳超英勇戰死，手下士卒全部犧牲。等到桃豹整理隊伍，趕到梁國時，這裡已經沒有一個人了。祖逖率二千將士及將士家屬撤退到揚州淮南郡的壽春（今安徽壽縣），進行休整。
石勒得知部下攻佔譙郡和梁國，把祖逖逐出了豫州，大為高興。他命桃豹留守陳川的蓬陂故城，石虎徙陳川及其部眾五千戶還襄國。十一月，他在襄國得意洋洋地稱王，建國號也為趙，史稱後趙。
經過幾年的戰爭砥礪，祖逖積累了豐富的經驗。他分析形勢，深信艱難歲月已經過去。他在壽春多積糧草，廣募士卒，為再次進軍豫州作好了準備。
太興三年（320年）正月，祖逖率1萬將型出士北上，勢如破竹，不到10天就收復譙郡、梁國，先遣將軍韓潛馬不停蹄，一舉攻佔蓬陂故城的東臺，桃豹被迫退守西臺。對敵雙方同住一城，桃豹軍從南門出入放牧，韓潛軍從東門出入樵爨，相持凡四句。
祖逖時鎮梁國，派人向韓潛授擾敵之計。韓潛心領神會，第二天便執行。先以布袋盛土如米狀，使千餘士卒從東門外哼哼唧唧地扛上東臺。再以幾個布袋盛真米，是幾個士卒佯作疲憊狀，邊扛邊歇，遠遠落後。的部下見有機可趁，瘋狂撲來，這幾個士卒扔下米袋就跑了。
當時桃豹軍中缺糧，見米袋裡裝的都是大米，以為韓潛軍中糧食充足，人心大亂，均無鬥志。殊不知韓潛軍中的糧食也快吃光了。石勒得知桃豹軍中缺糧，派大將劉夜堂以驢千頭運米支援。
祖逖獲知訊息，命將軍馮鐵，衛策率精兵在汴水設伏，把米全部劫為己有。桃豹不敢繼續拒守，連夜逃到東燕城（在今河南延津東北）
祖逖由梁國移鎮陳留的雍丘（今河南杞縣），命馮鐵屯守蓬陂故城，韓潛進據東燕城南40裡的封丘。當時成皋以東，黃河以南，石勒僅存濮陽，東燕二城，其餘盡為祖逖所控制。
祖逖令馮鐵與己輪番攻擾濮陽，使守敵日夜不息，疲於奔命。
凡獲濮陽老百姓，均厚待之，然後遷回，讓他們作義務宣傳。濮陽老百姓知祖逖大仁大義，紛紛攜男帶女投奔祖逖，前後共有五百家之多。
韓潛也把本部分為二班，輪番攻擾東燕，把桃豹搞得焦頭爛額，叫苦不迭。石勒派精騎數萬渡河南下，想與祖逖一決雌雄。祖逖讓長史李產、司馬許柳、督護陳超，參軍王愉四路夾擊，大破之。
濮陽、東燕守軍見勢不妙，與敗騎一起撤到黃河以北去了。僅黃河南岸留下一些曾經依附石勒的塢主。這些塢主的兒子都被石勒扣在襄國作人質，不敢公然背叛石勒，祖逖也就不去逼他們，只是時而派兵去抄擾他們一下，以證明他們並未歸附自己。他們無不感激祖逖的良苦用心，爭先恐後地向祖逖提供石勒方面的情況。
祖逖控制了整個豫州和半個兗州，聲名遠播，威望日隆。司州境內的塢主，如趙固，上官巳，李矩、郭默等，平時各逞詐力，互相攻擊，經祖逖調解，立即握手言和，並均願受祖逖節度。從此，祖逖的勢力又進入了司州。這年七月，祖逖以功升為鎮西將軍
祖逖在豫、兗、司三州大力勸課農桑，招撫流亡。自己親自耕耘收穫，子侄無不負擔樵薪。
所蓄資產，一律奉公。命令收彈無名屍骨，並加祭奠，不照辦的處以重罰。老百姓的生活逐漸安定富裕，民風也隨之返璞歸真。祖逖曾置酒大宴本境耆老，為他們祝壽。耆老均感到流淚，相互嘆道：“咱們垂垂老矣，更得父母，死亦無恨！”於是境內紛紛傳唱：
“幸哉遺民逸豺虎，三辰既明遇慈父。
元酒清醪甘瓠脯，何以報恩歌且舞！“
這年九月，祖逖又以功升為徵北將軍。
石勒聽說祖逖在河南厲兵秣馬，隨時準備
萬平河北，大為驚恐。自登基稱王后，石勒已無往日雄風，只求太太平平地過日子，不敢逞兇冒險。他嚴禁部下窺兵河南，避免觸怒祖逖；命令成皋縣守軍立即修繕祖逖生母程氏之墓，向祖逖表示友好。
不久又下詔道：“祖逖屢為邊患，勢力壯大，頗難剋制。逖為北土士族，當有首丘之心。幽州當撥專人修繕范陽祖逖，父之墓，並置守冢二家。如此，才能盼望祖逖感恩，不再犯我！”
祖逖在陳留雍丘聽說自己祖、父、母的墓都得到修繕和保護，心裡非常高興。但他嚴肅地對部下道：“石勒老賊指望祖逖感恩，放棄北伐計劃，這是痴心夢想。亡國之恥，毀家之恨，祖逖未曾一刻忘記，豈能以小私廢大公 ！”
參軍王愉道：“咱們何不假意表示感謝，派人前去以贈方物、修和好為名，探探石勒的虛實？”
祖逖大笑道：“愚兄也有這個意思，正所謂英雄所見略同。”
王愉也笑道：“那麼，想必逖兄連人選也早就確定下來了吧。”
祖逖正色道：“此事重大，怎能不未雨綢繆！愉弟為人精細，正是最佳人選，請萬勿推辭！”
王愉領命而去。
石勒得知祖逖遣使前來修好，大為歡喜，興。
急令沿途官兵務必用最高規格款待使者，並絕對保衛使者的安全。因而一路上，王愉吃香喝辣，乘車坐轎，前有儀仗，後有護衛，好不舒服和威風。
到了襄國，石勒親自設宴款待王愉，王公大臣全部前來作陪。使命完成，王愉回到中原，將往返所見敵方城池構造、水陸布紡繪成地圖，呈上祖逖。
祖逖可以根據這份地圖，調整自己的軍事部署，進行有針對性的練兵，意義十分重大。
不久，石勒派左常侍董樹攜駿馬百匹，黃金五十斤，出使河南，請求互市。祖逖既不表示同意，也不表示不同意，為自己留退路。
董樹見祖逖有默許之意，回去稟報石勒，就在邊境上開闢了互市場所。經過幾個月的互市，石勒方面固然獲利不少，祖逖方面獲利更多，至此，祖逖才對互市一事表示正式支援。
將軍童建，在祖逖軍中以脾氣暴躁聞名，同你遇真每多容讓，連祖逖也不有意與他抬槓。新蔡內史周密，最發與人頂牛，凡事不爭贏決不罷休。
童建受命駐兵新蔡，與周密相處沒幾天，二人就如水火一般不能相容。有一次，二人又為一件小事爭吵起來，童建控制不住自已，一刀把周密殺了。
童建冷靜下來，不禁非常害怕。他知道，祖遜對待將士，平時稱只肯弟，親密無間，犯法卻堅決嚴懲，毫不留情。為了活命，他偷渡黃河，投降石勒去了，祖泓聽說童建投敵，惱怒之餘，非常擔心。
因為童建作為大將，掌握的情報太多了，一旦洩露出去，對將來北伐無疑大大不利，沒想到幾天後，河北送來了童建的首級，並附石勒手書一封，道：“天下所惡相同。叛臣逃吏，我之大敵。將軍所惡，就是我所惡。”原來，石勒為了討祖逖的歡喜，沒等童建洩露情報，就把他殺了。從此，河南之人均不敢往河北叛逃。為了麻痺石勒，河北之人叛逃到河南，祖逖也不收留。
自祖遜佔據中原，干戈化為玉帛，生靈免於塗炭，河南、江南呈現一派太平景象。東晉君臣本有苟且偷安之心，見此無不額手稱慶，希望祖逖這座“中原長城”，就這樣維持下去，不要再生變故。他們不知道，祖邀所希望的與他們不同，不是這區域性的太平，面是驅除“胡虜”，恢復中華的天下太平。
外寧必有內優。過了幾個月太平日子，等到祖逖公私豐贍，兵馬日滋，準備大舉渡河，收復幽、冀諸州時，東晉君臣間的矛盾竟然已經愈演愈烈了。
張芳雪代藍元帝本來就對王敦既畏且忌，劉院、刁協二人又總在元帝面前對王敦說長論短，元帝千脆與包括王導在內的所有琅邪王氏都疏遠了。
元帝初駐江南，全靠王導、王敦弟兄替他開啟局面，當時便有“王與馬，共天下”之說。現在政權穩固，就想過河拆橋，王導還想得開，王敦本來就有野心，這下更不願善罷甘休。
他手握強兵，雄踞上游，對建康虎視眈眈每次酒後，一面高吟魏武帝曹操的名詩：“老驥伏櫪，志在千里。烈士暮年，壯心不已。”一面用金如意敲打唾壺為節，壺邊盡缺。
元帝聽說，為之膽寒。為了防備王敦兵下建康，太興四年（321年）七月，他任命劉隗為鎮北將軍，都督青、徐、幽、平四州諸軍事，青州刺史，鎮守淮陰；戴淵為徵北將軍，都督司、兗、豫、並、冀，雍六州諸軍事，司州刺史，鎮守合肥，與健康構成掎角之勢。戴淵都督六州中有豫州，祖逖為豫州刺史，從此由戴淵直接領導。
戴淵字若思，廣陵世家子弟。少好遊俠，敢作敢為。吳中名士陸機乘船赴洛，淵率其黨半道劫之。
陸機在船頭看到戴淵坐在岸邊胡床上，指手畫腳，頗有章法，不禁嘆道：“戴郎才器如此，不知為何要當劫賊？”戴淵醒悟，從此走上仕途。
元帝渡江，戴淵作為南方土著領袖之一，頗受重視。然而南方豪強家鄉觀念重於國家觀念，他們只希望保住南方，對北攻收復中原從不感興趣。
戴淵更是反對北伐的強硬派。況且戴淵這次出鎮，本奉元帝密旨，必須竭力阻擾祖逖北伐。因為元帝知道，王敦最怕祖逖，只要祖逖在豫州待著，豫州與荊州緊鄰，王敦就不敢放肆。
祖逖知道一旦受戴淵控制，醞釀多年的北伐事業，必將前功盡棄，頗為悶閹不樂；知道朝廷內訌，遲早會引發一場大的動亂，又頓生焦慮。
不到半個月，祖逖得了重病。他意識到自己的病可能很難藥救，將家屬都從陳留的雍丘遷到汝南的大木山。
大木山地勢險峻，易守難攻，進可北上中原，退可南下江，淮，祖逖當年任汝南太守時就知道，這裡是一個理想的避難地。祖逖的這一安排，在中原人民中引起一陣騷動。大家都知道，祖逖行軍打仗，為穩定軍心，不管多麼危險，家屬總是隨身帶著的。
這一次，戰爭還未開始，祖逖本人在雍丘，卻把家屬遷到後方的大木山，中原人民自然十分擔心。豫州耆老推舉一人到雍丘面見祖逖，道：“中原百姓原以為將軍會進據虎牢關，等待機會，渡河北上。今見將軍南遷家屬，均不勝惶懼。”
祖逖道：“中原百姓對祖逖無限關心，祖逖雖粉身碎骨，亦不能報答萬一。這虎牢關西接成皋，北臨黃河，確為理想之北伐基地，自古為兵家所必爭，祖逖一定不會輕易捨棄。只要祖逖活在一天，北伐事業就不能讓它中輟！“
耆老代表走後，祖逖立即命長史李產率精兵佔駐虎牢關，修繕城池，儲積糧草；又命從子祖濟率汝陽太守張敞、新蔡內史周閣在虎牢南面廣築壁壘，以重兵守衛。然而明眼人都可看出，逖祖的這些部署，實際全採守勢。因為這時，逖祖已經意識到自己將不久於人世，北伐根本無從談起，退而求其次，能夠保住中原這既得的成果就不錯了。
逖祖病重的訊息傳開，建康君臣也甚感恐慌。他們主要擔心袒逖一死，王敦將無人可制。八月，朝臣華譚，庾闡嚇得馬上去找術士戴詳，問道：“祖提豫州還能活多久？”
戴洋答道：“還能活一個月，九月必死！”元帝立即召集心腹大臣會議，商量應變之計。
剛剛奉命趕回建康的青州刺史劉隗道：“臣以為，祖逖如死，理應讓譙國內史桓宣代領豫州。宣為人忠貞，又系豫州土著，必能保境安民，外抗強虜，內助朝廷。”
尚書令刁協道：“以桓宣代領豫州，固然不錯，但恐怕難以得到祖逖屬下將士的擁護。祖逖屬下將士，大多出身豪俠，頑劣成性，平生僅服祖逖一人，本非他人所能統領。臣以為，以祖逖之弟祖約代領豫州較好。約之才德雖不及桓宣，但曾在陛下相府任掾屬及從事中郎多年，現又任宮官侍中，忠貞應無疑問。更重要的是，祖逖屬下將士對待祖約，即使仍不一定擁護，但看在舊主面上，也不至於公然背叛。”
劉隗則道：“原相府軍諮祭酒祖納曾言祖約‘懷陵上之性，將為亂階’，以祖約代領豫州恐怕更不妥。”
刁協駁道：“祖納為祖約異母兄長，二人關係一向不好，人所共知，此話如何能夠當真？”
元帝道：“朕同意以祖約代，就這樣決定了吧！”
王敦在荊州，聽說祖逖將死，大為高興，道：“蒼天有眼，讓祖逖先死。我一定不辜負天意，找司馬睿這忘恩負義的東西算帳。”吩咐水陸兩軍加緊操練，只等祖逖一死，就兵下建康。
石勒在襄國，聽說祖逖將死，大為振奮，道：“受了祖逖幾年窩囊氣，這下總該結束了。祖逖一死，司馬睿的手下，再也無人可與我抗手，若不趁此蕩平江南，更待何時！”吩咐儘快集結兵馬，只等祖逖一死，就揮師南下。
時有“妖星”見於豫州之分，按歷陽星相家陳訓的說法，是西北大將將死之兆。祖逖聽說，嘆道：“這是指我呀！正欲渡河收復失地，而天卻要殺我！看來天不佑國，胡不當滅！”悲痛萬分。
把胡奴王安找來，道：“足下本是胡中大俠，為事奉祖逖，賣身為奴，是以祖逖雖早知道，卻不便點破。
今祖逖將死，足下再在此地逗留下去，恐怕有礙前程。足下與石勒同族，不妨投奔河北。石勒有知人之明，足下必受重用。將來石勒犯我中原，殺我人民，足下或許還能從旁勸阻。”
王安泣道：“王安不才，事奉主公多年，獲益匪淺。主公有命，只好敬從。今後王安不管身在何黃金，都不會做出對不住主公之事！”
祖逖送給王安一百兩立，一匹駿馬、一把寶劍，作為對王安事奉自己的報答。王安走後，祖逖立下遺囑：死後，屍體就地安葬，不得運回江南。這是為了實踐當初“中流擊楫”所發的誓言。
這年九月，一代大俠兼名將祖逖死於雍丘，享年五十六歲。中原百姓如喪考妣，痛哭失聲。譙、梁百姓為之立祠，歲時祭奠。朝廷冊贈車騎將軍。
祖逖死後，朝廷以祖約為平西將軍、豫州刺史。約無統軍之才，又無安民之術，軍民不附。
司州塢主郭默欲發兵討約，被另一塢主李矩勸阻。長史李產率子弟十餘人不辭而別，渡河回到范陽，先仕於石勒，後仕於慕容偏。將軍馮鐵投靠了蘭陵相蘇峻。中原百姓眼看動亂將起，紛紛南渡避難。
第二年（永昌元年，322年）正月，王敦以清君側為名，從武昌起兵。四月，王敦佔領建康，刁協被殺，劉隗投奔石勒。五月，石勒入侵河南。
十月，石勒攻下襄城、城父，祖約退據壽春，中原幾乎盡失，閏十一月，元帝被王敦氣死，子司馬昭即位，是為明帝。
明帝太寧元年（323年）三月，石勒攻下徐州的下邳。二年七月，王敦病死。三年四月，郭默、李矩及中原塢主紛紛南逃，石勒佔領兗、豫、司三州之地。閏八月，明帝死，子司馬衍即位，是為成帝。成帝咸和元年（326年）四月，石勒將石生寇汝南，內史祖濟被俘。
十一月，石勒將石聰攻壽春，祖約屢向朝廷請救，朝廷不發兵。石聰攻壽春不下，轉攻逡遒、阜陵二縣，殺掠五千餘人。朝廷恐慌，議築塗塘以遏石聰。壽春在塗塘外，祖約大怒，知道朝廷想拋棄他，遂生反謀。
二年十一月，祖約與升為歷陽太守的蘇峻同反。約命祖邀子祖沛、祖渙及淮南太守許柳率兵至歷陽與蘇峻會合。祖逖妻許氏固諫，約不從。
三年七月，由於壽春空虛，石聰圍攻，祖約不敵，奔歷陽。四年正月，祖約為朝廷所敗，攜家屬投奔石勒。石勒薄其為人，久而不見，後聽信讒言，將祖約及其親屬100餘人，騙到市上，盡誅之。
時胡奴王安已為石勒大將，知其謀，攜隨從多人潛往觀看，趁監者不備，將祖逖小妾所生之子、年僅10歲的祖道重偷出，剃度為沙門，送回江南。
祖逖死後不到8年，中原全部淪陷（直到南朝再也未收復過），江東暴亂迭起，妻兒親黨幾乎被屠殺盡淨，真使千秋萬世為之慨嘆不已！