第二次直奉大戰以奉軍的全面勝利而告結束，奉軍終於一雪前恥，可以順理成章地再度入關了。但是再度入關並不表明張作霖可以順理成章地入主中原，至少還有三股勢力阻礙著他這一目標的實現。第一股勢力就是盟友馮玉祥，在直奉大戰中燒了一把火，此刻佔據著北京，把持著中央政權，又順應民心提出了主和的口號，天時地利人和佔盡；第二股勢力是南方的孫中山革命政權，此時孫中山已經在廣東站穩了腳跟，召開了中國國民黨第一次全國代表大會，通過了黨綱、黨章，重新解釋了三民主義，同時創辦了黃埔軍官學校，兩廣行動也即將統一。一個新興的國民黨政權正在誕生之中，它已經與中國共產黨合作，提出了「聯俄、聯共、扶助農工」三大政策，不久的將來它將要發動北伐戰爭；第三股勢力是南方的直系殘餘，這股勢力以孫傳芳為首，他剛剛在蘇浙戰爭中打敗盧永祥，號稱五省聯軍總司令，實力不可小覷。
三股勢力中，最需要解決的是直系殘餘，這將在下一節中講到。而在解決直系殘餘前，北京的政權由誰做主則是首先需要明確的，此時曹錕政權已經下台，北京政權一直空著，所以需要趕快定下來。
於是第二次直奉戰爭的勝利方——馮玉祥、張作霖和段祺瑞坐下來商討這個事情了。馮玉祥是從直系分化出來的，雖然佔據著北京，但實力跟張作霖比還是要差很多，以前直系老大曹錕和吳佩孚也只能跟張作霖鬥個平局，如今這分化出來的一支更加不能和張作霖比了。馮玉祥也明白這個道理，所以他並不推自己的人上去，而是推出了皖系段祺瑞。段祺瑞確實是個很合適的人選，頭上頂著「三造共和」的美名，這次又是馮奉之間的第三方，有身份有名氣卻最沒有實力，誰都很放心，對張作霖也還有過幾次幫助，加上他們都是親日派，在對日本的關係上是一致的，所以張作霖沒有理由不同意。
至於南方的直系殘餘，他們原來的領袖曹錕和吳佩孚倒台了，必須馬上推出一個新的領袖來，但是北京政府不是他們說了算，無論是馮玉祥還是張作霖上台，對他們都是不利的，因此段祺瑞上台是最合適的。畢竟段和他們都是北洋一系，段是北洋元老，多多少少還是會維護北洋利益的。所以在擁段的事情上，反倒是南方直系殘餘最積極。1924年11月10日，南方直系實力派齊燮元、蕭耀南、孫傳芳、周蔭人等10人在南京聯名通電，擁護段祺瑞出山以收拾大局。11月12日，馮玉祥、張作霖分別拜訪了段祺瑞，表示願意服從段祺瑞的指揮。11月15日，張作霖、盧永祥、馮玉祥、胡景翼、孫岳聯名通電擁戴段祺瑞為中華民國臨時執政。
段祺瑞上台了，面對咄咄逼人的張作霖與馮玉祥，他只能搞平衡。他對長江流域的直系殘餘寄予厚望，因此想方設法盡力維護，以培養抗衡張、馮的第三方勢力，也幸虧段的苦心維持，這才使奉軍南下一再推遲。
11月24日，中華民國臨時執政府在北京成立。段祺瑞就任「臨時總執政」，這臨時執政相當於以前的總統和總理兩個職務合二為一，權力還是比較大的，不過權力到底大還是不大，最終取決於張作霖和馮玉祥。
此時，張作霖和馮玉祥的關係已經非常緊張了。特別是馮玉祥，由於實力較弱，感覺特受委屈，憋了一肚子的氣。從第二次直奉戰爭搶奪勝利果實時候開始，馮玉祥就一直在憋氣。這個氣主要是從張作霖部下大將李景林那兒來的。11月10日段、張、馮開會期間，李景林竟然突然動作解除了天津以北之北倉馮玉祥部第三、第四兩個混成旅的武裝，理由是這兩個旅是吳佩孚直系之殘餘，馮知道消息後非常震驚。11日，還是這個李景林，把馮玉祥任命的直隸督理王承斌第二十三師以及孫積孚的第二十師繳械，王承斌被迫躲入天津租界並辭職。12日，李景林授意直隸省議會，以直人治直為借口，推舉李景林為直隸保安司令並繼承王承斌省長職。這樣，直隸地盤完全歸奉系所有。其實，李景林的所為，都是張作霖暗中佈置的，要不然李景林哪有這個膽。經過這一番折騰，李景林、吳光新部共補充了4個混成旅，總兵力已達到7萬多人，分佈在天津及津浦、京奉兩線，對北京形成了強而有力的高壓。馮玉祥因為實力遠遠不及張作霖，對李景林的上述舉動只能採取苦忍待機的策略。
馮玉祥苦忍待機，他待的是什麼機？那就是南方孫中山革命政權，他已經看到了這個由孫中山重新組建的國民黨政權的欣欣向榮，知道這是一支完全可以借助的力量。所以早在10月25日即馮玉祥倒戈之後的第三天即電請孫中山北上主持大計。10月27日，孫中山分別電復馮玉祥、段祺瑞，答應立即北上。孫中山之所以答應北上，是因為他認為自己和張作霖、段祺瑞合作多年，有一定的來往基礎。前文已經說過，張作霖兩次與直系大戰，南方孫中山都策應了北伐，只不過因為內部根基不穩，北伐進行到一半就被迫回師平亂，所以沒起到多少幫助作用。但張作霖對此表示理解並且很講情義。第一次直奉大戰中輸得最慘的其實是孫中山，他北伐策應未成，南下平亂又被陳炯明打敗只好單身逃往上海。孫中山落難之時，張作霖說：「孫先生是文人，帶兵是為難的。我不求他別的，只要他對國家大計多想辦法，這幫傢伙讓我用武力來收拾他們。」並在自己戰敗之後財政也十分窘迫的情況下托人帶給孫中山10萬元生活費。後來又在孫中山重返廣東重新組建國民黨時又捐助了50萬元。基於以上種種，孫中山認為此次北上定可促進全國的和平統一。
當時孫中山已經重病在身，但這是1912年他被迫辭去中華民國臨時大總統之後，北洋軍閥第一次邀請他出面主持大局。對於這麼一個不用武力就有可能實現和平建國的機會，孫中山不想放棄，於是他抱病北上。當時南北之間的陸上交通(長江流域一帶)被直系勢力截斷，因此孫中山只能走海路。1924年11月13日，孫中山攜宋慶齡乘永豐艦北上，途經香港、上海、日本，沿路提出了「召開國民會議」和「廢除不平等條約」兩大號召。12月4日，孫中山到達天津，歡迎場景十分壯大，各界團體100多個，群眾一萬餘人前來歡迎。12月31日，孫中山抱病由津入京，受到北京各界群眾10萬人的熱烈歡迎。大家都對孫中山北上主政抱有很大期待。
然而此時段祺瑞已經執政，張作霖下屬李景林部已經從天津進駐北京，其第一軍進駐豐台，第二軍進駐馬廠，馮玉祥在張作霖步步緊逼下以退為進，宣佈解除兵權，部隊交給國家，自己下野到北京西郊天台山去休養。當然，部隊交給國家是不可能的，休養也只是做做樣子。但至少說明，兩派的弱勢平衡已經被打破，馮玉祥沒有太多辦法，相反張作霖則處於順風順水的時候，他眼瞅著北京政權正一步步地滑向自己手中，這個時候哪肯再讓孫中山這個刺兒頭來把事情攪黃？尤其是孫中山明確提出「廢除不平等條約」以及「聯俄、聯共、扶助農工」三大政策。前一項「廢除不平等條約」，張作霖在心裡是歡迎的，但認為目前階段行不通，到處嚷嚷非但於事無補，反而四處樹敵，招致各國反對，所以他勸孫中山心裡想想就行了，其實誰都想把不平等條約給廢了，關鍵是時機未到。後一項「聯俄、聯共、扶助農工」三大政策，張作霖老大個不認可，當時的俄國已經是列寧領導的布爾什維克掌權，基本上在中國的所有西方列強都很仇視這個共產黨政權，聯俄聯共意味著要跟西方所有列強作對，張作霖既不敢也不願。所以他還通過汪精衛來做孫中山的工作，讓孫中山放棄上述主張，並且說只要孫中山放棄了，那麼他願意追隨孫中山，做孫中山的一名衛隊長。但是對於孫中山來說，「廢除不平等條約」以及「聯俄、聯共、扶助農工」三大政策，是他在國民黨內定下的基本方略，且俄國為他建黨建軍提供很大幫助，他當然是不會同意張作霖建議的。正在雙方討價還價的時候，孫中山的病情急劇惡化，1925年1月26日被確診為肝癌，轉入北京協和醫院接受手術。2月18日移至行館接受中醫治療，1925年3月12日9時30分，孫中山因原發膽管腺癌轉移到肝部而逝於北京協和醫院，享年59歲。彌留之際，他提到國事的遺言是：「和平……奮鬥……救中國。」孫中山逝世後，段祺瑞、張作霖為其舉行了國葬。