1928年年初，蔣介石在馮玉祥、閻錫山等人以及國民黨內部軍政要員的支持下復職，1月8日就任國民革命軍總司令。此時武漢國民政府已與南京國民政府合二為一。國民革命軍解決了內部紛爭後，決定繼續北伐。1928年2月份，蔣介石把幾個方面的軍隊編成四個集團軍，總司令為蔣介石，參謀總長為何應欽，下轄四個集團軍：第一集團軍總司令由蔣介石兼任，轄18個軍29萬人，沿津浦鐵路進攻；第二集團軍總司令馮玉祥，轄25個軍31萬人，沿京漢鐵路及其以東地區進攻；第三集團軍總司令閻錫山，轄11個軍15萬人，由娘子關及京綏鐵路進軍；第四集團軍總司令李宗仁，轄16個軍又3個獨立師計20餘萬人，沿京漢鐵路集結作為總預備隊，另派白崇禧為總指揮，率一部軍隊北上，應援京漢鐵路方面的軍事。
面對蔣介石復出後山雨欲來風滿樓的北伐氣勢，1928年1月25日，張作霖在北京召開安國軍最高軍事會議，研究安國軍的作戰方略，作出如下部置：第一，張學良、楊宇霆所部第三、第四方面軍團，大部開赴邯鄲以南，面對馮玉祥、閻錫山取攻勢，相機向山西、陝西境內推進，破其主力。第二，任張宗昌為第二方面軍團軍團長，所部固守魯南，面對蔣介石北伐軍取守勢，不得盲目出擊。第三，令孫傳芳為第一方面軍團軍團長，所部在山東濟寧一帶防守，與張宗昌部加強聯繫，強化魯南防守。孫傳芳部本來有很強實力，但由於在1927年8、9月間反攻作戰中孤軍深入，結果在南京龍潭地區被李宗仁第七軍和何應欽第一軍聯手戰敗，損失慘重，主力4萬多人盡數覆滅，張作霖考慮到實際情況，因此只給了他協助防守的任務。第四，任褚玉濮為第七方面軍團軍團長，所部在大名和魯西一帶防守，與左翼的張學良、楊宇霆，右翼的張宗昌、孫傳芳保持密切聯繫，阻敵北進。第五，張作相所部配合第三、四方面軍團作戰，向平型關、大同進攻，並相機攻入晉北內部。任吳俊升為第六方面軍團軍團長，為全軍的總預備隊。
由以上部署可以看出，張作霖的主力部隊第三、第四方面軍團用在了對付馮玉祥和閻錫山上，屬於以強擊弱；而新敗之餘的孫傳芳、張宗昌部隊則用來防守馮玉祥和蔣介石，屬於以弱御強。這裡需要說一下第四方面軍團的軍團長為什麼換成了楊宇霆，原因是韓麟春在大戰開始之時身患重病，只好以楊宇霆代理。要說楊宇霆還真是個災星，代理第四方面軍團軍團長不到五個月後，奉軍就因戰敗而退出了關內，與以前他出任江蘇督軍2個多月就因蘇皖戰敗加上郭松齡兵變而退出關內如出一轍。
張作霖的這個作戰部置，其目的是希望集中優勢兵力先在北邊取勝，解決側翼威脅問題，然後發兵向南，援助張宗昌和孫傳芳。這個戰略的核心取決於魯南能夠防禦多久。如果魯南能夠堅持到晉北一帶全殲閻錫山之後，那麼張作霖的這個戰略將取得空前勝利，反之，如果讓蔣介石和馮玉祥在魯南突破，然後順勢北上，就有可能切斷陝西山西方向作戰的直軍後路，造成很大的威脅。當時有人提出張宗昌和孫傳芳可能守不住山東，建議從第三、第四方面軍中抽出兩三個軍配給張宗昌和孫傳芳，張作霖也確實猶豫了一下，但張宗昌的反對以及信誓旦旦的表態讓張作霖相信了他。事後恰恰就是張宗昌和孫傳芳在山東的失敗，導致了奉軍全線大潰退，使張學良、楊宇霆在北邊取得的勝利一夜之間歸於零。
1928年4月2日，張學良、楊宇霆下達攻擊令，命令於學忠、戢翼翹、富雙英各軍及騎兵第一、第二兩軍，以戢翼翹為中心，向豐樂鎮一帶的馮玉祥部隊進攻。馮軍不敵，向漳河南岸退去，戢翼翹率部緊追，逼近了安陽城北面。於學忠佔領了回龍鎮，逼近安陽城東面，兩軍成夾擊之勢，對馮軍孫連仲部形成合圍，殲敵1500餘人，安陽指日可下。與此同時，張作相的第五方面軍也已經進佔了山西重鎮大同，進逼五台，佔領井陘，整個晉北已處於奉軍包圍之中，閻錫山部隊搖搖欲墜，已呈崩潰之勢。
但是此時張作霖所最擔心也最不願意看到的情況還是發生了。進入4月中下旬，魯南局勢已經岌岌可危。蔣介石於4月9日發佈北進的總攻擊令後，13日許琨就丟掉了韓莊。張宗昌不得不令各部在泰安、界首兩地佈防，張宗昌相信自己的實力，以為自己兵多糧足，無論如何也可以學習楊虎臣、李虎臣二虎守西安的壯舉，即使八個月守不到，守上個四個月總可以了吧？四個月不行，兩個月那是絕對可以的。但是事與願違，僅僅過了半個月左右，蔣軍就攻佔了泰安，29日又攻佔了界首，張宗昌敗軍紛紛潰退，濟南的門戶大開。
此時孫傳芳在哪兒？孫部本來還是有些戰鬥力的，坐守濟寧應該沒有多大問題，但是偏偏孫傳芳老是想著重溫五省聯軍總司令的舊夢，一有機會就想著反攻，也不看看眼前形勢。這次張作霖讓他固守濟寧，協防魯南，但他看見蔣軍佈置在徐州的兵力空虛，於是忘了張作霖的話，率軍去攻徐州了。孫傳芳一動，正在西邊虎視眈眈的馮玉祥部孫良城、方振武趁虛襲佔了濟寧，頓時使孫傳芳進退失據，不得不命令全軍向濟南方向撤退。
界首失陷後，孫傳芳與張宗昌一起趕緊由濟南北退。蔣介石遂於5月1日進佔濟南。濟南失陷，津浦線上的大門洞開，京津震動。奉軍此時雖然對於馮閻均有優勢且已取得軍事上的勝利，但天津面臨威脅，如果天津失陷，則張作霖主力第三、第四及第五方面軍團將無路撤退。為此，張作霖決定保存實力，令三、四、五軍團速向灤東五縣和關外逐步轉移，同時於5月9日發出求和通電，但是蔣、李、閻、馮認為是緩兵之計，不予理睬，繼續北進。張作霖眼見主和無望，於是積極準備退往關外，以圖後舉。