北府兵是魏晋南北朝时代有名的强军。辛弃疾曾有句词写到“想当年，金戈铁马，气吞万里如虎。”这就是描写刘裕的词，可是在某种程度也是刘裕手下北府兵的威名所在。
北府兵的由来是防备北方的氐人。当时北方的少数民族氐人，在苻坚和王猛的带领下，逐渐统一了当时混战的北方。王猛去世后，苻坚欲一统天下，对偏居一偶的东晋虎视眈眈，不断派兵袭扰东晋。迫于军事压力，东晋的宰相谢安推荐侄子谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，组建新军。当时在京口到广陵一代有大量的北方的逃亡的流民，这些流民大多在八王之乱和五胡之乱残存下来，他们能够逃亡到江北，所以大多健壮，而且对北方的异族有着血仇。谢玄看中了这些人，挑选他们中间的健壮男儿组织成军。太元四年（379年），谢玄改镇京口，因为当时京口又名北府，故而其军得名北府兵。这些南逃的农民，寒门子弟拿起了武器，最终掀翻当时的天下局势。
太元八年，苻坚聚集北方军队八十多万，号称百万，发动了对东晋的全面进攻。当时谢玄仅仅只有八万北府兵将士，便担当了东晋的主力部队。当时，在洛涧，刘牢之率领五千北府兵便击垮五万前秦军，击杀主将。此后淮河渡口，歼灭前秦军队一万五千人，抓获了前秦扬州刺史王显等人。在淝水之战，击垮前秦主力，苻坚狼狈出逃，前秦此后灭亡。这一场战争后，北府兵便成为东晋的主力部队。
隆安三年，孙恩，卢循率领天师道起义，东南八郡一时并起，起义军发展到几十万人，京师震动，朝廷就是依靠北府兵才将起义镇压了下去。
元兴元年（402年），桓玄帅军攻破建康，大肆杀戮北府将领。元兴三年（404年）二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，刘裕在此重新组织北府兵，从此北府兵变成一个新王朝的军队。此后刘裕全面进攻桓玄，桓玄在北府兵面前不堪一击，转瞬败亡。
义熙五年（409年），刘裕起兵北伐南燕，而主要作战的基本是北府兵，义熙六年（410年）二月，南燕灭亡，南燕主慕容超被押送回师，在建康街头斩首。
义熙九年（413年），刘裕领兵，北府军攻灭谯蜀。
义熙十三年（417年）正月，刘裕再次领兵北上，在黄河一代击败北魏军队，夺得黄河以南，同时进攻后秦，义熙十三年（417年）的冬天，刘裕率军浩浩荡荡地抵达长安，姚泓举国投降。至此北府军达到了他的全盛时期，而在此之后刘裕登基称帝。
北府军是由一群寒门将领和南逃流民组成的军队，在当时北方异族作乱时，发出自己的声音。他们在建立后的几十年里，用他们的铁和血，击垮了士族，击垮了北方异族，谱写了一个时代的乐曲。
