胡直孺的胞兄胡僧孺任河北西路提督，属江西名士。胡直孺于宋哲宗绍圣四年（1097年）中进士，曾任《九域志》编修官时，为营解元祐党人，四处奔跑呼号。后来迁任监察御史、平江府知府，擢江湖淮浙发运使，入为户部侍郎。当时正值金兵大举南侵，他出谋献策，初战告捷。迁工部尚书、龙图阁学士、知南京兼东京道总管。金兵再犯京师，他又被召勤王，勇敢作战，斩敌千余名。第二年，金人燃起更大战火，形成大兵压境之势，而朝中主和派却从中捣鬼，胡直孺所部孤军作战，陷入金兵的重重包围中，直孺不幸被虏。在敌营中，他保持了民族气节，过了很久才得到机会回朝。

宋徽、钦两帝被俘后，宋室南渡，高宗即位。建炎二年（1128年），胡直孺任洪州帅兼知府，冒着政治风险，冲开当时“士子不得挟苏黄稿”的禁令，为诗人黄庭坚征集遗稿。绍兴初，迁刑部尚书兼侍读，在朝论奏十事，高宗非常欣赏，在白团扇上御书杜甫：“文物多师古，朝廷半老儒”的诗句送他。同时又赐田租八百石，以示对他的倚重。随后又调他做兵部尚书兼擢吏部。可惜的是，他擢升兵部不久就去世了，卒于会稽（今浙江绍兴），谕葬云门白水塘。

著有《生还录》一卷，《西山老人文集》二十四卷，现已失传。胡直孺生有十一个儿子，其次子相，字作仲，因守墓就家于里溪。明正统、景泰间，其十一世有分迁上冯、尉村、后坞。十二世有分迁越城禹迹寺前、横路、妙家桥。