本行的历史可以追溯到1954年，成立时的名称是中国人民建设银行，当时是财政部下属的一家国有独资银行，负责管理和分配根据国家经济计划拨给建设项目和基础建设相关项目的政府资金。1979 年，中国人民建设银行成为一家国务院直属的金融机构，并逐渐承担了更多商业银行的职能。

随着国家开发银行在1994 年成立，承接了中国人民建设银行的政策性贷款职能，中国人民建设银行逐渐成为一家综合性的商业银行。1996 年，中国人民建设银行更名为中国建设银行。

本行由本行前身中国建设银行根据中国公司法规定的分立程序于2004 年9 月成立。在银监会于2004 年9月14 日批准之后，本行、中国建投与汇金公司于2004 年9 月15 日签署分立协议，根据此份协议，中国建设银行分立为本行和中国建投。本行于2004年9月17日成立为一家股份制商业银行。

2005年10月27日本行Ｈ股在香港联合交易所挂牌上市（股票代码为939），2007年9月25本行Ａ股在上海证券交易所挂牌上市（股票代码为601939）。