本館於日治時期「臺灣總督府臺北師範學校」即有圖書室。戰後本校改制為「臺灣省立臺北師範學校」,民國50年改制為「臺灣省立臺北師範專科學校」,當時圖書館為隸屬教務處之二級單位,至民國52年1月21日圖書館舊館啟用始有獨立館舍。民國76年本校改制為「臺灣省立臺北師範學院」後,圖書館升格為一級單位,組織擴增為採購、編目、閱覽和典藏4組;民國78年6月現館舍落成啟用;民國80年本校改隸教育部,更名為「國立臺北師範學院」;民國82年圖書館組織新增系統資訊組,調整為5組;民國86年採購、編目合併為採編組,另新增期刊組,仍為5組;民國94年本校升格改制為「國立臺北教育大學」,視聽中心併入圖書館,更名為視聽教育組,圖書館組織增為6組。民國100年參照圖書館自評委員建議與因應趨勢進行組織整併及更名,採編組、期刊組仍維持原組名與業務、閱覽組維持原業務更名為推廣組、典藏組維持原業務更名為典閱組,系統資訊組及視聽教育組整併為資訊資源組,其業務內容包括系統管理、圖書相關之數位化設備服務,以及綜合行政業務,圖書館組織調整為5組。
圖書館現有館舍為民國78年6月落成遷入,為一7層樓建築,全館可用面積約1,750坪。本館各樓層隨著圖書資訊型態改變,逐年申請經費調整及充實館內設施,以符合讀者閱聽需求,館舍各樓層現況為1樓創意未來學習中心、報紙現刊區、開放學習討論空間;2樓借還書服務台、行政區、兒童少年讀物區、西文期刊合訂本區;3樓參考書區、有線網點區、論文區、微縮影資料區、中文書庫、中文期刊合訂本區;4樓多媒體資源區、教師指定參考書區、小學課程教材區;5、6、7樓為中、外文書庫。