西周已设。《大戴礼记·保傅》：“帝入太学，承师问道。”后历代沿置。
从魏晋到明、清，或设太学，或设国子学(即国子监)，或两者同时设立，名称不一，但性质相近。
宋代的太学属国子监管辖。上舍，太学生等级名，宋代在熙宁四年(1071)定“三舍法”，太学生分外舍、内舍、上舍三等，其中上舍最优，内舍次之，外舍又次之，学生在一定的年限和条件下，可依次而升，最后按照科举的考试法，分别规定其出身并授以官职。小说所写蔡京“条陈”中所言“每岁考试上舍，则差知贡举，亦如礼闱之式”者，其意谓要将原仅在太学中施行的“三舍法”推向全国。《宋史·职官五》载崇宁元年蔡京言曰：“有诏天下皆兴学贡士，以三舍考选法遍行天下，听每三年贡入太学。上舍试仍别为考，分为三等，若试中上等，补充太学上舍，试中中等、下等者，补充内舍，余为外舍生。”于此可见其意图，并可见其推行办法是由各地学校按时“升贡”，经过考试，分别补充太学中各舍生员。