汉代末年，民间就有“古张天帝”之说(《殷芸小说》)。一说张天帝即东汉的张陵，俗称“张天师”；一说张天帝即汉末五斗米道首领张角，因他宣传“苍天已死，黄天当立”而被附会为天帝。
“玉皇”一名最早见于道教的《真灵位业图》，列为玉清境元始天尊属下诸神，居右位第十一。
到唐代，“玉皇”之称使用渐广。宋初张君房《云笈七签》“道教本始部”曾称太上老君为玉皇；“三洞经教部”又说凡行太上之道者，皆得为太上之真，位名上真玉皇君。但唐代白居易《梦仙》诗说：“须臾群仙来，相引朝玉京。安期羡门辈，列侍如公卿。仰谒玉皇帝，稽首前致诚。
”李咸用《升天行》诗说：“三清宫殿浮清烟，玉皇据案方凝然。仙官立仗森憧幡，引余再拜归仙班。”说明民间信仰中的天帝和道教诸神中的玉皇已合而为一，成为天界的主宰。
玉皇身份的多样化，是同国家祭祀、民间信仰、道教的分裂及渗透相关的。
除宋徽宗曾奉祀玉皇，上尊号曰“昊天玉皇上帝”之外，历代国家祭典仍然遵从古仪，奉祀昊天上帝而不承认玉皇。道教则按佛教的释迦牟尼成佛故事，编造了光严妙乐国太子修道功成、位证玉帝的传说，但他们仍然坚持把三清祀为最高神，认为玉皇只是三清的辅佐或三清的第二位。作为至高天神的玉皇的信仰，主要在民间流传。人们把他称作“昊天金阙至尊玉皇上帝”，认为他管理三界十方，总辖佛、道两教以及中国民间信仰中所有的神鬼，是神鬼世界真正的皇帝。