善书法，曾亲承智永传授，又得王羲之笔法。其笔致圆融遒劲，外柔内刚，沉厚安详，不外露锋芒。与欧阳询、褚遂良、薛稷合称“初唐四大家”。日本学界称欧阳询、褚遂良、虞世南为“初唐三大家”。其所编的《北堂书钞》被誉为唐代四大类书之一，是中国现存最早的类书之一。原有诗文集三十卷，已散失不全。民国张寿镛辑成《虞秘监集》 四卷。《全唐诗》收录其诗作38首。
虞世南善文辞，编著有《北堂书钞》160卷。精书法，与欧阳询、褚遂良、薛稷并称为“初唐四家”。。曾亲承智永传授，又得王羲之笔法。其笔致圆融遒劲，外柔内刚，沉厚安详，不外露锋芒。
唐李嗣真《书后品》说他的字潇散洒落。但南唐后主李煜认为他得王羲之之美韵，而失其俊迈。米芾认为神宇虽清，而体气疲苶。颜真卿则称其楷法精详，特为真正。
书法作品有《孔子庙堂碑》、《破邪论》、《汝南公主墓志》、《虞世南行书摹兰亭序卷》；代表诗作有《出塞》、《结客少年场行》、《怨歌行》、《赋得临池竹应制》、《蝉》、《奉和咏风应魏王教》等；著作有《北堂书钞》
虞世南是跟从王羲之的七世孙、隋朝书法家智永禅师学习书法的。他的字用笔圆润，外柔内刚，结构疏朗，气韵秀健。传说唐太宗学书就是以虞世南为师。唐太宗常感到“戈”字难写。有一天，他写字时写到“戬（jian剪）”字，只写了“晋”的半边，让虞世南写另外半边的“戈”。写成以后，唐太宗让魏征来鉴赏，魏征看了说：“今窥（看的意思）圣作，惟戬字戈法逼真”。唐太宗赞叹魏征的眼力高，也更看重虞世南的书法了。虞世南的代表作有《孔子庙堂碑》等。初唐的书法家继欧、虞之后的是褚遂良和薛稷。虞世南死后，唐太宗慨叹地说：“世南死，没有人能够同我谈论书法了。
《孔子庙堂碑》孔子庙堂碑为虞世南撰文并书写。原碑立于唐贞观初年。楷书35行，每行64字，尺寸为 228×95cm。碑额篆书阴文“孔子庙堂之碑”六字。碑文记载唐高祖五年，封孔子二十三世后裔孔德伦为褒圣侯，及修缮孔庙之事。为虞世南六十九岁时所书。此碑书法用笔俊朗圆润，字形稍呈狭长而尤显秀丽。横平竖直，笔势舒展，一片平和润雅之象。宋黄庭坚有诗赞曰：“虞书庙堂贞观刻，千两黄金那购得。”原刻拓本在北宋时已不多见。目前所存精品古拓，仅清人李宗瀚所藏一本，原拓已流入日本，藏三井家。
《汝南公主墓志》内容为唐太宗女汝南公主的墓志，虞世南书，贞观十年(636)十一月作，行草书，纵25.9厘米，横38.4厘米，共18行，行12-15字不等，现藏于上海博物馆。因其无款，故又有学者认为是宋朝摹本。王世贞云：“昔人于永兴、率更书，俱登品神妙间，而往往左袒永兴。余初不伏之：以余之肉，似未胜欧骨，盖谓正书也；晚得永兴《汝南公主墓志》草一阅，见其萧散虚和，风流姿态，种种有笔外意。”此墓志书法圆活，不及正书沉厚，故后世有人疑为米芾书。
除了以上两件作品其他尚有《昭仁寺碑》、《破邪论序》、以及散见于刻帖的《大运帖》、《用笔赋》、《书指述》、《演连珠》、《景纬成象》、《孔有新制帖》、《积时帖》、《朝会帖》、《瘦朽帖》、《临乐毅论帖》、《潘六帖》、《世南伏奉三日疏》、《醒滞帖》等。这些碑帖中，有些是伪作，有些是集碑文钩摹而成，可信的为数甚少。
年谱
陈文帝天嘉二年（561年），虞世南的父亲虞荔去世，当时虞世南还年幼，因悲哀过度瘦损得几乎承受不住丧服。陈文帝知道虞荔的两个儿子博学，常从宫中派使者到他们家里去扶助卫护他们。到了守丧期满除服，虞世南被召为建安王法曹参军。他的叔父虞寄被晋安太守陈宝应捕获，远在闽、越一带，虞世南虽然已除去丧服，却还是布衣蔬食。到天嘉五年（564年），陈宝应战败，虞寄得以生还，才令虞世南脱去布衣食肉。陈后主至德元年（583年），除任西阳王友。
开皇九年（589年），陈朝灭亡后，虞世南与虞世基一起到隋朝京师长安，兄弟二人都名重一时，当时的人把他们比作西晋的陆机与其弟陆云。当时隋炀帝杨广还是晋王，听到他们的名声，杨广与秦王杨俊征召的文书一起送到，虞世南以母亲年老为借口，坚决推辞，杨广命令使者去追他们。
大业元年（605年），虞世南接连被授为秘书郎，升迁为起居舍人。与虞绰、庾自直共撰《长洲玉镜》。同年，因母亲去世而守丧。当时虞世基在当朝非常显贵，妻子穿衣都模仿王者，虞世南虽然同他们住在一起，却清贫节俭，不改变自己的性情。
江都之变后，虞世南随宇文化及到聊城。
武德二年（619年），宇文化及兵败被斩，虞世南又被窦建德抓获，窦建德任命他为黄门侍郎。
武德四年（621年），秦王李世民灭窦建德后，虞世南被授任为秦王府参军，不久转任记室参军，十月，李世民被封为天策上将，并建立文学馆，虞世南被授为弘文馆学士，与房玄龄共掌诏告文翰，为“十八学士”之一。
武德五年（622年），与裴矩撰《凶吉书仪》。
武德九年（626年）六月，李世民正式被封为太子后，虞世南升任太子中舍人。同年八月，李世民即位，虞世南转任著作郎，兼弘文馆学士。当时，虞世南年已衰老，上表请求辞官，太宗下诏不允，升他为太子右庶子，虞世南坚决推辞不受，被授为秘书少监。
贞观五年（631年），参与编撰《群书政要》。
贞观六年（632年）七月，虞世南进呈《圣德论》一文，太宗赐手书诏令给虞世南称：“你的评价太高了。朕怎么敢与上古帝王相比，只是与近代相比略强些。然而你只是刚刚看见开头，未知其终结。如果朕真能善始善终，那么你的高论可传之后世；如若不然，恐怕只会成为后世的笑柄！”
贞观七年（633年），虞世基转任秘书监，赐爵永兴县子。太宗器重他的博识，常常在处理军政大事的间隙，召世南在一起谈经论史。虞世南虽然容貌怯懦，弱不胜衣，但性情刚烈，当政得失，直言敢谏。太宗曾对侍臣说：“朕借闲暇的时间与世南商讨古今政事，有一个字的差错，未尝不惆怅恼恨，他恳切诚挚到这种程度，朕用他用得好啊。群臣都像世南这样，天下还愁有什么不能治理。”
贞观八年（634年），虞世南进封永兴县公。同年，陇右山崩，大蛇多次出现，山东及江淮多次遭大水。太宗问“天变”。虞世南以晋朝以来历次山崩为例，借机劝谏太宗遵循道德义理，并希望太宗不因功高而自满、不因太平已久而骄傲松懈，始终如一。太宗听后敛容反省，认为此言对自己有警醒作用。同年四月，康国进献狮子，太宗命虞世南为其作赋。
贞观九年（635年），太上皇李渊驾崩，虞世南一再劝阻太宗筑陵墓厚葬，使太宗有所收敛。他还严正劝阻太宗不要恣于游猎而疏于政事。这些都对当时的“贞观之治”起着积极的作用。
贞观十二年（638年），虞世南又上表请求辞官归居，太宗优诏允许，仍授银青光禄大夫、弘文馆学士。同年五月二十五日（7月11日），虞世南在长安逝世，享年八十一岁。太宗闻讯后为他在别第举哀，痛哭悲伤，下手诏给魏王李泰说：“虞世南对朕忠心一体，拾遗补阙，无日暂忘，实为当代名臣，人伦准的。朕有小失必犯颜直谏，而今亡故，朝廷上下，无复人矣！”赐东园秘器，陪葬昭陵，赠礼部尚书，谥号文懿。