祖沖之在數學上的杰出成就，是關于圓周率的計算。秦漢以前，人們以“徑一周三”做為圓周率，這就是“古率”。后來發現古率誤差太大，圓周率應是“圓徑一而周三有余”，不過究竟余多少，意見不一。直到三國時期，劉徽提出了計算圓周率的科學方法--“割圓術”，用圓內接正多邊形的周長來逼近圓周長。劉徽計算到圓內接96邊形，求得π=3。14，并指出，內接正多邊形的邊數越多，所求得的π值越精確。祖沖之在前人成就的基礎上，經過刻苦鉆研，反復演算，求出π在3。1415926與3。1415927之間。并得出了π分數形式的近似值，取為約率，取為密率，其中取六位小數是3。141929，它是分子分母在1000以內最接近π值的分數。祖沖之究竟用什么方法得出這一結果，現在無從考查。若設想他按劉徽的“割圓術”方法去求的話，就要計算到圓內接16，384邊形，這需要化費多少時間和付出多么巨大的勞動啊！由此可見他在治學上的頑強毅力和聰敏才智是令人欽佩的。祖沖之計算得出的密率，外國數學家獲得同樣結果，已是一千多年以后的事了。為了紀念祖沖之的杰出貢獻，有些外國數學史家建議把π=叫做“祖率”。

　　祖沖之博覽當時的名家經典，堅持實事求是，他從親自測量計算的大量資料中對比分析，發現過去歷法的嚴重誤差，并勇于改進，在他三十三歲時編制成功了《大明歷》，開辟了歷法史的新紀元。

　　祖沖之還與他的兒子祖暅(也是我國的數學家)一起，用巧妙的方法解決了球體體積的計算。他們當時采用的一條原理是：“冪勢既同，則積不容異。”意即，位于兩平行平面之間的兩個立體，被任一平行于這兩平面的平面所截，如果兩個截面的面積恒相等，則這兩個立體的體積相等。這一原理，在西文被稱為卡瓦列利原理，但這是在祖氏以后一千多年才由卡氏發現的。為了紀念祖氏父子發現這一原理的重大貢獻，大家也稱這原理為“祖暅原理”。