辛彥之是隴西狄道人。
祖父辛世敘，西魏涼州刺史。
父親辛靈輔，北周渭州刺史。
辛彥之九歲時父親去世，他不與不三不四的人交往，廣泛涉獵經史之書，與天水的牛弘志同道合，愛好學習。
後進入關內，在京兆定居。
周太祖器重他，召引他做中外府禮曹，賞賜給他衣馬珠玉。
當時國家初創，各種制度、禮儀還沒有健全，而朝中大臣大多是行武出身，修定禮儀典章，只有辛彥之而已。
太祖不久拜辛彥之為中書侍郎。
周閔帝即位後，辛彥之與少宗伯盧辯專管禮儀制度。
周明帝、周武帝年間(557～578)，辛彥之歷任典祀、太祝、樂部、御正四曹大夫，封開府儀同三司。
辛彥之奉命迎接突闕皇后回朝後，皇上贈給他二百匹馬，封為龍門縣公，食邑千戶。
不久，晉爵為五原郡公，增加食邑一千戶。
周宣帝即位後，授彥之為少宗伯。
隋高祖即位後，升辛彥之為太常少卿，改封任城郡公，進位上開府。
不久調任國子祭酒。
一年多後，高祖拜辛彥之為禮部尚書，和秘書監牛弘作《新禮》一書。
吳興人沈重有博學之名，高祖曾令辛彥之與沈重辯論學問，沈重辯不過他，於是退席謝罪說：「辛君的學識就像金城湯池，我無法攻破它。」高祖大喜，後拜辛彥之為隋州刺史。
當時各州的長官大都向朝廷上貢珍寶玩物，只有辛彥之上貢的都是祭禮之物。
高祖非常喜歡，對朝臣說：「人怎麼能沒有學問，辛彥之的上貢方式，很有古人的遺風。」辛彥之調任潞州刺史，他前後任職之處，都有仁政之名。
辛彥之信仰佛教，在城內修佛寺兩所，都高十五層。
開皇十一年(592)，潞州人張元突然死去，幾天後卻意外地活了。
張元說他雲遊天上，看見一所新建的房子，建制相當華麗。
張元問是怎麼回事，人們說，這是潞州刺史辛彥之有功德，建造這所殿堂迎接他。
辛彥之聽了並不高興。
這一年他死在任上。
謚為「宣」。
辛彥之撰寫的《墳典》一部，《六官》一部，《祝文》一部，《禮要》一部，《新禮》一部，《五經異義》一部，都流傳於世。
他有個兒子叫辛仲龕，官至猗氏縣令。