楊堅這一生只娶過伽羅一人，早在伽羅嫁給他時，就發下誓言兩人相守一生一世， 誓無異生之子，決不移情他人。他和獨孤伽羅攜手走過近五十風雨，誕育有五子五女，都是與獨孤伽羅所生。後楊堅立隋國成隋文帝後，寵幸過一位女子，那就是尉遲迥孫女尉遲文姬，電視劇上的文姬讓人十分討厭，腦迴路清奇，但史書上並未記載那么多，被楊堅寵幸後，伽羅覺得自己自尊心受到了打擊，所以把尉遲文姬給處理了。也是在獨孤伽羅去世後，楊堅才納了兩個妃子。