Human rights discourse and its theoretical system play an irreplaceable role in the history of human civilization. The purpose of this paper is to summarize and discuss the formation of human rights theory system, which consists of three parts. These parts are the background, cultural resources and the establishment of human rights theory system with Chinese characteristics. In the course of development, China has creatively established the idea of striving for national independence and people’s happiness, the theory of socialist human rights and legal system, the thought of human rights protection and party building, the notion of human rights and scientific development and the concept of human rights theory system with Chinese characteristics in the new era. These ideas are important milestones in the development of Chinese human rights theory system.