장로는 구약의 이스라엘에도 신약의 교회에도 있었다. 구약성경의 장로는 나이가 많고 통치능력을 갖춘 사람이라면 신약성경의 장로 요건은 신앙이 깊고 통치능력을 갖춘 사람을 의미한다. 신약교회에서 장로는 유대교 전통의 용어인 반면에 장로와 동일한 의미의 감독은 로마제국의 명칭이다. 사도 바울이 에베소교회 장로들을 밀레도로 불러서 고별설교를 하면서 그들을 “감독”으로 지칭하기 때문에 장로와 감독은 동의어다.(행 19:17-38)
또한 바울은 신약교회의 감독 즉 장로를 주요 업무에 따라 두 종류 즉 “잘 다스리는 장로”와 “말씀과 가르침에 수고하는” 장로로 구분한다(딤전 5:17). 다스리는 장로는 흔히 우리가 부르는 장로에 해당하고 말씀과 가르침에 수고하는 장로는 오늘날 목사에 해당한다. 목사든 장로든 초대교회에서는 모두 하나님의 종으로 동일한 교회의 사역자를 의미한다. 바울은 그들 모두를 교회가 마땅히 존경해야 한다고 가르친다.
성경의 감독 즉 장로로서 목사와 장로는 2세기경부터 감독인 주교와 장로로 확실하게 나뉜다. 감독은 공적 지도자로서 교회를 책임지고 목회하는 사제인데 반하여 장로는 교회 행정을 담당하는 사무 행정가다. 장로는 교회의 통일성을 위해 감독에게 순종해야 한다. 이것은 장로가 감독과 동등하지 않다는 증거이자 서열화를 암시한다. “감독(주교) 없이는 교회도 없다.”
3세기 교회는 확실하게 위계적 감독제도로 보인다. 장로들도 사도직을 계승하는 것은 분명하지만 그들이 감독을 따르는 한에서만 그렇다. 점차 감독이 절대적 권위를 갖게 됨으로써 장로의 자리는 점차 역사 속으로 사라지기 시작하는데, 결국 로마의 감독 즉 교황 중심의 중세교회에서는 장로 직분이 흔적도 없이 자취를 감추고 만다.
중세 천년 동안 사라진 장로 직분을 부활시킨 것은 개혁파 종교개혁자들이다. 오늘날 장로교회는 16세기 종교개혁, 특히 칼빈의 제네바 종교개혁으로부터 유래한다. 칼빈이 장로제도의 이론을 체계화한 인물이라면 장로교회의 기초를 놓은 인물은 스트라스부르의 종교개혁자 마르틴 부써(Martin Bucer)다. 칼빈은 가시적 교회 즉 지상교회에 관한 많은 것들을 부써에게서 배웠다. 하지만 장로교회는 부써교회도 칼빈교회도, 심지어 낙스교회도 아니다.
부써와 칼빈의 가르침에 영향을 받아 세워진 교회에는 요한 낙스(John Knox)의 스코틀랜드 장로교회에 뿌리를 둔 전 세계의 모든 장로교회뿐만 아니라, 프랑스의 위그노교회와 네덜란드 개혁교회, 그리고 독일의 개혁교회 등 대륙의 교회들도 포함된다. 칼빈의 제네바 종교개혁과 낙스의 스코틀랜드 종교개혁의 가장 큰 차이점은 하나는 일개 도시 단위의 종교개혁이고 다른 하나는 국가 단위의 종교개혁이라는 사실에 있다.
제네바교회의 정치제도는 가깝게는 프랑스 위그노교회에 결정적인 영향을 주는데, 프랑스 개혁교회와 네덜란드 개혁교회는 국가로부터 인정을 받지 못했기 때문에 각 도시나 마을에 개별적으로 교회를 설립하고 그 후에 일정 지역 내의 교회들이 연합하여 노회를 구성하는 형태였다. 다시 말하면 도시교회인 제네바교회와도 다르고 국가교회인 스코틀랜드교회와도 다른 모습이었다. 프랑스 개혁교회는 16세기 후반에, 네덜란드는 17세기 중반에 특정 지역의 유일한 교회형태로 인정받고 자리를 잡게 되었다.
오늘날 장로교회는 로마교회, 영국국교회, 감리교회, 회중교회, 침례교회, 루터교회 등과 확연하게 구분된다. 장로교회라는 이름의 기원은 스코틀랜드 장로교회다. 그렇다면 스코틀랜드 장로교회를 알아야 장로교회를 안다고 할 수 있다. 스코틀랜드 장로교회의 특징은 1560년의 제1 스코틀랜드 교회치리서와 1578년의 제2 스코틀랜드 교회치리서, 그리고 1645년의 웨스트민스터 정치질서에 잘 나타나 있다.