부산으로 돌아온 매카이 목사는 두 달 후인 10월 11일 일본 나가사끼에 있는 성공회교회당에서 동료 선교사인 퍼셋(Mary Fawcett)과 재혼했다. 그리고는 초량지역에 600평의 땅을 매입하고 부산진에 한옥을 구입하는 등 향 후 선교활동을 위해 준비했으나 그도 건강 때문에 부산에 남아 있을 수 없었다. 결국 그는 1893년 8월 28일 선교본부에 사임의사를 전보로 통보하였고 부인 퍼셋과 더불어 부산을 떠나 10월 13일 멜버른에 안착하였다. 한국에 온지 2년 만이었다. 결국 제2진 5명의 선교사 가운데 멘지와 페리만 남게 되었다.

그런데 페리 또한 1895년 호주의 여전도회연합회 선교사직을 사임했다. 그의 사임 일에 대해서는 상이한 기록이 있다. 커(E. Kerr)는 페리가 1894년 4월 사임했다고 기록하는데, 서울에 있던 사무엘 마펫은 1895년 8월 21일자로 엘린우드에게 보낸 편지에서는 “우리는 방금 부산의 페리 양이 호주장로회를 사직했다는 말을 들었다”고 말하고 있어 공식적으로 사임한 것은 1895년 8월 이전으로 보인다. 사실 페리는 1895년 7월 1일 자로 여전도회연합회 실행위원회에 사임서를 보냈다. 즉 부산을 떠나 일본으로 갔던 페리는 7월 1일자로 일본에서 장로교회의 특정교리에 대한 견해차를 수용요할 수 없다는 이유로 사임서를 보낸 것이다. 이 사임서는 두 달 후인 1895년 9월 1일 접수되었다. 여전도회연합회는 페리의 불성실함에 대해 매우 당황했고, 불쾌했다. 그래서 이 사임서를 수리하지 않고 임명 자체를 종료하는 방식을 선택했다. 그런데 이 보다 중요한 것은 그가 호주장로교 선교부를 떠난 이유가 무엇인가 하는 점이다. 필자는 이 점에 대해 궁금하여 여러 문헌을 검토하였으나 단지 신학적 견해 차이 때문이라는 기록뿐이었다. 호주장로교회의 공식문서인 장로교 총회록(Proceedings of the General Assembly, Presbyterian Church of Victoria) 등에는 단지 “그의 종교적 견해 때문에...”(In consequence of her religious view)라고 기록뿐이다.

그렇다면 어떤 견해차가 있었을까? 호주선교부 기록에서는 시임이유를 분명하게 찾을 수 없었으나 사무엘 모펫의 기록을 통해 신학적 견해차를 알 수 있게 되었다. 마펫이 엘린우드에게 보낸 1895년 8월 21일자 편지에서 페리가 호주선교부를 떠난 것은, “그가 일본을 한차례 여행하면서 몇 사람과 접촉했는데, 플리머스 형제단에 가입했기 때문”이라고 말하고 있다. 장로교에 속했던 페리는 반교권적 반성직주의를 지향하되 원시 교회를 이상으로 여기는 플리머스 형제단에 매력을 느꼈고 결국 호주장로교 선교부를 떠나기로 한 것이다. 신학적 차이는 결국 교회관의 차이였다고 할 수 있다.

호주선교부를 떠난 그는 일본에서 호주로 돌아가 선교 후원자를 챀ㅊ자 지원을 호소하였고, 다시 한국 서울로 가 엘렌 패쉬(Ellen Pash)와 새로운 선교사역을 시작했다. 엘렌은 일본에서 만난 여성인데, 켐브릿지 길턴 대학 출신으로 인도에서 사역하던 중 건강 때문에 일본으로 가 요양하고 있던 중 페리와 만나게 된 것이다. 많은 점에서 의견을 같이했던 이들은 걸인, 유랑자 혹은 고아와 맹인 소년 소녀들을 위해 독립적으로 사역하기로 하고 영국복음주의 선교회(British Evangelistic Mission)를 조직했다. 이들이 시작한 첫 사업이 Garden for Lonely Children이라는 고아원 시업이었다. 이때 영국에 있는 친구들의 재정지원을 받은 것으로 보인다. 페리는 이때부터 1915년까지 사역하고 은퇴했다. 페리는 필력을 겸한 인물로 한국선교와 관련된 여러 권의 책을 출판했다. 곽안련(C. A. Clark) 선교사에 의하면 페리는 1915년 한국에서 은퇴할 때 고아원과 모든 구호 시설들을 구세군에게 넘겨주었다고 한다.