ตั้งที่ทางตอนใต้นอกเกาะเมืองพระนครศรีอยุธยา บริเวณริมฝั่งแม่น้ำเจ้าพระยา เริ่มสร้างเมื่อ พศ 2209 ในสมัยสมเด็จพระนารายณ์มหาราช

ในช่วงเปลี่ยนกษัตริย์และราชวงศ์เป็นพระเพทราชาแห่งราชวงศ์บ้านพลูหลวง เมื่อ พศ 2231 วัดนักบุญเซนต์ยอแซฟ บาทหลวง นักเรียนชาวคาทอลิก และชาวฝรั่งเศสทั้งพ่อค้าและทหารต่างก็ได้รับผลกระทบด้

อันเนื่องจากความพยายามที่จะเปลี่ยนศาสนาขององค์กษัตริย์ และความสัมพันธ์กับฟอลคอน ทั้งนี้วัดและโบสถ์ถูกทำลาย

ชาวฝรั่งเศสถูกจับกุมคุมขังและกองทหารฝรั่งเศสถูกขับออกจากป้อมบางกอกและออกจากสยาม

ความสัมพันธ์อย่างเป็นทางการของสยามกับฝรั่งเศสก็ยุติลง เหลือเพียงความพยายามเผยแพร่คริสต์ศาสนาของเหล่าบาทหลวงเยซูอิตที่ยังดำเนินต่อไป

อีก 3 ปีต่อมาพระเพทราชาทรงให้บาทหลวงฝรั่งเศสรื้อฟื้นวัดโบสถ์และโรงเรียนบ้านเณรขึ้นมาใหม่พร้อมทั้งพระราชทานเงินให้ 500 เหรียญฝรั่งเศสด้วย โรงเรียนบ้านเณรยังคงเป็นศูนย์กลางการศึกษาทางศาสนาของนักเรียนจากชาติต่างๆ เหมือนเดิม

ศิลาจารึกข้อห้ามของคณะเยซูอิตนี้ได้ถูกบาทหลวง ทำลายไปในขณะที่กองทัพพม่ากำลังโจมตีกรุงศรีอยุธยา

บ้านฝรั่งเศสได้กลายเป็น “ค่ายนักบุญยอแซฟ” ที่ชาวคริสเตียนได้อพยพมาอยู่และเป็นกองกำลังขนาดใหญ่

แต่ในที่สุดค่ายนักบุญยอแซฟก็ถูกพม่าเผาทำลายเป็นเถ้าถ่าน ก่อนหน้าที่กรุงศรีอยุธยาจะพังทลายราว 15 วัน พระสังฆราช บาทหลวง ชาวคาทอลิกที่พม่าจับได้ถูกนำกลับไปเป็นทาสที่พม่า

บ้านฝรั่งเศสหรือบ้านนักบุญยอแซฟ ซึ่งเป็นที่ฝั่งศพของผู้แทนพระสันตะปาปา 11 องค์ และฝังศพนักบุญจำนวนมาก

ได้รับการรื้อฟื้นอีกครั้งในอีก 60 ปีต่อมา โดยพระสังฆราชปาเลอกัวจากฝรั่งเศสซึ่งเข้ามาในสมัยรัชกาลที่ 3 แห่งกรุงรัตนโกสินทร์ โบสถ์ได้รับการก่อสร้างขึ้นใหม่ ณ ที่เดิม

ปัจจุบันวัดนักบุญเซนต์ยอแซฟมีโรงเรียน ประถมสมัยใหม่ที่ดีของจังหวัดพระนครศรีอยุธยาอีกด้วย