当院の起源＝白井家の祖までさかのぼると、平安時代に行き着きます。
白井家の祖は、平安時代の武士で、20代・国隆が来讃し、仲村および財田村を領有するも、23代では僧となり、俗還したのは28代・権右衛門のとき。その子・権六が家を継ぎ、一族の白井茂十郎の次男・義明を婿として迎えます。
その白井義明が医師となり、別家を起こし、名を養全と改め、1700年（元禄13年）頃、高瀬にて開業しました。
以後、代々医師の家系が続き、江戸時代の長崎遊学では、讃岐からのべ56名の遊学医師が出ました。同じ家系で複数名が遊学医師となることは珍しかったにもかかわらず、白井家は泰仲、平馬、此三郎の3名を送り出しています。