　当寺は天台宗「大慈山観音寺」と称し、通称「芦浦観音寺」で親しまれ、本尊は十一面観世音菩薩で秘仏となっている。寺歴は古く、「大安寺三綱記」によると、飛鳥・奈良時代は三論宗であった。その後の中古の歴史は明らかではない。
　1408年に京都普勧寺の僧歓雅の入寺により中興し、現在の城郭形式の表門はこの頃以降に出来たものと思われる。当寺が歴史上、特に重要な役割を果たすようになったのは中興より数えて七代目住職の慶順が織田信長から琵琶湖の水運権を任せられるようになってからである。湖上管船奉行として、現在の大津市観音寺町に代官所を置き政務をとった。政務に参与したのは、7世慶順から13世朝舜までの７代、111年間にわたる。
　特に8世賢珍、9世詮舜は豊臣秀吉からの信任厚く、秀吉朱印状「江州湖上往還之船定条々」の交付を受けて琵琶湖全体の船の管理を任された。また詮舜は信長による元亀の法難（1571年）後、比叡山の復興に尽力し、その功績が延暦寺瑠璃堂前の石碑文（舜公銘碑）に刻まれている。朝鮮出兵（文禄・慶長の役）には九州の名護屋（佐賀県）に下り、側近の用を務め、当時を表す「肥前名護屋城諸侯陣跡之図」には芦浦観音寺の陣屋も描かれている。また伏見城の作事奉行として竹木等の調達にもあたった。関ヶ原の合戦後、徳川時代になっても10世朝賢は湖水奉行職を勤め、永原御殿（野洲市永原）の作事奉行をはじめ諸処の普請奉行も拝した。貞享2年（1685）13世朝舜の時に、徳川政権の幕藩体制変革の中で、その諸奉行としての職務を召し上げられ表舞台から姿を消すこととなった。
　石垣に囲まれた表門と内堀、重要文化財に指定されている阿弥陀堂と書院が、今も往時の面影を残している。現在の本堂は平成24年に再建されたものである。
　「近江の正倉院」と称される当寺の仏像・仏画・工芸品は管理上の都合から外部機関に寄託しており、拝観することは出来ない。

【芦浦観音寺の名に由来する地名、また古書籍に残された物】
【観音寺町】：観音寺代官所のあったところが大津市観音寺町として残っている。
【観音坂】：東京都千代田区にある坂に「観音坂」の名前が残っている。これは江戸に芦浦観音寺屋敷があった由来である。元禄の江戸古地図にも芦浦観音寺屋敷が描かれている。「新編江戸史」(寛政年間1789-1801）にも掲載されている。
【観音寺椿】：江戸前期に作成された「百椿集」（寛永7(1630）年）に観音寺椿の記述があり「赤色の五弁の中に白色の蘂がある」とある。古典椿の「朴伴」であると思われるが、当時の椿は現存しておらず、境内の「朴伴」は平成22年に植栽されたものである。「椿花図譜」（元禄13年発行【推定】）にも観音寺椿が記載されている。
【観音寺納豆】：正保2年（1645）松(まつ)江(え)重(しげ)賴(より)(号：維舟）著の「毛吹草(けふきぐさ)」、延保5年（1677）高(たか)瀬(のせ)梅(ばい)盛(せい)（号：佗心子(たしんし)）著の「類船集」、元禄2年（1689）原田蔵六著の「淡海録」、文化3年（1806）田(た)宮(みや)仲(ちゆう)宣(せん)著の「鳴呼矣草(おこたりぐさ)」などに「観音寺納豆」が出てくる。これらはいずれも糸引き納豆のことであるが、当寺に伝わる古文書には、「唐納豆」「納豆」「干納豆」の3種類の記述があり、糸引き納豆以外もあったようだ。