『博多がめ煮 (博多区・中央区編)』によれば、慶長12年(1607年)の創建で大悲山と号するという。 古来西側に隣接する西方寺の塔頭で禹弘(うこう)寺と呼ばれていたが、 行基作の聖観音菩薩像が安置されていることで観音寺となったという。
博多大空襲で焼失し、現在は鉄筋のビルになっている。一階が商店で二階が観音寺である。
『博多町名散歩』によると、このあたりは旧芥屋町(けやまち)と呼ばれていたという。糸島市の漁民が魚を売りにきて仮納屋を建てていたことが町の名の由来という。