もともとの言葉のニュアンスでは性風俗に限らず歴史的に重要な古今東西の珍品・秘宝を収蔵した施設のことを指しているように感じられるが、実際には「○○秘宝館」と呼ばれる施設は性風俗に関係する物品を陳列する施設とほぼ同一であり、「秘宝館」という語は主に性や性風俗を扱った施設を婉曲的に指すのに用いられている。
後述のリストのとおり、主に温泉街など大規模な観光スポットに作られ、会社などの団体旅行全盛期の1970年代ごろに最盛期を迎えたが、その後の団体旅行の減少や社会の「洗練」によって忌避されるようになり、多くの秘宝館が閉館していった。しかし1990年代ごろより都築響一らによって各地の秘宝館が雑誌や番組で紹介され（例：『珍日本紀行』、都築響一によってSPA! で連載されたもの）、怖いもの見たさやアウトサイダーアート的な過剰な表現への関心などで見直す動きもある。
こうした、性に関する物品を集めた私設博物館は、1960年代の性の革命やフリーセックスなどの文化や風潮を背景にヨーロッパをはじめ世界各国に開設されており、21世紀に入ってアジア各国などにも広がりを見せている。普通は「飾り窓」など各都市の売春地区やポルノショップの集まる場所に作られ、セックスミュージアム（sex museum、Musée de l'érotisme）、エロティックミュージアム（erotic museum）などと呼ばれている。
施設の性質上、未成年（あるいは18歳未満）は立ち入り禁止になっている。また、写真撮影も禁止となっていることが多い。