Dům u Švagerků nechal roku 1902 vystavět Emanuel Švagerka (1863-1938), sociální demokrat a později přesvědčený komunista. Dům sloužil původně jako hostinec a ještě během první republiky také jako místo setkání členů a příznivců komunistické strany. Měly zde sídlo územní orgány KSČ a později také redakce krajského orgánu KSČ „Pochodeň“ (od 1. prosince 1920 do r. 1937). Roku 1959 začal dům sloužit jako muzeum dělnického hnutí. Budova byla v letech 1958 až 1993 vedena jako nemovitá kulturní památka.

Roku 1967 byla na nároží domu umístěna pamětní nápisová deska, připomínající revoluční minulost místa. Jejím autorem byl sochař Josef Bílek. Text na desce zní:

DŮM U ŠVAGERKŮ
BYL JIŽ OD ROKU 1902 SÍDLEM
DĚLNICKÝCH ORGANIZACÍ.
OD ŘÍJNA 1920 ZDE BYLA REDAKCE
POCHODNĚ A SEKRETARIÁT III, ŽUPY
SOCIÁLNĚ DEMOKRATICKÉ LEVICE.
V LÉTECH 1921-1938 PRACOVAL
ZDE KRAJSKÝ SEKRETARIÁT KSČ
REDAKCE KOMUNISTICKÉ
POCHODNĚ, PŮSOBIL KOMSOMOL,
RUDÉ ODBORY, PROLETÁŘSKÁ TĚLOVÝCHOVA A DIVADLO.