Das Haus Luitpoldstraße 6 wurde Ende der fünfziger Jahre als Spielwarenkaufhaus errichtet. Bis Anfang der neunziger Jahre erfreute es viele Kinderherzen mit seinem Angebot. Fast 10 Jahre war es nach Aufgabe des Inhabers ohne Nutzung.

Im Jahr 2002 wurde es vom Medienunternehmer Gunther Oschmann zum Zweck der Schaffung eines Literaturhauses erworben und bis Ende 2003 umgebaut.

Am 10.12.2003 wurde das Literaturhaus eröffnet.