知识书店于1936年9月创办，店址在现和平路298号，国民饭店附近的一个临街铺面，这里也是当时中共天津市委机关的一部分。知识书店是由地下党员吴砚农及其好友叶笃庄筹办，经中共中央北方局林枫批准建立的。

1933年10月，天津文化总同盟遭到破坏，为躲避敌人追捕，吴砚农以到新闻学校求学的名义来到日本东京。在东京，他与同在天津参加过学生运动的革命青年叶笃庄商讨，如果时机成熟，就回天津创办一个书店，以便在党的领导下开展文化、教育、宣传等工作。

1936年的夏季，吴砚农、叶笃庄相继回国，先由吴砚农与党组织取得联系，叶笃庄负责筹集资金，在党组织的领导下，开始了筹办书店的工作。书店开张后，经理由叶笃庄担任。主要销售上海出版的一些进步刊物。

书店影响很大，辐射很多地方，这也引起了敌人的注意。七·七事变以后，日本特务机关照会法租界工部局，要查封书店。为避免不必要的损失，经向省委负责人李大章请示，书店于1937年7月28日关闭。当时日军的飞机正一面轰炸南开大学，一面飞到租界上空散传单，而群众不去注意头顶上飞舞的五颜六色的传单，却聚集在书店门前围观大字报。时间是1937年7月28日，大字报的内容大致是：由于时局的原因，货源断绝，不得不停业，等等。最后一句是：“别了诸君，祝珍重！”字里行间充满了激情和愤慨。知识书店在存在的10个多月的时间里，不断地在天津等地宣传我党团结抗战的主张，扩大了进步力量的影响。