由于赵南星曾受三党排挤，所以他的“四凶”论不免予人以借故报复的印象；同时援引东林被废诸人重登朝班，升迁亦似乎太快，这都是可议的地方。
至于魏忠贤，起先对赵南星与众不同，这或许因为同是河北人的缘故，结果因赵南星的书生习气搞坏了关系，《明史本传》：
魏忠贤雅重之，尝于帝前称其任事。一日遣娣子傅应星介一中书贽见，南星麾之去。尝并坐弘政门选通政司参议，正色语忠贤曰：“主上冲龄，我辈内外臣子，宜各努力为善。”忠贤默然，怒形于色。
他对魏忠贤说的话自是正论，但魏忠贤不识字，哪里懂得这些道理？而况以魏忠贤的作风，又岂是大庭广众之间，片言可以使其愧悔改过的？所以赵南星的对牛弹琴，是“不可与言而与之言谓之失言”明朝的宦官用事，由来已久，这种政治形态上的畸形存在，是一个不能不承认的现实，赵南星如果懂得政治艺术，正应该珍视魏忠贤对他的好感，设法规过私室，则必能有所匡正，那一来可能历史又是一种写法了。
由于天启三年京察的不免失平，因而三党人物如王绍徽、阮大铖、崔呈秀、冯铨等人都成了阉党。崔呈秀后来成了魏忠贤最亲近的心腹，那是天启四年九月间的事。
东林与阉党大规模开火的第一个高潮，起于天启四年六月，此即杨涟劾魏忠贤二十四大罪之一举。杨涟自光宗泰昌元年拥立有功，有个后来成为阉党的御史贾继春，说他与王安相勾结“图封拜”正人君子最讨厌的就是这种说法，而小人又最喜欢用这种说法来诬侮君子，结果杨涟不胜愤慨，抗疏求去，意志坚决，这年十二月就已出都。天启二年复起为礼科都给事中，一年多的工夫升到左副都御史，这一半就是赵南星的力量。
《明史本传》：
是时魏忠贤已用事，群小附之，惮众正盈朝，不敢大肆。涟益与赵南星、左光斗、魏大中辈激扬讽议，务植善类，抑邪。忠贤及其党衔次骨，遂兴汪文言狱。