时坚姊故惠宣太子妃亦出宝物供楼上铺设，进食竟日而罢。
李林甫以坚姜氏婿，甚狎之。至是惧其诡计求进，承恩日深，坚又与李适之善，益怒之，恐入为相，乃与腹心构成其罪。四月，进银青光禄大夫、左散骑常侍、陕郡太守、水陆转运使，勾当缘河及江淮南租庸转运处置使并如故；又以判官元捴、豆卢友除监察御史。三年正月，坚又加兼御史中丞，封韦城男。九月，拜守刑部尚书，夺诸使，以杨慎矜代之。
五载正月望夜，坚与河西节度、鸿胪卿皇甫惟明夜游，同过景龙观道士房，为林甫所发，以坚戚里，不合与节将狎暱，是构谋规立太子。玄宗惑其言，遽贬坚为缙云太守，惟明为播川太守。寻发使杀惟明于黔中，籍其资财。六月，又贬坚为江夏员外别驾。又构坚与李适之善，贬适之为宜春太守。七月，坚又长流岭南临封郡，坚弟将作少匠兰、鄠县令冰、兵部员外郎芝、坚男河南府户曹谅并远贬。至十月，使监察御史罗希奭逐而杀之，诸弟及男谅并死。坚妻姜氏，林甫以其久遭轻贱，特放还本宗。仓部员外郎郑章贬南丰丞，殿中侍御史郑钦说贬夜郎尉，监察御史豆卢友贬富水尉，监察御史杨惠贬巴东尉，连累者数十人。又敕嗣薛王琄夷陵郡员外别驾长任，其母随男任；女婿新贬巴陵太守卢幼林长流合浦郡。肃宗时为皇太子，恐惧上表，称与新妇离绝。七载，嗣薛王琄停，仍于夜郎郡安置，其母亦勒随男。坚贬黜后，林甫讽所司发使于江淮、东京缘河转运使，恣求坚之罪以闻，因之纲典船夫溢于牢狱，郡县征剥不止，邻伍尽成裸形，死于公府，林甫死乃停。