直到狐偃之子。狐射姑时，狐氏却遭遇了巨大的打击。
狐射姑在父亲狐偃死后。担任中军佐，排位在连卿都不是的赵盾之上。是呼声最高的执政人选之一。然而，赵氏之党，太傅阳处父却劝说晋襄公，卓拔赵盾，让他练级跳，成了中军将，于是便埋下了狐氏与赵氏的仇怨。
之后，两家的矛盾在立国君一事上爆发了。
晋文公死时，按照晋国在献公时留下的“国内无公族，群公子非太子者，不得留于国内”的法令，将公子雍、公子乐、公子黑臀分别派到秦国、陈国、周王室做大夫。
到了晋襄公临终时，将太子夷皋托付给执政赵盾，但赵盾后来又觉得夷皋年幼，决定从秦国迎回公子雍继位（后来又改了主意，立夷皋为晋灵公）。
狐射姑为了和赵盾争权，也派人从陈国接回公子乐，想让后者继位，但赵盾预先派人将公子乐截杀于半道上。
闻讯后，狐射姑大怒，作为报复，派族人刺杀使自己失去正卿之位的阳处父。不久，赵盾已经处理好了国内各势力，于是便追究阳处父被杀之事，将狐氏族人正法，而狐射姑不敌，也只能出奔赤狄潞国。
原本在晋献公征服狐戎后，狐氏一族便由戎狄入华，现如今又由华入戎狄，可谓是大起大落。
如今距离狐射姑出奔赤狄潞国，已经过去了一百多年，狐氏在戎狄之地繁衍生息。
中行林父与狐姑射关系不错，还曾一度提出要迎接狐射姑归国。所以，他任中军将时，兵锋所至，灭赤狄潞国后，对狐氏后人还算优待。
而狐氏自觉不容于晋国，也一直往边缘戎狄之地奔逃。直到连鼓、肥、无终等国也被号称戎狄克星的中行吴攻破后，才发现已经无处可去，狐婴索性带着百余部族民众，想投靠与自己祖先有旧的中行氏。
然而如今的中行氏已经变得十分势利的实际，早就不是中行林父那个老好人的风格了，所以狐婴也被“物尽其用”。他的母亲和妻儿被扣押，他则带着青壮族人，被安置在吕梁山中，发挥他们知晓戎狄语言，还有擅长山地作战的特点，帮助中行氏招揽山中华戎混杂的群盗，作为一个隐藏的力量。