法律分析：公司的违法行为是指违反法律、法规、规章、执照或契约约定所实施、参与或默许的不当、不义、不良的行为。公司作为一种特殊的法律主体，其行为应该遵守相关法律规定，并对其行为承担相应的法律责任。当公司存在违法行为时，其应该被追究相应的法律责任。
法律依据：
1.《公司法》第三十四条规定：“公司应当依照法律规定履行义务，对因公司经营活动造成的损害承担赔偿责任。”
2.《合同法》第九十五条规定：“当事人违反合同约定或者以违反诚信原则的方式行使权利，致使对方受到损失的，应当承担损害赔偿责任。”
3.《刑法》第二百六十四条规定：“法人犯罪，应当追究刑事责任。法人犯罪的，应当依照本法规定，对其直接负责的主管人员和其他直接责任人员追究刑事责任。”
综上所述，当公司存在违法行为时，应该依照相关法律规定，对造成的损害承担相应的法律责任。同时，公司的违法行为也可能涉及到刑事责任，对于直接负责的主管人员和其他直接责任人员也需要追究相应的刑事责任。
