[背景资料]
某水利工程项目由政府投资建设，招标人委托某招标代理公司代理施工招标。行政监督部门确定该项目采用公开招标方式招标。招标文件规定：投标担保可采用投标保证金或投标保函方式担保。评标方法采用经评审的最低投标价法。投标有效期为60天。
招标人对招标代理公司提出以下要求：为了避免潜在的投标人过多，项目招标公告只在本市日报上发布，且采用邀请招标方式招标。
项目施工招标信息发布以后，共有10家潜在的投标人报名参加投标。招标人认为报名参加投标的人数太多，为减少评标工作量，要求招标代理公司仅对报名的潜在投标人的资质条件、业绩进行资格审查。
开标、评标后发现：
(1)A投标人的投标报价为6000万元，为最低投标价；
(2)B投标人在开标后又提交了一份补充说明，提出可以降价3%；
(3)C投标人投标文件的投标函盖有企业及企业法定代表人的印章，但没有加盖项目负责人的印章；
(4)D投标人与其他投标人组成了联合体投标，附有各方资质证书，但没有联合体共同投标协议书；
(5)E投标人的投标报价最高，故E投标人在开标后第二天撤回了其投标文件。
经过对投标书的评审，A投标人被确定为第一中标候选人。发出中标通知书后，招标人和A投标人进行合同谈判。招标人要求A投标人降价3%，否则不予签订合同。
E撤回投标文件的行为应如何处理