另外，税前扣除额标准及家庭负担的确定十分困难。在城乡二元结构的中国，家庭负担准确核定十分困难，尤其在流动人口规模如此庞大的背景下，“家庭”的概念如何认定也非常复杂。

    刘尚希还认为，按家庭征收，现行的个税代扣代缴征收方法不能适用，征收程序将更为复杂，远远超出目前税务部门的管理能力，个税征收成本会更高。

    对于刘尚希的说法，有学者认为，这只是技术性问题，有关部门如果决心推进按家庭计征个税，也并非绝对“不可行”。一个现成的例证是，目前房地产限购政策就是以家庭为单位对二套房进行认定，从住建部、央行、银监会执行以家庭为单位认定二套房的实际情况来看，各部门的信息共享是可以实现的。在当前社会征信系统框架内，只要全国各地方税务系统将个人所得税信息数据库联网，然后税务部门和民政、公安、金融、工商、社保、住房等部门实行有限度的信息共享，那么，税务部门并不难核实每个家庭的收入支出情况。

    全国人大常委会委员任茂东曾经表示，税收征管部门认为目前没有条件按家庭计征个税，理由不充分，这几年的“金税工程”中，国家投入大量资金进行纳税人信息平台建设，技术已经不是问题。

    在一些反对按家庭计征个税的财税学者看来，个税征收基本上都是由单位从工资中代扣代缴，这种从源头征税的方式无论对税务机关还是征税对象来说，都是一种简捷的操作方法。如果以家庭为单位征收，税务机关很难建立起一道像面对个人征收那样的关口，这使个税的征收在很大程度上只能依靠民众的自觉来完成，在缴税尚未成为民众自觉行动的环境下，税务部门为了保证足额收税，只能加强征税力量，容易激发社会矛盾。

    另外，一个家庭需要赡养老人、抚养孩子，就可考虑少交税，但是，同样是赡养老人，赡养一个身体健康的老人和赡养一个常年患病的老人，其家庭开支有不小差别，税务部门该如何处理？如果税务部门只以家庭人口来收税而不考虑具体情况，那岂不是又产生了新的不公平？

    “不能说这些说法完全没有道理，有些困难的确存在。”中国人民大学财税法研究所所长朱大旗教授接受中国青年报记者采访时表示，“以家庭为单位征收个税是我国个税制度的改革方向，这早已是共识，如果不下决心推动，永远都实行不了。”在他看来，“任何一项新政策出台时都相对粗糙，边走边修，有问题不断解决。”

    朱大旗认为，如果要真正降低居民税收负担，个税改革应把以家庭为单位计征个税作为突破口，而不能只集中在不断调整起征点的问题上。