人的性别遗传如图：

从图中可以看出儿子的染色体中Y一定来源于父亲，X一定来源于母亲．男子的X染色体只能传给女儿，不能传给儿子．孩子从父亲那里得到Y染色体，是儿子；孩子从父亲那里得到的是X染色体，是女儿．因此生男孩还是生女孩起决定的因素是父亲的性染色体．

故选：A．