A、苯乙烯分子式是C₈H₈，乙烯的分子式为C₂H₄，两者最简式不同，苯乙烯含有苯环，与乙烯结构不相似，两者分子式不同，两者既不是同系物，也不是同分异构体，故A错误；

B、甲醛（HCHO）和甲酸甲酯（HCOOCH₃）的最简式相同，都是CH₂O，两者结构不相似，分子式不同，两者既不是同系物，也不是同分异构体，故B正确；

C、乙酸和甲酸甲酯，最简式相同，都是CH₂O，分子式相同，结构不同，互为同分异构体，故C错误；

D、乙烯和丙烯，最简式相同，都是CH₂，两者结构相似，在分子组成上相差一个CH₂原子团，属于烯烃，故D错误；

故选B．