以前怎么交往就怎么交往呗。如果你和该异性真的是正常交往的话时间会帮你证明的，即使以后发展到恋人什么的别人也管不着啊，而且时间久了大家都习惯了你和该异性关系好，也不会怎么样的。
最重要的是，你要有自己的认识。你觉得你和异性的关系健康阳光符合社会主义核心价值观，那你要想想别人的动机，想想他们那样说的理由。如果你自己也觉得有点不好意思，留或不留，全在取舍。
最近我也碰到这样的情况，也能理解那种明明什么都没有却被别人在背后议论的感受，后来我的做法是跟那个异性保持距离，处于一种礼貌的位置，让别人知道你们仅仅是朋友，这是我的做法，不一定会适合，但可以参考。
我觉得和异性同学一起玩蛮有意思的，可能是男女思维差异，一起玩耍聊天有时候可以承包一天的笑点， 还可以互相学习。我是相信男女之间是有纯洁友谊的。我初中玩的好的男同学至今还是我的好朋友，有时候还可以约约饭，谈谈人生。我到了高中，一般都是十多个男女同学集体活动集体约饭，很开心。反正男女同学之间自然大方地交往，把握尺度，身正不怕影子斜，不要被流言蜚语困扰。
不用太在意别人的看法，与他人相处最重要的是要大方自然，但有时候该保持的距离依旧要保持，做自己该做的。
和一个男生很要好，每天都一起浪，楼上文科班的都疯传我们在交往，其实我是他gay蜜。坦荡荡地对待就好啦。
