被拉？

类似这种表情

要有具体语境，不然很难翻译

不想和(啥啥)扯上关系

ひかれる确实有几种意思：
1、咱不是不想（受到）吸引嘛；
2、咱不是不想吓到（别）人嘛；
3、咱不是不想拉扯/碾轧（等等）嘛。
但是多数情况下
惹かれる⇒1
引かれる⇒2
曳かれる、轢かれるなど⇒3
以上，仅供参考。