Как ответить на это замечание зависит от того, какие у вас отношения с собеседником и какой эффект вы хотите произвести. Вот несколько вариантов:

Извиниться и прояснить ситуацию

“Прости, не хотел тебя обидеть. Можешь объяснить, что именно тебе не понравилось? Я хочу это исправить.”
Откровенно обсудить ситуацию

“Извини, если так показалось, но я действительно хотел выразить свою точку зрения. Может, поговорим, чтобы лучше понять друг друга?”
С юмором

“Ну, теперь хотя бы знаем, где они проходят!”
Этот вариант подойдёт, если между вами хорошие отношения и ситуация не слишком серьёзная.
Уточнить, что собеседник имеет в виду

“Понял, что ты так чувствуешь. Можешь конкретнее сказать, что именно я сделал, чтобы пересечь границы?”
Спокойно принять, но отстоять свои действия

“Я понимаю, что тебе это неприятно, но для меня важно было сказать именно это.”
Выбор ответа зависит от контекста и ваших намерений – хотите ли вы сгладить ситуацию или всё же донести свою позицию.