Функция интуитивно понятная, как мне кажется.
Если ничего не выделено - работает как кнопка "Цитировать" на старом форуме (отрывается окно для ответа).
Если часть сообщения выделена - новое окно не открывается, а цитата копируется в "Быстрый ответ" внизу страницы.
Если в окне "Быстрый ответ" уже что-то было - то в первом случае окно не открывается, а в быстрый ответ попадает цитата с полным сообщением.
Кстати, цитирование выделенного фрагмента работает и в окне отправки ответа (кнопки "Цитата" у сообщений в нижней части страницы).
Заметил мелкий баг - если выделить часть одного сообщения, а кликнуть "Цитировать (выделенное)" в другом, то это работает (а не должно).