Docker исходники VS Docker Бинарник

Скажите, есть ли смысл собирать все исходники внутри контейнера или можно собрать проект на локальной машине и в докер скопировать бинарник с конфигурационными файлами?

Оба варианта у меня прекрасно работают, но прописывать сборку внутри докера довольно долго из-за того, что в проекте много сторонних библиотек, которые не так легко устанавливаются.

Собственно, если ли разница между этими подходами?