Fruto del matrimonio entre el francés Joseph Besné Chavallie originario de Grenville (Seine-Maritime) y de María Antonia de Irigoyen Gaz proveniente de Tolosa (Guipúzcoa), Juan Manuel fue el mayor de ocho hermanos. La pareja había contraído matrimonio en la Parroquia de San Vicente Levita y Mártir, y todos los hermanos de Juan Manuel fueron bautizados allí.
En el marco de la guerra franco española de 1808, en el que existía un fuerte sentimiento anti-francés en territorio español, Juan Manuel decide cambiar su apellido, y lo explica de esta forma:
Habiendo en estos momentos (1808) declarado la guerra de España contra los franceses, fueron perseguidos no solamente éstos, sino aún los que tenían el apellido francés, no encontré otro remedio que aumentar al mío en la fe de bautismo una s, de lo que resulta como se ve en ésta, el apellido Besnes en lugar de Besné, que era francés.
De este modo españolicé mi apellido, al que añadí, cuando llegué a Montevideo, el de mi madre... salvándome de este modo, sin perjudicar a nadie, de las persecuciones y odios que se declaraban contra los franceses y sus hijos...

En 1808 arriba a la Banda Oriental (más tarde Uruguay), a bordo del barco "Nuestra Señora de la Concepción", el cual había zarpado del puerto de Pasajes. No hay registros sobre sus primeras ocupaciones, y se le ha atribuido el de escribiente del gobernador de Montevideo, Francisco Javier de Elío, entre otros, aunque de acuerdo a su condición de recién llegado probablemente haya ocupado un cargo menos relevante en la administración pública.