Simulations2

Depuis l'avènement de l'informatique, les simulations numériques sont couramment utilisées en sciences, tant pour tester des hypothèses, qu'effectuer une analyse numérique, pour mettre un modèle à l'épreuve, etc. et l'environnement informatique du Département est conçu de façon à faciliter la mise en place de telles simulations.

Cette page contient des renseignements quant aux ressources disponibles, indique quelques procédures standards et offrent quelques conseils généraux.

Présentation des ressources

Les différentes machines

Le Département fourni plusieurs machines permettant d'effectuer d'imposants calculs qui sont partagées entre les usagers. Ces machines sont dispersées en 4 différents endroits : labomat, labodms, labostat et la salle des serveurs. Bien que l'on retrouve ces machines en des lieux différents, elles sont toutes connectées entres elles grâce à un réseau et l'on peut se connecter à chacune d'entre elles à l'aide de la commande ssh. Veuillez prendre note qu'une politique d'utilisation régit l'utilisation du réseau.

Afin d'éviter de surcharger les machines et de ralentir vos calculs, vous devez choisir votre machine à l'aide de la commande simulation. Il suffit d'entrer dans un terminal (icône TerminalIcone.png) :

simulation

Cette commande renvoie l'utilisation de la mémoire vive des machines disponibles : plus le rapport associé à une machine est grand, plus celle-ci est occupée. Évidemment, les machines les moins utilisées devraient être priorisées pour vos simulations.

Les différents logiciels

En plus de plusieurs logiciels libres, le Département détient certaines licences de logiciels de haute performance. La plupart de ces [[1]] sont installés sur toutes les machines.

Également, afin d'éviter les erreurs de mises à niveau, les anciennes versions des logiciels sont toujours disponibles.

Consignes à respecter

Par courtoisie pour les autres usagers, un maximum de 3 simulations (processus) par machine par usager est autorisé. De plus, l'utilisation moyenne d'une machine ne devrait jamais dépasser sa « capacité moins 1 ». Autrement dit, la machine devrait pouvoir exécuter au moins 1 nouveau processus indépendant.

Par exemple, supposons que vous ayez choisi, pour lancer vos simulations, les machines uranus, jupiter et cougar. Supposons également que leur utilisation moyenne, telle que renvoyée par la commande simulation, soit donnée par

Machine        Utilisation
--------------------------
uranus         5.05 / 8.00
jupiter        2.04 / 8.00
cougar         0.51 / 2.00

Dans le respect des consignes, vous pouvez démarrer un maximum de 2 simulations sur uranus, 3 sur jupiter et 1 seule sur cougar.

Quelques procédures

Exécuter un processus en arrière-plan

Une fois branché à une machine, vous pouvez démarrer une simulation sur celle-ci en arrière-plan (batch) : de cette façon, votre programme continuera de fonctionner même lorsque vous serez débranché de la machine ou lorsque vous aurez quitté votre session de travail (Log out). Pour lancer votre simulation <script> en arrière-plan, entrez

<programme> [options] <script> &

<programme> est le programme exécutant votre script (R, MATLAB, etc.) et [options] sont les paramètres à passer au programme. À la toute fin, l'esperluette (« & ») indique à Linux d'exécuter le tout en arrière-plan. Lorsque la commande est entrée, un numéro d'identification correspondant à votre simulation est retourné : il s'agit du PID. Si vous souhaitez arrêter votre simulation, vous aurez besoin de ce numéro.

Par exemple, pour démarrer le script R nommé prog.R, il suffit de taper

R CMD BATCH prog.R &

Le système vous retourne ensuite le PID associé :

[1] 10369

Retrouver le PID d'un processus

Si vous avez perdu le PID associé à un processus s'exécutant en arrière-plan, vous pouvez toujours le récupérer à l'aide de la commande ps.

ps

Cette commande vous retourne tous les processus en cours d'exécution et leur PID. Il vous suffit alors d'identifier le processus associé à votre simulation.

Arrêter une simulation

Si vous connaissez le PID d'un processus en cours d'exécution, vous pouvez toujours l'arrêter à l'aide de la commande kill.

Pour arrêter le processus ayant pour PID 10369, vous n'avez qu'à entrer

kill 10369

Remarques importantes

  • Après vous être déconnecté d'une machine où vous venez de démarrer une simulation, les messages que cette dernière pourrait afficher à l'écran sont perdus : vous devez donc prendre soin d'enregistrer les résultats de votre simulation dans un fichier, sur votre compte. De plus, si vous lancez plusieurs simulations à la fois, assurez-vous que chacune utilise un ensemble distinct de fichiers : ceci évitera de potentiels problèmes d'accès et de perte de données. Par exemple, la simulation script1 pourrait utiliser res_1.csv et dat_1.csv pour enregistrer ses résultats, alors que simul2 pourrait utiliser res_2.csv et dat_2.csv.
  • Si vos calculs font appel à des nombres aléatoires, assurez-vous que chacune de vos simulations utilise des graines (seeds) différentes pour le générateur de nombre aléatoires, sinon vous obtiendrez des résultats identiques pour toutes vos simulations.


Calculs en parallèle

Lorsque vos calculs s'y prêtent (opérations sur matrices et vecteurs, boucle avec itérations indépendantes, etc.), l'exécution de votre script en parallèle peut être très avantageuse.

Plusieurs des logiciels les plus utilisés au Département pour les simulations comportent des extensions qui permettent la parallélisation, notamment R et MATLAB. Consultez les pages dédiées à ces logiciels pour plus de détails.

Travailler à distance

Windows

Si votre ordinateur personnel utilise Windows, vous devrez d'abord télécharger PuTTY ainsi que FileZilla ou NetDrive. Le logiciel PuTTY sert à vous connecter au réseau du DMS et à émuler le terminal de commandes Linux. Les logiciels FileZilla et NetDrive sont deux logiciels vous permettant de transférer des fichiers de votre ordinateur personnel vers votre compte au DMS, et vice-versa.

En combinant ces programmes, vous pouvez ainsi travailler à distance sur votre script de simulation, télécharger celui-ci sur votre compte au DMS, le démarrer sur une (ou plusieurs) machine(s) du Département et ensuite télécharger les résultats de la simulation sur votre ordinateur personnel.

Consultez les pages PuTTY et FileZilla (ou NetDrive) pour les instructions de téléchargement, de configuration et d'utilisation.

Une fois branché au réseau, vous êtes prêt à démarrer une simulation.

Mac OS ou Linux

Si votre ordinateur personnel fonctionne sous Mac OS ou Linux, vous pouvez vous brancher au réseau grâce à la commande ssh :

ssh usager@ssh.dms.umontreal.ca

usager est votre identifiant au DMS. Pour télécharger vos fichiers, vous pouvez employer une version Mac ou Linux de FileZilla ou encore utiliser la commande scp.

Une fois branché au réseau, vous êtes prêt à démarrer une simulation.

Plus d'espace

Si vous avez un grand besoin d'espace pour vos données, vous pouvez les placer dans le répertoire NOBACKUP où vous avez droit à une limite inférieure (quota) de 10 Go et une limite supérieure de 15 Go.

Attention.png Comme son nom l'indique, aucune copie de sauvegarde n'est effectuée pour ce répertoire.

Voir aussi

Articles connexes


La dernière modification de cette page a été faite le 27 mai 2020 à 16:35.