Travail reproductible avec packrat

# Travail reproductible avec **packrat**

## R à Montréal 2018

# J.P. Le Cavalier, .small-caps[acas, aica]

# 5 juillet 2018

???

- Ma vie personnelle (un peu)
- Mon parcours académique
- Mon parcours professionnel jusqu'à maintenant
- Ma motivation (R à Québec)
- L'objectif de ma présentation : Convaincre que l'utilisation de **packrat** permet de rendre un projet plus facilement isolable, transportable et reproductible
- Super important, particulièrement quand on veut mettre un projet dans la chaîne de production

---

???

- Éthymologie des mots, particulièrement les noms de paquetage
- Famille de petits rongeurs appelée **Neotoma** dont fait partie le rat à queue touffue (mon préféré)

Image credit: [Odyssey](https://www.theodysseyonline.com/9-struggles-of-being-pack-rat)

---

???

- Expression anglophone désignant un accumulateur compulsif (**syllogomanie**)

Image credit: [The Corvallis Advocate](http://www.corvallisadvocate.com/2013/0117-hoarding-officially-a-disorder)

---

# Gestion classique des paquetages en R

---

background-image: url("pics/package-classic.pdf")
background-size: 80%
background-position: 50% 80%

# Ce que l'actuaire pense

???

- Rien de compliqué, il y a des paquetages inclus avec la distribution et des extensions téléchargeables à la pièce

---

background-image: url("pics/package-multi-user.pdf")
background-size: 80%
background-position: 50% 80%

# Ce que l'équipe d'actuaires pense

???

- Complication : Les paquetages ajoutés à la pièce sont, par défaut, installés dans le répertoire personnel de l'utilisateur qui exécute l'installation
- On peut altérer ce comportement en créant des librairies partagées entre utilisateurs
- Peut être tannant si différent utilisateurs veulent utiliser différentes versions d'un paquetage (version stable du CRAN vs version développement de GitHub)

---

background-image: url("pics/package-shared-project.pdf")
background-size: 80%
background-position: 50% 80%

# Ce que l'équipe agile d'actuaires pense

???

- On admet qu'un projet pourrait être utilisé par différents utilisateurs au besoin
- Les différences dans les différentes librairies personnelles des utilisateurs peuvent changer le comportement d'un programme

---

background-image: url("pics/package-implementation.pdf")
background-size: 80%
background-position: 50% 80%

# Ce que l'équipe d'intégration pense

???

- Déjà des problèmes quand on pense au développement, imaginez si on regarde l'intégration d'un tel programme
- Impossible de copier/coller la librairie d'extensions de paquetage, dépend du système d'exploitation

---

# Ce que c'est réellement...

???

- On n'a même pas parlé de :
 - Les différents entrepôts de paquetages qui existent
 - Les dépendances à des paquetages du système d'exploitation
 - L'appel de R à partir d'autres programmes

---

background-image: url("pics/barney-gun-mouth.gif")
background-size: 60%
background-position: 50% 60%

# Ce que c'est réellement...

---

# Les problèmes?

???

- On aborde 3 problèmes majeurs qu'on rencontre quand on veut mettre du R en production

---

# Les dépendances

???

- La dépendance d'un projet à l'autre
- La dépendance entre les différents utilisateurs
- On veut s'assurer que le fait de mettre à jour un paquetage pour un projet n'influencera pas les autres projets

Image credit: [CBC Advisors](http://cbcadvisors.com/heroimage_services_international/)

---

# La portabilité

???

- Collaboration entre utilisateurs sur différentes plateformes
- Particulièrement Windows qui installe des *.dll un peu partout

Image credit: [Designers Pics](http://www.designerspics.com/photographs/chained-hands/)

---

# La reproductibilité

???

- On veut s'assurer que le projet soit reproductible dans le temps, peu importe comment les différents paquetages utilisés évoluent individuellement
- Jamais un enjeu à court terme, doublement plus compliqué à gérer quand ça arrive

Image credit: [NRI Achievers](http://nriachievers.in/andhra-pradesh-became-the-first-indian-state-to-launch-dna-index-system-for-profiling-of-criminals/)

---

# Les solutions!

???

- Il existe des solutions autres que l'utilisation de `packrat`, mais elles sont moins *clean* à mon goût

---

background-image: url("pics/package-self.pdf")
background-size: 80%
background-position: 50% 80%

# Systèmes isolés

???

## Avantages
- Règle le problème de l'isolement
- Permet de choisir individuellement tous ses paquetages

## Désavantages
- Contraintes opérationnelles tannantes (plusieurs sources de problèmes potentiels)
- Non transportable d'un OS à l'autre
- Non reproductible (on ne garde pas les sources des paquetages)

---

background-image: url("pics/package-mran.pdf")
background-size: 80%
background-position: 50% 80%

# Microsoft R Application Network (MRAN)

???

- Photo quotidienne du CRAN depuis le 17 septembre 2014
- Déjà une solution pas si mal en entreprise
- Règle les trois problèmes, mais...

## Avantages
- Cohérence entre les utilisateurs
- Reproductiblité
- Simplicité
- Structure similaire aux autres logiciels commerciaux

## Désavantages
- Contrainte d'un projet à l'autre (préférable d'utiliser la même photo avec tous les projets)
- Contrainte dans le même projet si on veut faire évoluer certains paquetages
- Moins transparent au niveau du projet (la date de la photo pourrait être gérée au niveau du système par exemple)

---

# Packrat

---

???

- On combine les deux définitions et on obtient un bel aperçu du package **packrat**
- On peut voir le rat comme un projet qui trâine ses propres packages au lieu de les trouver dans la nature
- Objectif de la présentation : Convaincre que l'utilisation de **packrat** permet de rendre un projet plus facilement reproductible

Image credit: [Jennifer Buxton](http://braymere.blogspot.com/2013/02/pack-rats.html)

---

background-image: url("pics/package-packrat.pdf")
background-size: 80%
background-position: 50% 80%

# Accès aux paquetages

???

- Paquetages isolés par projet

---

---

# Comment ça marche?

???

- Principales fonctions
- Exemple simple

---

# Répertoires créés par `packrat`

- `packrat/lib/`  
 Installation des paquetages requis du projet
 
- `packrat/lib-ext/`  
 Installation des paquetages externes (utilisateur)
 
- `packrat/lib-R/`  
 Liens symboliques vers les paquetages de la distribution de `R`

- `packrat/src/`  
 Fichiers sources pour installer les paquetages requis
 
???
 
- Au minimum, le paquetage `packrat` est requis par le projet
- `lib-ext` est souvent utilisé pour les gros paquetages et ceux qui ne sont pas directement reliés au projet (par exemple `devtools`, `knitr`, `Rmarkdown`)

---

# Fichiers créés par `packrat`

- `packrat/packrat.lock`  
 Information sur les paquetages requis

- `packrat/packrat.opts`  
 Options du paquetage `packrat`

- `packrat/init.R`  
 Le script pour passer en mode `packrat`

- `.Rprofile`  
 Le script lancé automatiquement à l'ouverture de `R` qui appelle `packrat/init.R`

---

# `packrat/packrat.lock`

```r
PackratFormat: 1.4
PackratVersion: 0.4.9.1
RVersion: 3.5.0
Repos: CRAN=https://cran.rstudio.com/
  
[...]
  
Package: Rcpp
Source: CRAN
Version: 0.12.17
Hash: d2eff4634ccd7aca030c540ad805ac4a

[...]

Package: callr
Source: CRAN
Version: 2.0.4
Hash: ae3d74ab94396fc7f6b879f17fb71a12
Requires: R6, processx

[...]
```

---

# `packrat/packrat.opts`

```r
auto.snapshot: FALSE
use.cache: FALSE
print.banner.on.startup: auto
vcs.ignore.lib: TRUE
vcs.ignore.src: FALSE
external.packages: 
local.repos: 
load.external.packages.on.startup: TRUE
ignored.packages: 
ignored.directories:
    data
    inst
quiet.package.installation: TRUE
snapshot.recommended.packages: FALSE
snapshot.fields:
    Imports
    Depends
    LinkingTo
```

---

# `init()`

1. Création de la librairie de projet

2. Photo des paquetages utilisés

3. Téléchargement des sources

4. Installation des paquetages

5. Redémarrage de la session `R` en mode `packrat`

???

- Pour toute cette section, je présente le comportement par défaut, on peut le modifier en jouant avec les paramètres

---

# `snapshot()`

1. Recherche des paquetages utilisés dans le projet

2. Prise d'une photo (incluant la version exacte des paquetages)

3. Téléchargement des sources

???

- Exceptions pour la photo des paquetages : paquetages de priorité *base* ou *recommended*

---

# `restore()`

1. Lecture de la photo créée par `snapshot()`

2. Téléchargement des sources manquantes

3. Suppression des paquetages absents

4. Mise à jour des paquetages n'ayant pas la même version

5. Installation des paquetages manquants

6. Redémarrage de la session `R`

???

- On utilise généralement cette fonction pour trois principaux rôles :
 - *Hydrate* : Installer les paquetages requis lorsqu'on copie le projet sur une nouvelle machine
 - *Sync* : Appliquer les changements apportés par un collaborateur qui aurait pris une nouvelle photo
 - *Rollback* : Retourner à une version stable antérieure lorsqu'une mise à jour tourne mal

---

# `clean()`

1. Recherche des paquetages utilisés dans le projet

2. Évaluation des dépendances des paquetages

3. Suppression des paquetages non requis

???

- Sert à réduire le nombre de dépendances pour le projet
- La phase d'exploration amène souvent le développeur à essayer différentes solutions qui peuvent requérir plusieurs paquetages
- Lorsque la phase d'exploration est terminée, on supprime les dépendances non nécessaires
- Plus on restrient les requis, plus le projet est efficace

---

# `bundle()` / `unbundle()`

1. Compresse les fichiers en format `*.tar.gz`

2. Décompresse les fichiers `*.tar.gz`

???

- Facilite la collaboration en partageant un fichier unique

- Les fichiers peuvent être décompressés avec la fonction `unbundle()` de `packrat`, avec la fonction `untar()` de `utils` ou avec la majorité des implantations `tar` des différents systèmes d'exploitation

---

# `on()` / `off()`

1. Permet d'activer ou désactiver le mode `packrat`

2. Ne supprime pas la photo actuelle ou les librarires du projet

---

# Quelques options intéressantes

- `auto.snapshot` : Photos automatiques lorsque les paquetages requis changent

- `use.cache` : Installation des paquetages en cache globale et partage entre les projets

- `external.packages` : Paquetages de l'utilisateurs à attacher

- `local.repos` : Entrepôt local de sources

- `ignored.packages` : Paquetages ignorés par `packrat`

- `ignored.directories` : Répertoires ignorés pour les recherches de dépendances

???

- Les options sont passées à l'aide de la fonction `set_opts()`

- Cas classiques pour `external.packages` : `devtools`, `knitr`, `xaringan`

---

# Exemple d'application

???

Prendre note que cet exemple n'est pas générée à même la présentation puisque ma présentation en soi utilise déjà le mode `packrat`. J'ai donc généré l'exemple dans une session `R` vanille qui n'utilise pas le mode `packrat` et copié les résultats en sortie dans la présentation.

---

# Exemple d'application

On commence par afficher les libraries qui sont attachées à la session active.

```r
.libPaths()
```
```
## [1] "/Library/Frameworks/R.framework/Versions/3.5/Resources/library"
```

---