Nuevos paquetes de R o Python para añadir al JupyterHub

[emiliom]

Añadan aquí los paquetes que utilizen en sus tutoriales, que no se encuentran ya disponibles en los entornos de Python y R en el JupyterHub. Para verificar si el paquete ya está incluído, consulten estos archivos por medio de una simple búsqueda (o pruébenlo directamente en JupyterLab o RStudio):

• Python:
  • conda-forge: https://github.com/oceanhackweek/jupyter-image/blob/main/py-base/pixi.toml (la lista exhaustiva está en este archivo, pero es algo abrumador)
• R:
  • conda-forge: https://github.com/oceanhackweek/jupyter-image/blob/main/r/conda-linux-64.lock
  • CRAN (bloque marcado en amarillo): https://github.com/oceanhackweek/jupyter-image/blob/main/r/Dockerfile#L80-L89
  • GitHub (bloque marcado en amarillo): https://github.com/oceanhackweek/jupyter-image/blob/main/r/Dockerfile#L90-L99

Si no aparece ahí el nombre del paquete, por favor inclúyanlo en este issue lo antes posible. Yo lo añadiré a la "imagen" correspondiente.

Por cada petición de paquetes, incluyan:

• Python o R?
• Nombre del paquete
• Se encuentra en conda-forge? Pueden consultarlo aquí https://conda-forge.org/feedstock-outputs/. Incluir el nombre exacto usado en conda-forge, incluyendo letras mayúsculas o minúsculas
• Si no está en conda-forge, donde se encuentra? CRAN? PyPI? GitHub? Incluir el enlace a la fuente del paquete, y el nombre exacto usado en esa fuente. Si es en GitHub, incluyan el enlace al repositorio
• Una complicación con los paquetes de R que no están en conda-forge es que parece que la resolución de dependencias no funciona bien. Entonces, tenemos que extraer manualmente la lista de dependencias del paquete, para incluirlas explícitamente. Hay más detalles sobre esto en los intercambios del hackatón 2023, aquí: Nuevos paquetes de R o Python para añadir al JupyterHub #1 (comment)

Referencia: El issue del 2023, #1

[ysantanaf]

Hola Emilio,

En mi tutorial sólo uso (en python), todos están en conda-forge:

pandas
xarray
matplotlib.pyplot
cmocean
subprocess
scipy.interpolate
seaborn

[emiliom]

Muchas gracias @ysantanaf ! subprocess es parte de la libreria estandard de Python. Me aseguraré de incluir todos los demás paquetes en la próxima actualización del hub, que espero hacer en las próximas horas.

[emiliom]

• Python: Añadir el JupyterLab language pack de español, jupyterlab-language-pack-es-es, de conda-forge. En el 2023 también añadí el pack de portugués, jupyterlab-language-pack-pt-br, así que tal vez vale la pena añadirlo otra vez.
• R: Remover r-keras, porque aparentemente hace que la imagen docker de R sea mucho más grande y eso causa problemas en el CI con frecuencia.

[juliajaca]

Hola Emilio,

Yo necesitaría copernicusmarine. Está en conda forge, para Python
https://anaconda.org/conda-forge/copernicusmarine

Gracias

[LauraGomezNavarro]

Hola @emiliom ,

Muchas gracias!

A mi solo me falta el paquete papermill de python.

conda install conda-forge::papermill

Gracias,

Laura

[emiliom]

Paquetes a añadir o remover hoy:

• Python (todos de conda-forge)
  • jupyterlab-language-pack-es-es
  • jupyterlab-language-pack-pt-br
  • copernicusmarine
  • papermill
• R
  • r-keras - REMOVER

[emiliom]

Los nuevos paquetes ya están en el entorno del hub.

[MarinaSanzM]

Hola Emilio,

Mis paquetes están casi todos en CRAN excepto estos dos que pongo aquí abajo. No obstante, como no estoy muy familiarizada github y jupyter no estoy completamente segura. Te mando también un e-mail.

devtools::install_github("JorGarMol/VoCC", dependencies = TRUE, build_vignettes = TRUE)
Otra opción si las anteriores no funcionan install.packages("remotes")
remotes::install_github("JorGarMol/VoCC")
library(rgeos) # recientemente ha dejado de estar en CRAN

¡Muchas gracias!

[emiliom]

Hola Marina.

• JorGarMol/VoCC. Planearé añadirlo al entorno el lunes. Confirmé que no hay un paquete de conda, y el repo de GitHub es https://github.com/JorGarMol/VoCC
• r-geos ya está en el entorno por medio del paquete en conda-forge

[emiliom]

@MarinaSanzM el paquete JorGarMol/VoCC ya está instalado en el entorno de R. Probalo, para confirmar que funciona. La instalación de paquetes de R en el JupyterHub es un poco menos robusta que la de Python.

[emiliom]

De @hvillalo : Solicito tu ayuda para instalar los siguientes paquetes de R en JupyterHub:

• lubridate
• smooth
• devtools
• satin [desde github: install_github("hvillalo/satin")]

[emiliom]

Hola Héctor. lubridate, devtools y satin ya están en el entorno (desde el evento del 2023). smooth, parece que no, a menos que sea lo mismo que el paquete r-kernsmooth. ¿Podrías confirmar que es un paquete diferente?

[MarinaSanzM]

@MarinaSanzM el paquete JorGarMol/VoCC ya está instalado en el entorno de R. Probalo, para confirmar que funciona. La instalación de paquetes de R en el JupyterHub es un poco menos robusta que la de Python.

Hola Emilio,

el paquete VoCC no funciona ni con 2i2c en jupyter ni en Rstudio.
Haciendo esto en RStudio sí funciona, ya está subido y probado:
install.packages("remotes")
remotes::install_github("JorGarMol/VoCC")

Con RStudio no hay problema en subir mi RMarkdow, abrirlo y que funcione. El problema es que no puedo subirlo directamente al lab de jupyter, ¿hay algún modo de hacerlo sin tener que escribirlo todo de nuevo?

Por otro lado, dado que no puedo subir datos grandes, he optado por obtenerlos de un repositorio de GitHub (del autor del paquete VoCC), por lo que también necesaré el paquete gridExtra.

Mil gracias Emilio, y muchísimas gracias a Julia por ayudarme a hacerlo funcionar todo.

Marina

[MarinaSanzM]

Ah! he creado una carpeta en Talleres intermedios que no logro borrar, si alguien pudiese borrarla, os lo agradecería. Esta carpeta ya está dentro de 17 Octubre. Gracias.

[emiliom]

Marina, el paquete gridextra ya estaba incluido en el entorno de R.

Qué bueno que se puede instalar JorGarMol/VoCC directamente desde RStudio sin problemas. La instalación de paquetes desde github en el hub a veces causa problemas. Si tengo tiempo, investigaré el problema con ese paquete

[hvillalo]

Hola Héctor. lubridate, devtools y satin ya están en el entorno (desde el evento del 2023). smooth, parece que no, a menos que sea lo mismo que el paquete r-kernsmooth. ¿Podrías confirmar que es un paquete diferente?

Gracias Emilio! smooth es un paquete diferente.

[emiliom]

Hector, entonces es este paquete en CRAN?
https://cran.r-project.org/web/packages/smooth/index.html

[hvillalo]

si, gracias!

[emiliom]

Hector, he solicitado el cambio (2i2c-org/infrastructure#4965), pero surgió un problema en el sistema. Probablemente es pasajero y nada serio, pero sospecho que no lo resolverán hasta mañana.

[emiliom]

El paquete smooth ya fue añadido al entorno.

[MarinaSanzM]

Hola Emilio, también necesitaré el paquete rasterVis, no estoy segura de si ya está instalado o no porque no he localizado cómo buscarlo. Muchas gracias.

[MarinaSanzM]

Perdona, la librería funciona bien en el R de jupyter, así que probablemente ya estaba instalado. Mi RMarkdown parece que funciona sin problemas. Gracias por todo Julia y Emilio!

[emiliom]

@hvillalo escribió:

@emiliom, ya pasé mi tutorial al JupyterHub y me indicó que faltaban de instalar los paquetes satin (preferiría la versión de github: "hvillalo/satin") y smooth (de CRAN), aunque hace días los agregaste. Lo intenté yo (incluyendo "hvillalo/periods" porque añadí un último ejemplo) y mis dos paquetes (satin y periods) se instalaron sin problema, pero ignoro si los participantes deberán también hacerlo por su cuenta. En cambio 'smooth' falló por dos dependencias nloptr y greybox. Tendrás aun tiempo de ayudarme? Gracias de antemano y perdón por la premura...

[emiliom]

Héctor, no sé que pasa con los paquetes satin y smooth, especialmente satin. Ha estado instalado en el entorno (tomado de CRAN) desde el evento del año pasado, y creo que no tuviste ningún problema en ese entonces. Lo puedo cambiar al de github, https://github.com/hvillalo/satin, y ver que pasa.

Las dos dependencias de smooth están en CRAN:

• nloptr: https://cran.r-project.org/web/packages/nloptr/index.html. También en conda-forge, https://anaconda.org/conda-forge/r-nloptr
• greybox: https://cran.r-project.org/web/packages/greybox/index.html

Y el otro paquete nuevo, periods, de github: https://github.com/hvillalo/periods

Voy a crear un PR esta noche para hacer estos cambio, pero existe la posibilidad que no sea implementado a tiempo para el evento mañana. Probablemente sí lo harán, pero no hay garantía.

[hvillalo]

Gracias Emilio. Hay problema en que los participantes hagan lo mismo que yo (instalar desde RStudio en JupyterHub, al menos 'satin' y 'periods')? No llevó nada de tiempo y funcionó sin problemas. En el caso de 'smooth' ya preparé un plan B para mañana.

[emiliom]

Perfecto. Si te funcionó en el hub, a los participantes también les funcionará.

[hvillalo]

excelente! gracias

[emiliom]

@hvillalo implementé todos los cambios en el hub, y ya los integraron. Con suerte funcionan bien sin necesidad de que instalés las librerías, pero si no, vos ya tenés la solución.

[emiliom]

Mejoras a los entornos:

• Instalar pandoc en entorno Python, para el tutorial de Laura sobre informes con Python.
• @ysantanaf , recomendás que instalemos cdo también?
• pip no está instalado en el entorno Python? Talleres_intermedios#7
• Problemas con paquetes de R instalados pero que no funcionan Talleres_intermedios#6