Bases para el periodismo de datos

Dado que todxs -menos uno- sois periodistas, nos vamos a saltar la introducción al periodismo de datos ya que creo que es mejor que vayamos al turrón. directamente.

La introducción que normalmente realizo –en construcción- la podéis encontrar aquí.

En la terminal se introducen comandos que ejecutan programas CLI, acrónimo que obedece a Command Line Interface o interfaz de línea de comandos.

En los entornos gráficos o interfaces gráficas hay programas GUI, acrónimom que responde a Graphic User Interface o intefaz gráfica de usuarix.

Pero también hemos trabajado -de hecho lo hacemos todos los días- con interfaces NUI (Natural User Interface o interfaz natural de usuarix) como pueden ser las pantallas capacitivas multitáctiles, Kinect –con el movimiento– o Siri o Alexia –con el reconocimiento de lenguaje natural–.

Al inicio de los ordenadores, solo había líneas de comandos para comunicarnos con ellos. Bell Telephone lanzó en 1969 V1 sobre UNIX Timeshare System. UNIX tenía la shell sh que era la única forma de comunicarse con el ordenador.

Así fue hasta 1973, cuando Las GUI fueron desarrollados en el Centro de Investigación de Xerox en Palo Alto (Palo Alto Research Center, PARC).

Tiempo después, Apple pagó para estudiar la idea, que finalmente se concreto en su GUI.

El MIT desarrolla una GUI para Unix en 1986, X.

El sistema XFree86 de Linux se desarrolló en 1996, una implementación libre del original X, al que homenajea en el nombre.

• Ahorras tiempo, muuuuucho tieeeeempo
• Te ofrecen una alternativa a las GUI.
• Te acercan más a cómo funcionan los sistemas POSIX.
• Funcionas con atajos compartidos.
• Te preparan para la programación.
• Aprendes otra forma de hacer las cosas.
• Te empodera.

Abrimos la terminal. Entiendo que si tienes GNU/Linux, sabes hacer esto, pero si no, basta con buscar terminal entre los programas que tenemos instalados.

Lxs usuarixs de MacOSX lo tienen aparentemente más fácil dado que tienen un programa llamado Terminal (Utilidades –> Terminal) que es un buen comienzo. En versiones anteriores de MacOSX puede haber problemas o inconvenientes, ya sea porque no esté activado XCode o porque sea difícil hacerlo.

Aunque versiones modernas –Windows 10– proveé una terminal, lo haremos con un programa llamado Cygwin que ofrece una completa emulación de terminal POSIX en Windows que a la postre puede resultar incluso más fácil de usar que la de Mac.

Hemos de hacer 4 pasos:

• Descarga del programa.
• Instalar apt-cyg y con ello el resto de paquetes con los que queremos trabajar.
• Instalar nano como editor por defecto en vez de vi.
• Cambiar la variable db_home para acceder a la estructura de directorios de Windows.

Salvo la descarga del programa en sí, el orden de las siguientes tareas responde a nuestros intereses. Lo explicamos.

La consola viene con un conjunto de paquetes básicos. Para usar más paquetes, en el momento de la instalación del setup, tenemos que elegir los paquetes.

Instalamos nano porque necesitamos un editor de textos en la consola, un editor de textos CLI que nos aporta velocidad y precisión. Y necesitaremos más.

Una vez que lo instalamos, empezamos a utilizar Cywgin. Pero, ¿qué pasa si quermeos otro programa? Que hemos de cerrar Cywgin y volver a correr el instalador.

Podrías pensar que "¿por qué no instalar todos de una sola vez?", porque es una mala práctica, no tiene sentido y ocuparía muchísimo. Es como si para consultar un libro en una biblioteca tuvieras que descargarte todos…

Para facilitar este proceso utilizaremos apt-cyg, que es un gestor de paquetes –programas– para cygwin.

• nano, editor de texto.
• git, para trabajar con git, software de control de versiones.
• imagemagick, para manipular imágenes.
• emacs, editor de texto.
• python, para trabajar con Python.
• R, para trabajar con R.
• perl, para trabajar con perl.
• ruby, para trabajar con ruby.
• tesseract, herramienta de reconocimiento óptico de caracteres (OCR), con los paquetes en inglés y español dado que son los idiomas más habituales.
• grep, para realizar búsquedas en el texto.
• pdfgrep: para realizar búsquedas en texto de pdfs.
• sgrep, para realizar búsquedas de texto en documentos SGML, XML o HTML.
• awk y gawk, para procesar texto.
• sed, para editar flujos de texto.
• qpdf, para transformación de PDF
• xpdf, para visionar y otras operaciones con pdf
• odt2txt, para pasar un odt a txt.
• xlsx2csv, para pasar un xlsx a csv.
• p7zip, archivar y comprimir datos.
• gzip, compresor de datos
• unzip, descompresor de datos
• zip, compresor de datos
• lynx, visor web
• links, visor web
• curl, transferencia de archivos multiprotocolo
• wget, descargar archivos de la web
• less, paginador, similar a more

apt-cyg es un gestor de paquetes de Cygwin que funciona en línea de comandos. El nombre proviene de ser como un apt para Cygwin. Un APT (Advanced Package Tool) es un conjunto de herramientas para manejar los paquetes –programas– de los sistemas Debian GNU/Linux. Se ha hecho muy popular su funcionamiento y otros sistemas operativos lo han imitado porque permite:

• Instalar programas.
• Desinstalar programas.
• Actualizar programas.
• Resolver dependencias de los programas de forma automática.

Para instalarlo, tal como cuentan en su página web:

lynx -source rawgit.com/transcode-open/apt-cyg/master/apt-cyg > apt-cyg
install apt-cyg /bin

Cerramos Cygwin y volvemos a abrirlo.

Ahora ya podremos instalar un editor como nano como sigue:

apt-cyg install nano

De su ayuda, vemos el listado de opciones –argumentos– que tiene:

install

para instalar paquetes.

remove

para borrar paquetes.

update

descarga una copia de la lista de paquetes del servidor.

download

descarga los paquetes del servidor pero no los instala ni actualiza.

show

muestra información del paquete.

depends

muestra el árbol de dependencia de un paquete.

rdepends

produce un arbol de paquetes que dependen de ese. Produce a tree of packages that depend on the named package.

list

busca en los paquetes instalados coincidencias con esa expresión regular.

listall

buscará cada paquete en el listado de paquetes por coincidencias con esa expresión regular.

category

muestra todos los paquetes que forman parte de una categoría.

listfiles

lista los archivos que pertenecen a un paquete. Se pueden especificar varios archivos.

search

busca por paquetes descargados propietarios de uno o varios archivos.

searchall

busca en cygwin.com información sobre los paquetes. El objetivo es un archivo y searchall devolverá los paquetes que contengan ese archivo.

packageof

seguido de archivos o instrucciones, localiza paquetes que los contiene.

Por defecto, la home del usuarix de Cygwin es el directorio de instalación del programa.

Para disfrutar de Cygwin y acceder a todo el disco, debemos modificar la variable db_home en /etc/nsswitch.conf con nuestro editor nano:

nano /etc/nsswitch.conf

Y escribimos:

db_home: windows

O de forma equivalente:

db_home: /%H

Tened en cuenta que en los archivos de configuración, la almohadilla # que aparece al principio de línea significa que la línea está comentada, es decir, que no la va a leer el programa que quiera leerla para hacer algo.

Así que os pueden quedar varias líneas comentadas, incluso contad lo que habéis hecho en una línea comentada, para que cuando volváis a este archivo sepáis por qué esta línea es así:

Ahora modifico la línea de la variable db_home

De esta última manera puedes interpretar el esquema y hacer que estén dentro del subdirectorio cygwin, por ejemplo:

db_home: /%H/cygwin

Si a alguien no le funciona, puede proponer este otro método que proponen en página:

mkpasswd -l -p "$(cygpath -H)" > /etc/passwd

Esto sería un plus, no lo vimos pero podría hacerse según este blog.

En las propiedades del sistema, en la columna izquierda pincha en propiedades de sistema avanzadas para abrir la ventana de propiedades.

En la pestaña de avanzados, pincha en las variables de entorno abajo. Busca la variable path y pincha en editar. Al final, añadimos la localización de Cygwin:

;C:\Cygwin\bin

Nótese el punto y coma para separarlo de los valores anteriores.

Pincha en OK y cierra la ventana. En el prompt de windows ya puedes ejecutar comandos UNIX.

Para interrrumpir el curso de un comando, se puede pulsar a la vez las teclas de Ctrl y c, es decir, C-c

Ctrl + c

Para que esto no suponga un lío, lo habitual es presionar primero la letra Ctrl y, sin soltarla, pulsar c una vez. Luego soltar en orden inverso, primero la c y luego Ctrl.

Para limpiar la línea con algo que hemos escrito y podríamos borrar con la tecla de Backspace, podríamos pulsar la combinación de teclas C-u.

Ctrl + u

Se puede salir de la sesión con el comando exit o con la combinación de teclas C-d.

Esto fue algo que citamos pero que no hicimos, si alguien quiere adaptarlo a sus necesidades, bienvenido sea.

Se pueden hacer alias de los comandos e incluirlos en .bashrc. Por ejemplo:

Un alias de ls para que siempre que lo invoquemos haga ls -aF --color:

alias ls='ls -aF --color=always'

O un comando nuevo, por ejemplo ll, que lanza ls -l:

alias ll='ls -l'

Podemos renombrar un comando, como por ejemplo que grep sea search:

alias search=grep

O que al escribir .. subamos un directorio con cd ../:

alias ..='cd ../'

Pros y contras: hay personas que han personalizado tanto su consola que luego se van a otra y no se apañan. Conviene mantener un equilibrio entre ventajas e inconvenientes.

Dice cuál es la cuenta de usuarix que estás empleando:

whoami

Lista los archivos del punto en el que nos encontramos. Viene del inglés list. Si lo lanzamos sin argumentos, obtendremos un listado de los archivos y directorios que contiene ese directorio:

ls

ls [opciones] lista los archivos del punto en el que nos encontramos.

• -a, lista todos los archivos.
• -l, lista en formato largo

Para emplear argumentos, utilizaremos la estructura:

ls -a

Si queremos saber la información de cada archivo y directorio, lo haremos con la opción -l:

ls -l

pwd es el acrónimo de print working directory o muestra por pantalla el directorio de trabajo actual.

Es decir, imprime la ruta absoluta del sistema donde nos encontramos.

pwd

Con touch [archivo], creamos archivo vacío. Podemos usar una extensión o no, a bash le va a dar igual.

touch archivo-para-borrar

Cuando estoy probando, pongo ese tipo de nombres para saber claramente que lo podría borrar ya que si no lo hago inmediatamente, igual más tarde no sé de qué iba.

Ojo de no utilizar mayúsculas, caracteres que no sean ASCII –los ingleses– o espacios en blanco. Para separar palabras, podemos usar los guiones medios –los prefiero a los bajos por cuestiones prácticas, aunque en realidad se han utilizado más los guiones bajos o underscores– o la nomenclatura camelCase (lower, para que la primera palabra empiece por minúsculas.)

Este comando permite saber qué tipo de formato es el de cualquier archivo.

Así, si hacemos file sobre archivo-para-borrar, nos dirá:

archivo-para-borrar: empty

empty, vacío.

Si vemos un archivo con terminación txt o el .bashrc que hemos editado antes, dirá otra cosa:

/home/flow/.bashrc: ASCII text

Para crear un directorio, usamos mkdir, make directory. Si luego queremos ir a este directorio, tendremos que usar el comando cd.

Con cd cambiamos de directorio. Viene de las iniciales del inglés change directory. Si lo lanzamos sin argumentos vamos a nuestro espacio home definido en la variable de entorno HOME.

Para cambiar de directorio, podemos elegir la ruta absoluta o la relativa.

En sistemas *Unix, como son GNU/Linux o MacOSX, la ruta absoluta empieza por una barra / que sería la raíz del sistema, como el tronco del árbol de donde salen las ramas que son las distintas carpetas. Hay una jerarquía. Cada carpeta/directorio se separa con una barra /.

En los sistemas Windows, la raíz es C:\. Las carpetas o directorios se separan con la barra invertida \.

cd [ruta]

Con cp copiamos archivos y/o directorios.

cp [opciones] [origen] [destino]

• Con cp -r copia los directorios recursivamente
• Si queremos copiar varios archivos/directorios en un directorio, el último que ponemos es el destino.

Con mv un archivo o directorio completo. También sirve para renombrar, aunque para esto tenemos a rename.

mv [origen] [destino]

Si queremos ver o saber qué variables maneja el sistema, podemos verlas con el comando env.

env

Para ver una en concreto, usamos echo, que es un comando que nos devuelve lo que le pidamos. En este caso, le pedimos que nos devuelva una variable, por ejemplo, de configuración del aspecto del prompt de la línea de comandos:

echo $PS1

Con el carácter reservado de bash $ llamamos a una variable y con PS1 a esa en concreto.

• duckduckgo.com
• startpage.com
• searx, https://asciimoo.github.io/searx/
• uno francés.

Podemos listar todos los csv con el comodín *, ya que puede haber archivos con un carácter o varios.

ls *.csv

De esta manera listaremos todos los archivos csv, pero también #+BEGIN_SRC sh :output org ls *.csv

#+END_SRC

El comodín ? sirve para solo un carácter, cualesquiera. Por ejemplo, si tuviéramos archivos que solo difieren en un carácter, podemos listar ambos.

Imaginemos que tenemos archivos 1.pdf, 2.pdf, 3.pdf, etc. Podríamos listarlos con el comodín ?:

ls ?.pdf

El comodín corchetes cuadrados o [] permite buscar rangos de números o letras.

si queremos buscar en el csv tanto CLESA como BLESA, podemos escribir:

grep [B-C]LESA black-is-black.csv | wc -l

Taller de la conferencia de periodismo de datos de EE.UU. (NICAR) de 2013:

Harkening back to an earlier era of computing, the command line can easily seem like magic. Incantations are learned by rote, passed on by word of mouth from user to user, or written into arcane and impenetrable documentation. But live in fear no more! We will illuminate its nature and bind it to our use, navigating computers, manipulating files, and opening a comprehensible gateway to a world of pro-user and developer tools. Attendees should bring their laptops and be prepared to discover the Linux or Mac command line. (Note: Windows users may also learn transferable skills)

Esta sesión comienza con la explicación de un conjunto muy básico de comandos con los que nos moveremos por el sistema de ficheros. Progresivamente iremos viendo cómo se pueden usar otros comandos para hacer el tratamiento de los datos que podemos tener en nuestro sistema de ficheros, y como podemos automatizar muchas de estas tareas, tan necesarias cuando uno tiene que hacer preprocesamiento de datos.

Introducción a la línea de comandos de Django Girls. Django es un framework para el desarrollo web en Python. Vaya, ¿si se sabe de Python para qué se necesita Bash? Precisamente.

Aunque utilizamos teclados QWERTY –por la disposición de las teclas–, cada ordenador dispone otras teclas o caracteres en uno u otro lugar. O viceversa, aunque hay diferencias, hay un gran teclado común que podemos explotar si sabemos algo de mecanografía e incorporamos algunas otras teclas/caracteres.

Cada sistema operativo e incluso cada versión del sistema utiliza unas u otras formas de acceder al contenido. Debemos familiarizarnos con ello para mejorar la productividad.

También las aplicaciones tienen sus particularidades, pero hay unas normas de accesibilidad a las aplicaciones que sirven para que nos apoyemos en el teclado como vehículo de nuestra interacción con el ordenador/aplicación. Explotar esta relación hará que seamos más eficientes.

Como cualquier otra aplicación, se puede aprovechar esa accesibilidad. Pero además, traerá sus propios atajos o shortcuts. Una búsqueda apropiada en nuestro buscador favorito nos devolverá por seguro alguna referencia interesante. Merece la pena que empleemos algo de tiempo para con las aplicaciones que más a menudo utilizamos.

El contenido web en sí también cumple unos parámetros de accesibilidad, aunque en este caso es probablemente en el que menos se cumplen, en general. Una buena forma de probarlo es utilizar el tabulador para pasar del texto de un enlace a otro. Si la página está bien realizada, tendrá teclas de acceso al contenido o accesskeys.

http://openrefine.org/download.html

En esta sesión no pudimos avanzar por las distintas situaciones de cada uno de los equipos. Fundamentalmente:

• Actualización de la máquina virtual de Java.
• Aceptación del uso de aplicaciones "no seguras" por parte de MacOSX.

Para quienes lo vayan consiguiendo, les recomiendo echar un vistazo a mis apuntes sobre Refine.

curl es una herramienta para transferir datos de o hacia un servidor a través de uno de los protocolos soportados. Nos interesa porque soporta tanto HTTP como HTTPS. Para descargarnos un archivo sería:

curl https://nube.egelesta.net/s/PnCwxyeG8rr23oL/download > data/comercios-madrid.csv

De esta manera, redirigimos la salida estándar al archivo deseado. También podríamos haberlo hecho con curl -o nombre-archivo url:

curl -o data/comercios-madrid.csv https://nube.egelesta.net/s/PnCwxyeG8rr23oL/download

O -O si no quisiéramos cambiar su nombre:

curl -O https://nube.egelesta.net/s/PnCwxyeG8rr23oL/download

Si quisiéramos descargar de una sola vez varios archivos, podríamos poner sus URLs una tras otra después de la opción -O antes de cada URL:

curl -O url1 -O url2 -O url3

Otras dos opciones interesantes son, la de -C para continuar una descarga que se paró, y la de -z para descargar de nuevo un archivo si se ha modificado en una fecha dada.

curl -z -21-dic-11

wget es otro programa creado para descargar archivos. La estructura sería la siguiente:

wget -O ruta-local URL

Con la opción -O damos nombre al archivo que descargamos.

Fue de los primeros comandos que conocimos al descargar desde Windows apt-cyg. Se trata de un navegador web en línea de comandos pero se puede utilizar para descargar el código fuente de una página, en estos casos un archivo csv, con la opción --source. Además, debemos llevar la salida estándar a un archivo para guardarlo.

lynx --source https://nube.egelesta.net/s/PnCwxyeG8rr23oL/download > nombre-archivo

Con wc (word count) podemos saber cuántas líneas tiene, cuántas palabras, cuántos caracteres o cuánto pesa:

El esquema de uso sería:

wc [opciones] archivo

Y las opciones son:

• -l, cuenta líneas
• -c, cuenta bytes
• -m, cuenta carácteres
• -w, cuenta palabras

Me interesa saber cuántas líneas tiene:

wc -l data/comercios-madrid.csv

Qué tipo de archivo es, para ello usamos file:

file data/comercios-madrid.csv

Para saber cuánto pesa de forma legible, usamos du con las opciones -sh:

du -sh data/comercios-madrid.csv

Donde:

• -h, pone los datos de forma comprensible.
• -s, resume.

Con head vemos la cabecera del archivo, las diez primeras líneas o filas:

head -1 data/comercios-madrid.csv

Aquí vemos algunas cosas:

• Que la primera línea es la cabecera del *SV, lo cual está bien.
• Que los valores de las celdas están entrecomillados para evitar problemas con lo que contienen.
• Que el separador o delimitador de cada valor es el punto y coma ;.
• Que al final de línea hay un símbolo ^M, que merece punto aparte.
• Que los caracteres con tildes no se ven correctamente, que merece punto aparte y que tiene que ver con la codificación del archivo que veíamos antes que era ISO-8859-1 en vez de ISO-8859-15 o UTF-8.

Tal como cuentan en stackoverflow, está causado por ser el carácter de final de línea de DOS/Windows. El comando dos2unix resuelve el tema:

dos2unix data/comercios-madrid.csv

Volvemos a pasar head, en esta ocasión solo con 3 líneas con la opción -3 para ver si ha funcionado:

head -1 data/comercios-madrid.csv

Dado que el archivo no es ISO-8859-15 o UTF-8 sino ISO-8859-1, no vemos los caracteres con tilde.

Para ello, pasamos el archivo a UTF-8 con iconv:

iconv -f ISO-8859-1 -t UTF-8 data/comercios-madrid.csv > data/comercios-madrid-utf-8.csv

Otra opción es hacerlo con uconv, que se encuentra en el paquete ruby-uconv, y que Jon Avrach señala como más potente que iconv para grandes archivos:

uconv --from-code ISO_8859-1 --to-code UTF8

Veamos si ahora se ven esos caracteres:

grep -rn Hostelería data/comercios-madrid-utf-8.csv | wc -l

Se encuentran 17016, luego se "ven" ;-)

Con tail vemos las diez últimas líneas/filas, a no ser que le pongamos la opción -n, donde n es el número de líneas/filas que podemos ver.

tail -3 data/comercios-madrid-utf-8.csv

Una opción que planteaba Óscar era, dadas las dimensiones del archivo, partirlo en trozos con split:

split -l 2000 data/comercios-madrid-utf-8.csv

Lo cual generará 76 ficheros, con nombres xaa, xab, etc., cada uno de ellos con 2000 líneas (excepto el último).

Para moverlos todos a un directorio, primero lo creamos:

mkdir data/comercios-split

Y luego los movemos:

mv x* data/comercios-split/.

Para hacer búsquedas sobre el texto.

Imaginemos que queremos saber cuántos locales de 100 Montaditos hay:

grep -i 'montaditos' data/comercios-madrid-datos-txt.csv |wc -l

La opción -i de grep es para indicarle que no discrimine por mayúsculas o minúsculas, que encuentre todas.

De estos 47 locales en Madrid capital, nos gustaría saber cuántos están en el distrito centro:

grep -E 'MONTADITOS' data/comercios-madrid-datos-txt.csv | grep -Ec 'CENTRO'

Un total de 14 locales, casi un tercio del total.

14

Para extraer otras columnas, podemos ayudarno si sabemos cuántas columnas tiene. Para ello, dado que sabemos que utiliza el delimitador ;, podemos contar cuántas veces aparece en una línea:

head -1 data/comercios-madrid-utf-8.csv | fgrep -o ";" | wc -l

La opción -o de fgrep busca solo esa cadena.

En esta web, he encontrado esta opción con sed:

head -1 data/comercios-madrid-utf-8.csv | sed 's/[^;]//g' | wc -c

Utiliza sed para borrar de la primera línea todo menos los punto y coma, y luego los cuenta. Más adelante vemos un poco de sed.

Con cut podemos seleccionar columnas del archivo. Imaginad que nos interesan las columnas -los campos- número 3, de distrito; 5, de barrio; 32, de rótulo; 34, de sección; 36, de división; y 38, de epígrafe:

cut -f 3,5,32,34,36,38 -d ';' data/comercios-madrid-utf-8.csv > data/comercios-madrid-datos-txt.csv

Si hubiéramos querido campos seguidos, podríamos haber combinado las comas para separarlos con el guión para los rangos. Por ejemplo, si quisiéramos los campos del primero al quinto más el décimo:

cut -f 1-5,10 -d ';' data/comercios-madrid-utf-8.csv > data/comercios-1-5-10.csv

Se pueden seleccionar todos los campos menos uno, dos y/o un rango:

cut -d ';' --complement -s -f 7-38

De esta forma, no tendremos los campos del 7 al 38.

También se puede cambiar el delimitador con la opción --output-delimeter:

cut -d ; --complement -s -f 3-5,6-33 --output-delimeter ',' data/comercios-madrid-utf-8.csv

Se utiliza para modificar el texto.

Fundamentalmente hay tres familias de formatos de datos, que también son formatos de intercambio de datos:

• *SV, valores separados por algo.
• *ML, lenguajes de marcado.
• JSON, JavaScript Object Notation, notación de objetos JavaScript.

En general, tratamos con:

• Números enteros o integers
• Decimales, flotantes o floats
• Cadenas -de caracteres- o strings
• Booleanos: verdadero o falso
• Null: datos nulos
• Otros objetos

No

Sí, lo vemos.

Para muestra, un botón:

(Citado en esta presentación)

Se muestra el tiempo que emplean distintos lenguajes en búsqueda de patrones de expresiones regulares. grep y awk ganan ampliamente.

Si da tiempo, veremos datawrapper.

Si ya te has acostumbrado a apt-cyg para Cygwin, Chocolatey hace lo mismo para Windows, es decir, es un gestor de programas para Windows.

Con seq podemos crear una secuencia de números.

seq 1 10000 > data/diez-mil.txt

De esta manera, creamos un archivo txt con 10000 líneas con los números de 1 a 10000.

Sipones un número entre medias es el intervalo. Por ejemplo:

seq 1 100 10000 > data/diez-mil-de-cien-en-cien.txt

Crea un archivo con números de 1 a 10000 cada 100.

• csvkit

Para esto necesitamos una cuenta de Google y abrir una nueva hoja de cálculo.

Con importHTML() podemos llevar a esa hoja de cálculo los datos de una tabla o de un listado de una página web. Para ello conviene tener ciertas nociones de HTML.

Los elementos HTML que se ven afectados son table (tabla), ul, ol y dl (listados).

• ul, que corresponde a unordered list o lista desordenada, la típica lista donde cada elemento aparece con un punto o un guión.
• ol, que corresponde a ordered list o lista ordenada, donde los elementos del listado aparecerán ordenados, bien numérica o alfabéticamente, por ejemplo.
• dl, corresponde con description list, listas de descripciones
• table, corresponde con una tabla de datos tabulados.

Construiremos la función IMPORTHTML con la url entrecomillada, separado por punto y coma y entrecomillado el elemento del que queremos sacar la información, bien una lista list o una tabla table, seguido del número de elemento en la página de su mismo tipo, separado por otro punto y coma:

=IMPORTHTML("URL";"list|table";n)

Una vez que hemos probado importHTML() vamos con importXML(). Si la primera tenía tres argumentos, en esta segunda solo son dos, pero el segundo puede ser muy simple o muy complejo.

El esquema es:

IMPORTXML("url";"consulta-xpath")

Como vemos, el primer argumento es la URL sobre la que queremos obtener datos y el segundo es la consulta xpath.

XPATH es el acrónimo de XML Path o ruta XML. Es decir, se trata de identificar los nodos de un archivo XML. La web son archivos HTML pero al ser renderizados por el navegador crea un DOM (Document Object Model, modelo de objetos de documento) como un árbol de objetos que puede ser leído por XPATH.

Algunos ejemplos:

• "nombre_del_nodo", selecciona todos los nodos con ese nombre
• /, selecciona del nodo root.
• //, selecciona nodos en el documento desde el nodo actual que coincide con la selección, sin importar donde se encuentran.
• ., selecciona el nodo actual
• .., selecciona el nodo padre del nodo actual.
• @, selecciona atributos

Se pueden consultar mis apuntes de Scraping. Si queréis aprender web scraping, XPATH es el camino.

• https://blog.scrapinghub.com/2016/10/27/an-introduction-to-xpath-with-examples
• https://stackoverflow.com/questions/7361229/data-scraping-with-wget-and-regex
• http://scraping.pro/xpath-review/
• https://www.joyofdata.de/blog/using-linux-shell-web-scraping/
• https://stackoverflow.com/questions/19098315/httrack-wget-curl-scrape-fetch

Por defecto, bash y git vienen con el editor vi por defecto. Para cambiarlo, tal como explican en stackoverflow, podemos hacerlo en una o en ambas.

Para activar el resaltado de sintaxis en nano enlazamos en el archivo de configuración de nano los archivos adecuados.

Primero comprobamos que están en /usr/share/nano. Si no está, podemos descargarnos unos archivos de configuración que encontramos en este repositorio:

git clone https://github.com/scopatz/nanorc.git

Ahora que ya están, se puede editar el archivo de configuración de nano, .nanorc con nano ~/.nanorc:

include "~/.nanorc

• Copia de seguridad automatizada.
• Registros de bases de datos.
• Sincronización de información.

Para editar el archivo propio de tareas, se hace con crontab -e:

crontab -e

Esto abrirá nuestro archivo de configuración de crontab con nuestro editor CLI que tengamos especificado en la variable $EDITOR. Si no tenemos a nano, se puede usar el comando export para establecer la variable.

export EDITOR=nano

Para eliminar el archivo de crontab, tan solo hay que borrarlo con la opción -r:

crontab -r

Se escriben cinco asteriscos separados por espacio o tabulación. En cada uno de los asteriscos se ponen valores para marcar el tiempo de ejecución del cron, en este orden:

• Minutos.
• Horas.
• Día en el mes.
• Mes.
• Día en la semana.

A continuación, va el comando a ejecutar.

Vamos a crear un script para crear una tarea:

nano scripts/fecha.sh

Y el contenido es:

#/bin/bash

date >> /tmp/fecha.log

Cambiamos los permisos de este archivo para hacerlo ejecutable:

chmod u-x scripts/fecha.sh

Lo ejecutamos para comprobar que funciona:

.scripts/fecha.sh

Y a su vez comprobamos que ha resultado con cat:

cat /tmp/fecha.log

Si en vez de cada minuto queremos hacerlo cada 10 minutos, hemos de fraccionarlo por 10:

*/10 * * * * /home/flow/scripts/fecha.sh