El perfil académico 2013-2014 recomendado para trabajar con BigData (Checklist incluida)

Después del congreso "Vivir en un mar de datos" he visto como muchos compartimos la preocupación por el grado de formación que se ofrece/poseen los estudiantes en informática/teleco/software/computadores sobre las tecnologías BigData.

Como sabréis, me dedico plenamente al análisis de grandes volúmenes de datos desde hace bastante tiempo y he tocado muchos palos de esto llamado "BigData".

En este post voy a resumir a modo de opinión, cuales creo que son las habilidades principales que debería tener todo aspirante a formar parte del análisis de grandes volúmenes de datos, basándome en mis conocimientos, experiencias y en como va a ir encaminado el sector al menos, durante 2013-2014.

En este post me voy a centrar única y exclusivamente a la parte Software(o Gestión si vienes de la antigua) del BigData y veremos que competencias debe poseer a modo de CheckList que te serán muy útiles tanto si estás pensando en dedicarte a ello, o si requieres contratar perfiles adecuados.

---

CheckList - Perfil Académico BigData (Finales de 2013)

Debe ser un profesional que tenga una gran capacidad de cambio y sea capaz de enfrentarse a nuevos retos tecnológicos de manera eficiente. Esto significa que se va a enfrentar a tecnologías disruptivas muy a menudo y va a tener que adquirir las competencias de manera autodidacta.

Tiene que tener capacidad para visualizar soluciones que nunca antes han existido y demostrar mediante experiencias personales que son capaces de progresar, por muchos obstáculos que haya en el camino. De modo que tiene que tener espíritu emprendedor.

Competencias Ingenieriles

Tiene que saber programar en lenguaje de programación a objetos, a poder ser Java (hay muchos proyectos open source que utilizan este lenguaje de programación, por no decir la gran mayoría).

También es necesario que conozca lenguajes de scripting(JavaScript) y funcionales(Scala).


Tiene que tener conocimientos de todos los tipos de bases de datos que existen (Relacional, Analítica, NoSQL...) así como los tipos de datos (estructurados, no estructurados...).

Debe tener altos conocimientos de programación concurrente.


Debe tener altos conocimientos de Diseño y Arquitectura Software.


Tiene que tener una visión histórica del progreso de los datos (cantidad, tipo, uso...) a lo largo de los últimos treinta años.

Tiene que poseer una retrospectiva de BigData y las tecnologías que lo han ido formando en los últimos diez años. Pasando de los inicios en Google con GFS hasta las arquitecturas más atrevidas como Lambda, RealTime...

Debe tener conocimientos sobre la arquitectura de gestión de colas (kafka...), arquitectura de buscadores populares (elastic search,lucene...), etc

Se necesitan conocimientos hardware, centrándonos en la última década y dejando de lado las arquitecturas de los Legacy Systems para el tratamiento de datos masivo.Tiene que saber que es un sistema basado en memoria, uno distribuido, etc

Debe tener un conocimiento profundo de Hadoop(HDFS y MapReduce) y debe haber utilizado todas las tecnologías que le rodean (HBase, Hive, Pig...).

Debe tener un conocimiento profundo de bases de datos NoSQL como Cassandra, MongoDB... mínimo esas dos.

Alto conocimiento de Metodologías Ágiles/Metodologías Tradicionales.


Alto conocimiento de Calidad Software / Testing.

Competencias Matemáticas

Debe tener conocimiento de Estadística Aplicada.


Opcionalmente y dada una rama u otra debe tener un alto conocimiento de R, MatLab, etc


Debe tener conocimientos de inteligencia artificial y sistemas de gestión orientados a la decisión.


Debe debe tener conocimientos de Métodos Operativos de Gestión e Investigación Operativa.

Otras

Alto nivel de inglés. Mínimo recomendado un alto nivel de inglés escritura/lectura.


Habilidades sociales. Tiene que tener gran capacidad de manejo de la palabra(saber realizar exposiciones ilustrativas...)

---

En la actualidad no hay grado universitario que de solución al perfil BigData, pero hay ciertas combinaciones que te pueden ayudar, siempre con un gran estudio en casa:

· Ingeniería del Software + Máster Ingeniería de Sistemas de Información o Máster BigData

· Ingeniería Informática + Máster Ingeniería de Sistemas de Información + Curso de Calidad Software

· Telecomunicaciones + Máster BigData + Curso de Paradigmas de Programación Avanzadas + Curso de Metodologías + Curso de Calidad Software

· Computadores + Máster BigData + Curso de Paradigmas de Programación & Avanzadas + Curso de Metodologías + Curso de Calidad Software

Muchas competencias son transversales y/o se pueden ir adquiriendo a lo largo de la carrera y así evitarte cursos al terminar. Pero eso depende de tu espíritu emprendedor.

Puedes descargarte la CheckList pinchando aquí.

Y por hoy es todo. Iré actualizando el post con vuestros comentarios y a lo largo del año.