Le hackathon en Data Science, hacka-quoi ?

L’organisation d’un hackathon est de plus en plus fréquente et participe à l’innovation en entreprise. Mais pas d’inquiétude : il ne s’agit pas de hacker les serveurs de vos clients ! (au passage, si ceci devait vous arriver, nos équipes expertes en sécurité et Identity Access Management sont à votre disposition pour vous aider).

Le hackathon est un événement où des équipes de développeurs collaborent de façon intensive sur des projets. © Web Engines Hackfest – Flickr

Un hackathon, késako ?

De quoi s’agit-il ? Mot valise combinant hacking et marathon, le hackathon (aussi connu sous le nom de hackfest) est un événement où des équipes de développeurs collaborent de façon intensive sur des projets souvent liés à l’informatique [source : wikipedia].

Sous la forme d’une course contre la montre, l’objectif est le développement de prototypes, que ce soit pour des algorithmes, des interfaces web, des APIs, du hardware… Bien que la hackathon soit une compétition, la motivation des participants est le plus souvent la reconnaissance de leurs compétences plutôt que le prix en soi-même.

Usuellement organisé en un (très) court laps de temps comme une nuit ou un week-end, les grandes valeurs du hackathon portent sur la collaboration, l’expérimentation et la sérendipité. Explications.

1. Collaboration

Après la présentation du challenge, des équipes se créent autours d’idées/pitch à développer pour apporter des solutions au problème. Même si l’intention initiale est de participer avec des amis ou des collègues, les participants finissent par se ventiler dans différents groupes, avec l’idée de distribuer les ressources clés pour chaque idée. Au cours de l’événement, les participants devront étroitement collaborer sous un haut niveau de stress (positif). Ce haut degré de collaboration nécessaire mène à des échanges fructueux et un bon partage de la connaissance.

2. Expérimentation et agilité

La thématique du hackathon est annoncée avant l’événement. Ainsi, chacun a l’opportunité de se préparer au hackathon, de la façon qu’il juge la plus adéquate : lecture, investigation de pistes prometteuses, jouer avec des solutions candidates.

Cependant, les spécifications précises, les besoins et des blocs préexistants (par exemple de code) ne sont donnés qu’au lancement du hackathon lors du premier meeting. Ceci nécessite dès lors d’être agile et d’adopter une approche itérative basée sur l’essai-erreur.

3. Sérendipité

L’objectif clé reste d’avoir des résultats exploitables, que ce soit sous la forme d’un prototype (en un ou deux jours !) ou d’idées inattendues. Pour preuve : la compagnie GroupMe a pris forme suite à un hackathon et a été rachetée par Skype en moins d’un an pour… 85 millions de dollars. Le fameux bouton Facebook Like est issu d’un hackathon. Et donc, les hackathons constituent aussi un vecteur de disruption. Ce n’est pas sans raison que des grandes compagnies comme Google ou Facebook organisent régulièrement des hackathons internes.

Les spécificités d’un hackathon en Data Science

Les hackathons en Data Science sont la transposition directe du concept pour les applications en Data Science (vous l’auriez peut-être deviné !). Ils peuvent couvrir n’importe quelle activité de Data Science depuis l’acquisition des données, l’enrichissement, la visualisation, y compris la constitution de dashboards en temps réel, jusqu’à la partie analytique de modélisation, d’extraction de patterns, etc.

La plupart du temps, un jeu de données est fourni au début de l’événement, ainsi que de l’information métier. L’objectif est donc de prédire un événement d’intérêt.

En tant qu’acteur clé dans le Big Data, Business & Decision encourage ses équipes en Data Science à participer aux hackathons et va jusqu’à dédier du temps de ses consultants à cette tâche. Les bénéfices sont multiples : team building, acquisition de connaissances on-the-job (ce qui vaut bien plusieurs cours !), visibilité, développements de compétences utiles pour un consultant, networking avec d’autres participants (allant jusqu’à constituer un bon canal pour l’attraction de talents).

Une stratégie positive

En mars 2016, Business & Decision Belgique a participé à un hackathon de 4 semaines organisé par Procter & Gamble et a gagné le challenge portant sur la visualisation des données. Pour le challenge, plus de 200 Go de données compressées ont été manipulées. Ces données proviennent des 2200 capteurs d’une usine (valeur toutes les 5 secondes durant un an). Celles-ci sont par ailleurs complétées par des données sur la consommation électrique des données. L’exploitation de ce type de données est une nouveauté pour P&G, Business & Decision et d’autres participants au hackathon.

Trois thèmes sont gérés en parallèle durant le hackathon :

• durabilité écologique (y a-t-il un  moyen de réduire la consommation ?),
• Dataviz / dashboarding (visualisaton en temps réel),
• créativité (tout insight pouvant être utile à P&G).

Une grande expérience avec différent retours : après avoir enrichi les données avec de l’information météo (utilisation d’une API web), Business & Decision a proposé une approche basée sur les réseaux bayesiens et des arbres de décision pouvant éventuellement mener à un gain de consommation d’énergie équivalent à la consommation de 300 foyers.

Sur le thème Dashboard, deux résultats ont été montrés : l’affichage des données historiques en exploitant les technologies Microsoft récentes (incluant le requêtage en temps réel) et dataviz en temps-réel dans un environnement Spark.

Pour être honnête, nous n’avons qu’une seule critique à émettre sur les hackatons. En plus d’aboutir à quelques nuits agitées, ils encouragent souvent d’étranges habitudes alimentaires : frites et bières. Mais ceci est peut-être plus lié à la Belgique !