Flame-MR: Framework MapReduce para computación en memoria


Software de computación distribuída baseado no modelo MapReduce para o procesamento eficiente de grandes conxuntos de datos.

Estado de protección da tecnoloxía

Rexistro de software: Flame-MR: Framework MapReduce para computación en memoria. Autores: Jorge Veiga Fachal, Roberto Rey Expósito, Guillermo López Taboada e Juan Touriño Domínguez. Número de solicitude C-387-2018. Asento rexistral 03/2019/226. Entidade titular: Universidade da Coruña. Data de presentación e efectos: 19/11/2018.

Que buscamos?

Búscanse posibles empresas e organizacións interesadas nesta tecnoloxía.

Facultade de Informática. CITIC

Descrición

Flame-MR é unha ferramenta paralela que permite procesar grandes cantidades de datos en contornos de computación clúster dunha forma eficiente e escalable.

O software baséase no modelo de programación MapReduce proposto por Google e popularizado polo proxecto de código aberto Apache Hadoop. De feito, Flame-MR é 100% compatible coas interfaces de programación de aplicacións (API) de Hadoop, polo que permite acelerar o rendemento de aplicacións xa existentes de forma totalmente transparente para o usuario, sen necesidade de modificar nin recompilar o seu código fonte: as clases Java de Hadoop son substituídas polas alternativas eficientes definidas en Flame-MR.

Publicación descritiva do software: Jorge Veiga, Roberto R. Expósito, Guillermo L. Taboada e Juan Touriño. Flame-MR: an event-driven architecture for MapReduce applications. Future Generation Computer Systems, 65, pp. 46-56, 2016. https://doi.org/10.1016/j.future.2016.06.006.

Valores engadidos

O desenvolvemento deste software ten a súa orixe nos problemas de rendemento das aplicacións Hadoop, causados principalmente polo uso excesivo de copias en memoria e operacións de E/S a disco. Flame-MR cambia o motor de procesamento de Hadoop baseado en disco por unha arquitectura dirixida por eventos que permite maximizar a computación en memoria e reducir así os tempos de execución das aplicacións.

Malia existiren solucións alternativas no ámbito dos macrodatos (big data) como Spark ou Flink, o código fonte das aplicacións Hadoop debe adaptarse ás novas API, o que pode supoñer un gran custo en termos de tempo e esforzo. Alén disto, en ocasións o código fonte das aplicacións non está dispoñible de forma pública, o que imposibilitaría a devandita adaptación. Flame-MR permite reducir os tempos de procesamento sen necesidade de modificar o código fonte escrito, polo que a súa implantación é inmediata e sen ningún custo de desenvolvemento.

Aplicacións por sector

Debido ao carácter transversal da tecnoloxía, podería aplicarse en todos aqueles campos que requiran o procesamento de inxentes cantidades de datos nun tempo razoable, xa sexa mediante o desenvolvemento dunha nova aplicación que faga uso do modelo MapReduce e a súa posterior execución con Flame-MR, ou ben para acelerar o rendemento dunha aplicación Hadoop xa existente.

Como exemplo representativo, Flame-MR aplicouse con éxito en bioinformática, onde se reduciron os tempos de execución de Hadoop até nun 77% no caso dunha aplicación que permite eliminar secuencias de ADN duplicadas en grandes conxuntos de datos xenómicos.


Construción e enxeñaría civil
Economía e finanzas
Produción industrial
TIC

Grupo de investigación

    • Grupo de Arquitectura de Computadoras
    • (GAC)

Responsable

  • Roberto Rey Expósito
  • Jorge Veiga Fachal
  • Juan Touriño Domínguez
  • Guillermo López Taboada

Contacta con nós

Última actualización

2019-07-16