Quina diferència hi ha entre enginyer de dades, arquitecte de dades, infraestructura de dades i enginyer en aprenentatge automàtic?


Resposta 1:

Hem separat els professionals de les dades en quatre categories: arquitecte, enginyer, analista, científic. Es va desenvolupar per ajudar les empreses a contractar professionals de dades en funció de les seves necessitats i perquè els professionals coneguin les competències que demanen.

Aquí teniu les nostres taules i un resum. Podeu trobar la recerca de Elizabeth Mazenko aquí: https: //www.betterbuys.com/bi/co ...

Data Architect: Un Data Architect és la persona directa per a la gestió de dades, especialment quan es tracta de qualsevol font de dades dispars. Amb un ampli coneixement del funcionament de les bases de dades, i de com es relacionen les dades adquirides amb les operacions del negoci, l’arquitecte de dades, idealment, és capaç d’especular com afectarà els canvis a l’ús de les dades de l’empresa i, a continuació, manipular l’arquitectura de dades per compensar-los. .

  • Responsabilitats: Emmagatzematge de dades, ETL, desenvolupament d’arquitectura, modelatge Llenguatges: Rusc, SQL, Pig, Spark, XML

Data Engineer: Aquest paper està estretament relacionat amb l'arquitecte de dades. El Data Engineer també treballa en el costat de la gestió de les dades, fent que algunes persones pensin que els títols són intercanviables. Tanmateix, un enginyer de dades, que sol tenir un bagatge en enginyeria de programari, construeix, prova i manté l’arquitectura de dades.

  • Responsabilitats: ETL, instal·lació de solucions d’emmagatzematge de dades, modelatge de dades, arquitectura i desenvolupament de dades, proves d’arquitectura de bases de dades Llenguatges: R, Python, SAS, MatLab, SQL, NOSQL, Pig, Hadoop, Java, C / C ++, Ruby Perl

Data Analyst: Data Analyst treballa per interpretar dades per obtenir coneixements actuables per a l’empresa. Amb una trajectòria forta en estadístiques i la capacitat de convertir dades d’una forma crua a un format diferent (dades de fusió), l’analista de dades recopila, processa i aplica algorismes estadístics a dades estructurades.

  • Responsabilitats: Recopilació i processament de dades, programació, aprenentatge automàtic, combinació de dades, visualització de dades, aplicació d’anàlisi estadística Llenguatges: R, Python, SQL, NOSQL, HTML, script de Java, C / C ++

Data Scientist: la missió d’un Data Scientist és similar a la d’un Data Analyst: trobar visions actuables que són claus per al creixement i la presa de decisions d’una empresa. Tanmateix, es necessita un paper de Data Scientist quan el volum i la velocitat de dades de l’empresa superin un cert nivell que requereix habilitats més robustes per ordenar a través d’un mar rodant de dades no estructurades (big data) per identificar preguntes i extreure informació crítica. A continuació, la persona neteja les dades per a una anàlisi adequada i crea nous algoritmes per executar consultes que relacionin dades de fonts diferents.

A més d’aquestes habilitats, un científic científic de dades també necessita habilitats de visualització i visualització de contes per compartir informació amb els companys de tota l’empresa.

  • Responsabilitats: neteja i processament de dades, modelatge predictiu, aprenentatge automàtic, identificació de preguntes, realització de consultes, aplicació d’anàlisi estadística, correlació de dades diferents, narració de contes i visualització Llenguatges: R, Python, SAS, Hive, MatLab, SQL, Pig, Spark, Hadoop

Aquesta eina interactiva també us pot ajudar a decidir si esteu preparat per contractar algun d’aquests professionals: He de contractar un científic científic?


Resposta 2:

Primer, tres dels quatre són enginyers, i un d’arquitecte.

El lliurament d’un enginyer és una peça funcional tecnològica preparada per utilitzar i reutilitzar. Els enginyers de ML proporcionen models que poden servir a la producció. Els enginyers d’infraestructura proporcionen conductes fiables.

Ara, per als dos rols que tenen "dades" en ells: enginyer de dades i arquitecte de dades.

L’arquitecte de dades és algú que té com a funció assegurar-se que allò que es presenta al front de les dades del producte o empresa s’ajusta al que hauria de proporcionar l’equip de dades. Per tant, el lliurament d’un arquitecte de dades no només són les respostes, sinó les preguntes mitjançant el prisma de les quals s’accepta que s’avaluen aquestes respostes i que qualsevol decisió de disseny de dades hauria de sotmetre abans de declarar-se.

I l’enginyer de dades, segons entenc el terme, és la combinació de tots els tres anteriors; potser un 40% enginyer ML, un 40% enginyer en infrarojos i un 20% arquitecte.

En poques paraules, els enginyers de ML coneixen Tableau, R, SciPy i Excel, els enginyers d’infraestructures coneixen AWS, logstash, Kafka i Hadoop, i un enginyer de dades és algú que pot fer que les dues persones anteriors es trobin en una habitació i s’asseguren que s’entenen. .


Resposta 3:

Primer, tres dels quatre són enginyers, i un d’arquitecte.

El lliurament d’un enginyer és una peça funcional tecnològica preparada per utilitzar i reutilitzar. Els enginyers de ML proporcionen models que poden servir a la producció. Els enginyers d’infraestructura proporcionen conductes fiables.

Ara, per als dos rols que tenen "dades" en ells: enginyer de dades i arquitecte de dades.

L’arquitecte de dades és algú que té com a funció assegurar-se que allò que es presenta al front de les dades del producte o empresa s’ajusta al que hauria de proporcionar l’equip de dades. Per tant, el lliurament d’un arquitecte de dades no només són les respostes, sinó les preguntes mitjançant el prisma de les quals s’accepta que s’avaluen aquestes respostes i que qualsevol decisió de disseny de dades hauria de sotmetre abans de declarar-se.

I l’enginyer de dades, segons entenc el terme, és la combinació de tots els tres anteriors; potser un 40% enginyer ML, un 40% enginyer en infrarojos i un 20% arquitecte.

En poques paraules, els enginyers de ML coneixen Tableau, R, SciPy i Excel, els enginyers d’infraestructures coneixen AWS, logstash, Kafka i Hadoop, i un enginyer de dades és algú que pot fer que les dues persones anteriors es trobin en una habitació i s’asseguren que s’entenen. .