Os cientistas de dados podem ser substituídos pela automação?

Os cientistas de dados podem ser substituídos pela automação?

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


O advento da IA, automação e bots inteligentes aciona a pergunta: é possível que os cientistas de dados se tornem redundantes no futuro? Eles são indispensáveis? A abordagem ideal parece ser a automação, complementando os dados de trabalho que os cientistas fazem. Isso utilizaria melhor os tremendos dados gerados em todo o mundo todos os dias.

Atualmente, os cientistas de dados são muito procurados. Mas há a questão de saber se eles podem se automatizar de seus empregos. A inteligência artificial pode substituir os cientistas de dados? Em caso afirmativo, até que ponto suas tarefas podem ser automatizadas? O Gartner informou recentemente que 40% das tarefas de ciência de dados serão automatizadas até 2020. Então, que tipo de habilidades pode ser tratado com eficiência pela automação? Toda essa especulação adiciona combustível ao debate “Homem x Máquina”.

Os cientistas de dados precisam de uma forte mente matemática, habilidades quantitativas, habilidades de programação de computadores e perspicácia nos negócios para tomar decisões. Eles precisam reunir grandes dados não estruturados e transformá-los em resultados e insights, que podem ser entendidos por leigos ou executivos de negócios. Todo o processo é altamente personalizado, dependendo do tipo de domínio do aplicativo. Algum grau de interação humana sempre será necessário devido à natureza subjetiva do processo, e qual porcentagem da tarefa é automatizada depende do caso de uso específico e está aberta ao debate. Para entender quanto ou quais partes podem ser automatizadas, precisamos ter um entendimento profundo do processo.

Os cientistas de dados são caros para contratar e há uma escassez dessa habilidade no setor, pois é um campo relativamente novo. Muitas empresas tentam procurar soluções alternativas. Vários algoritmos de IA já foram desenvolvidos, que podem analisar dados e fornecer informações semelhantes a um cientista de dados. O algoritmo deve fornecer a saída de dados e fazer previsões precisas, o que pode ser feito usando o Processamento de linguagem natural (PNL).

A PNL pode ser usada para se comunicar com a IA da mesma maneira que os leigos interagem com os cientistas de dados para apresentar suas demandas. Por exemplo, o IBM Watson possui recursos de PNL que interagem com as ferramentas de business intelligence (BI) para executar tarefas de ciência de dados. A Cortana da Microsoft também possui uma poderosa ferramenta de BI, e os usuários podem processar conjuntos de Big Data apenas falando com ele. Todas essas são formas simples de automação que já estão amplamente disponíveis. Tarefas de engenharia de dados como limpeza, normalização, remoção de assimetria, transformação etc., bem como métodos de modelagem como seleção de modelo campeão, seleção de recurso, seleção de algoritmo, seleção de métrica de adequação etc. são tarefas para as quais ferramentas automatizadas estão atualmente disponíveis no mercado .

Leia Também  Os 7 melhores aquecedores infravermelhos de 2020 - Guia e opiniões

A automação na ciência de dados extrairá algum trabalho manual do fluxo de trabalho, em vez de substituir completamente os cientistas de dados. Funções de baixo nível podem ser tratadas com eficiência pelos sistemas de IA. Existem muitas tecnologias para fazer isso.

A ferramenta Alteryx Designer gera automaticamente APIs REST personalizadas e imagens do Docker em torno de modelos de aprendizado de máquina durante o estágio de promoção e implantação. Os fluxos de trabalho do designer também podem ser configurados para treinar automaticamente os modelos de aprendizado de máquina, usando dados atualizados e, em seguida, reimplantá-los automaticamente.

A integração de dados, a construção de modelos e a otimização de hiper parâmetros do modelo são áreas em que a automação pode ser útil. A integração de dados combina dados de várias fontes para fornecer um conjunto de dados uniforme. A automação aqui pode extrair dados confiáveis ​​de várias fontes para análise de um cientista de dados. A coleta de dados, a pesquisa de padrões e a previsão são necessárias para a construção do modelo, que pode ser automatizado, pois as máquinas podem coletar dados para encontrar padrões.

As máquinas estão ficando mais inteligentes todos os dias devido à integração dos princípios de IA que os ajudam a aprender com os tipos de padrões que historicamente tentavam detectar. Uma vantagem adicional aqui é que as máquinas não cometerão o tipo de erro que os humanos cometem.

A automação tem seu próprio conjunto de limitações, no entanto. Só pode ir tão longe. A inteligência artificial pode automatizar os processos de engenharia de dados e aprendizado de máquina, mas a IA não pode se automatizar. A organização de dados (separação de dados) consiste na conversão manual de dados brutos em um formulário facilmente consumível. O processo ainda exige julgamento humano para transformar dados brutos em insights que fazem sentido para uma organização e levar em consideração todas as complexidades de uma organização.

Leia Também  Suporte ao desenvolvimento de dispositivos para transmissões de 400 GbE e 800 GbE
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Mesmo o aprendizado não supervisionado não é totalmente automatizado. Os cientistas de dados ainda preparam conjuntos, os limpam, especificam quais algoritmos usar e interpretam as descobertas. A visualização de dados, na maioria das vezes, precisa de um ser humano, pois as descobertas a serem apresentadas aos leigos precisam ser altamente personalizadas, dependendo do conhecimento técnico do público. Uma máquina não pode ser treinada para fazer isso.

As visualizações de baixo nível podem ser automatizadas, mas a inteligência humana seria necessária para interpretar e explicar os dados. Também será necessário escrever algoritmos de IA que possam lidar com tarefas mundanas de visualização. Além disso, intangíveis como curiosidade humana, intuição ou o desejo de criar / validar experimentos não podem ser simulados pela IA. Esse aspecto da ciência de dados provavelmente nunca será tratado pela IA em um futuro próximo, pois a tecnologia não evoluiu nessa extensão.

Enquanto pensamos em automação, também devemos considerar a qualidade da saída. Aqui, saída significa a validade ou relevância dos insights. Com a automação, a quantidade e a taxa de transferência de artefatos de ciência de dados aumentarão, mas isso não se traduz em um aumento na qualidade. O processo de extrair insights e aplicá-los no contexto de aplicativos específicos orientados a dados ainda é inerentemente um processo criativo e exploratório que exige julgamento humano. Para entender melhor os dados, a engenharia de recursos é uma parte muito essencial do processo. Ele nos permite fazer o máximo uso dos dados disponíveis para nós. A automação da engenharia de recursos é realmente difícil, pois requer conhecimento do domínio humano e um entendimento do mundo real, o que é difícil para uma máquina adquirir. Mesmo que a IA seja usada, ela não pode fornecer o mesmo nível de feedback que um especialista humano nesse domínio pode. Embora a automação possa ajudar a identificar padrões em uma organização, as máquinas não conseguem entender realmente o que significam dados para uma organização e seus relacionamentos entre operações diferentes e não conectadas.

Leia Também  Switch inteligente de lado alto inteligente de canal duplo atinge sistemas de veículo de 12 V

Você não pode ensinar uma máquina a ser criativa. Depois de obter resultados de um pipeline, um cientista de dados pode buscar mais conhecimentos sobre o domínio para agregar valor e melhorar o pipeline.Colaborando com as equipes de marketing, vendas e engenharia, as soluções precisarão ser implementadas e implantadas com base nessas descobertas para melhorar o modelo . É um processo iterativo e, após cada iteração, a criatividade com a qual os cientistas de dados planejam adicionar à próxima fase é o que os diferencia dos bots. As interações e conversas que impulsionam essas iniciativas, alimentadas pelo pensamento abstrato e criativo, superam as capacidades de qualquer máquina moderna.

Os cientistas atuais de dados não devem se preocupar em perder seus empregos para computadores devido à automação, pois são uma mistura de líderes de pensamento, codificadores e estatísticos. Um projeto de ciência de dados bem-sucedido sempre precisará de uma equipe forte de humanos para trabalhar juntos e colaborar para resolver sinergicamente um problema. A IA terá dificuldade em colaborar, o que é essencial para transformar dados em dados acionáveis. Mesmo que a automação seja usada até certo ponto, um cientista de dados sempre precisará validar manualmente os resultados de um pipeline para garantir que faça sentido no mundo real. A automação pode ser vista como uma ferramenta suplementar que ajudará a dimensionar a ciência de dados e tornar o trabalho mais eficiente. Os robôs podem lidar com tarefas de nível inferior e deixar as tarefas de solução de problemas para especialistas humanos. A combinação da automação com a solução de problemas humanos realmente capacitará, em vez de ameaçar, os trabalhos dos cientistas de dados como bots serão como assistentes dos primeiros.

A automação nunca pode substituir completamente um cientista de dados porque nenhuma quantidade de IA avançada pode imitar a qualidade mais importante que um cientista de dados habilidoso deve possuir – intuição.


Este artigo foi publicado pela primeira vez no Open Source For You, edição de outubro de 2019.

Preet Gandhi é um entusiasta ávido por Big Data e cientista de dados



cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br