Jigar Shah impulsiona a visão na engenharia de big data, e isso é verdade no mundo de dados em rápida evolução de hoje. Ele tem mais de 15 anos de experiência profissional e avançou significativamente na arte de criar sistemas de trabalho eficientes a partir de sistemas de dados complexos e complicados. Sua carreira abrange vários domínios e pilhas de tecnologia, posicionando-o como líder, mentor e arquiteto de um sistema de dados altamente progressivo. Sem perder mais tempo, gostaria de contar a sua história, onde tentaremos compreender o seu percurso profissional, como pensa e os seus planos futuros neste sentido em formato de perguntas e respostas.
Q1: Jigar, você poderia nos contar sobre seu histórico de trabalho e explicar como desenvolveu seu interesse em engenharia de dados?
R: A jornada começou com um diploma de bacharel em engenharia elétrica que obtive na Universidade Nirma, localizada na Índia. Durante os estágios iniciais de minhas experiências profissionais, eu estava lidando com dados ricos em sistemas empresariais e foi então que me ocorreu que os dados podem ser importantes para as organizações. Foi essa perspectiva de dados apontando coisas que me levou à engenharia de dados. Aos poucos fui me capacitando para adquirir competências essenciais na construção de ecossistemas de big data no que diz respeito ao desenvolvimento e gestão desses sistemas.
Q2: Conte-nos qual foi o projeto mais importante que define você como engenheiro de dados.
R: Um projeto notável que se destacou foi o desenvolvimento de um sistema para um mercado de dados de vendas que alimenta dados de vendas em tempo real. Tivemos que criar um sistema capaz de ingerir com segurança grandes quantidades de dados em um sistema que pudesse retornar consultas precisas em tempo real. Foi um esforço muito complicado, pois tínhamos que manter os dados consistentes e ainda otimizá-los para desempenho. Foi uma questão de colocar todas as minhas habilidades técnicas em perspectiva e pensar fora da caixa para aproveitar as ineficiências da tecnologia existente. A conclusão desse projeto me deu confiança para seguir a carreira de engenharia de dados e ajudou a me preparar para melhorar o desempenho em tarefas mais complexas ao longo do tempo.
Q3: Você tem uma experiência impressionante com diferentes ferramentas e plataformas de big data. Descreva como você conseguiu funcionar nesses vários ambientes.
R: Foi essencial na minha carreira poder funcionar bem em diferentes ambientes. Fui exposto a vários ecossistemas, Hadoop, Spark, Snowflake, AWS, etc., e cada um deles possui características diferentes. Tenho feito o contrário: focar no básico e depois passar para os detalhes de uma plataforma, por exemplo: arquitetura e modelagem de dados primeiro, e otimizações de plataforma depois. Também valorizo a importância da educação, que me ajudou a ser flexível na aquisição de novas tecnologias que me apresentaram meios eficazes de abordar os pontos fortes e fracos de diferentes ambientes.
Q4: Você ocupou cargos técnicos e de liderança ao mesmo tempo em determinados momentos de sua carreira. Como é dividir seu tempo dessa forma?
R: Esta dualidade de papéis é, por si só, reconfortante e ao mesmo tempo desafiadora. No início, mantenho-me consistente no trabalho porque codifico e conceituo muitas soluções de engenharia de dados e me mantenho atualizado com os desenvolvimentos na área de engenharia de dados. Na verdade, isso me ajuda a entender a física dos sistemas com os quais estou lidando. No meu caso, considero a orientação e o desenvolvimento de pessoas como principais prioridades e me cerco de pessoas que tomam decisões e produzem metas. Trata-se de liderar pelo exemplo: sujar as mãos na parte técnica e garantir que a equipe esteja assumindo a liderança nas coisas que faz.
P5: Onde você vê a importância da educação continuada e das certificações relevantes em sua carreira?
R: A aprendizagem ao longo da vida desempenhou um papel indispensável na minha carreira. Tentei obter alguns certificados, inclusive especializados em big data ou Spark, para acompanhar o fluxo atual de eventos. Buscar certificações valida minhas capacidades e me faz encontrar novas oportunidades e áreas que posso explorar. Isso me ajudou a desenvolver algumas habilidades técnicas muito importantes que posso usar para realizar tarefas mais complicadas e gerenciar equipes técnicas.
P6: Você pode descrever um projeto em que teve que lidar com equipes multifuncionais para atingir um único objetivo?
R: Trabalhar de forma integrada com equipes multifuncionais tem sido um aspecto integrante da minha vida profissional. Um projeto particularmente interessante envolveu a criação de um produto para análise de desempenho de campanhas de mídia. Envolveu estreita interação com engenharia de dados, gerenciamento de produtos e análise de negócios para adaptar a arquitetura de dados às necessidades do negócio. A manipulação de dados descrita superou uma infinidade de desafios, incluindo a construção de um pipeline de dados capaz de operacionalizar centenas de eventos em questão de segundos, garantindo que os insights resultantes fossem acionáveis e eliminassem os interesses de muitos usuários. Para finalizar, todas as equipes estabeleceram uma comunicação realmente construtiva, aplicaram metodologias ágeis e coordenaram suas aspirações.
P7: Você pode descrever quais medidas você tomou para garantir a confiabilidade e o estado livre de falhas de seus sistemas de dados, ao mesmo tempo que os torna extensíveis?
R: Para criar sistemas elásticos e tolerantes a falhas, é necessário compreender detalhadamente o projeto estrutural. Sou um designer de sistemas de alto nível que se esforça para implementar mecanismos de redundância, validação de dados e estratégias de mitigação antecipadamente. Minha exposição a sistemas distribuídos me preparou para o pior; portanto, apliquei fragmentação, particionamento e balanceamento de carga na esperança de que nenhum desafio de escalabilidade esmagasse o sistema que estava sendo construído. Para mim, é uma prática comum integrar CI/CD que é aplicado por meio de testes e implantação para mitigar quaisquer falhas nos estágios iniciais e manter um sistema estável.
P8: Conte-me sobre uma ocasião em que você se viu em uma posição que exigia que você tomasse uma decisão muito importante sob restrições de tempo significativas. Como isso afetou o projeto?
R: Houve um cenário em que tivemos problemas com a integridade dos dados em um sistema geocomplexo de vários nós. Foi um ponto fundamental, pois erros teriam levado a que conhecimentos errôneos chegassem à empresa. Então eu estava ciente e precisava avaliar rapidamente a situação, descobrir o problema e corrigi-lo dentro de um prazo limitado. A escolha que tive que fazer foi alterar algumas áreas do processamento de dados e adicionar mais camadas de validação. Estava repleto de riscos, mas funcionou para o bem do projeto, garantindo a qualidade dos dados para o projeto como um todo.
P9: Que conselho você daria aos aspirantes a engenheiros de dados que desejam fazer carreira nesta área?
R: Há muita coisa em jogo, minha sugestão seria focar nos primeiros princípios: estruturas de dados e algoritmos e design de sistemas. Depois disso, aventure-se em tecnologias modernas como big data, nuvem ou aprendizado de máquina. Não pare de aprender novas tecnologias e não tenha medo de assumir tarefas desafiadoras. O setor é muito expansivo, mas ter espírito de aventura e paixão por encontrar soluções seria um fator diferenciador. Estas certificações podem ser úteis porque fornecem um roteiro para a aprendizagem e também mostram a validação das competências adquiridas.
Q10: Qual a sua expectativa em relação ao crescimento profissional na disciplina de engenharia de dados?
R: Estou ansioso para revelar as novas faces dos dados, pois continuarei a crescer nessa direção. Eu gostaria de construir sistemas onde mais modelos de IA e aprendizado de máquina sejam adicionados aos pipelines de dados para uma previsão eficaz de tendências e otimização de processos de negócios em direção ao crescimento. Além disso, também seria importante passar para a liderança inovadora, onde sou mentor de outras pessoas e compartilho minhas informações, bem como para a engenharia de dados, falando e escrevendo.
Jigar Shah é um engenheiro de dados principal altamente qualificado, com mais de 15 anos de experiência no desenvolvimento de aplicativos empresariais e trabalhando em startups. Ele é proficiente no desenvolvimento e manutenção de grandes sistemas de processamento de dados, estabelecendo estruturas de dados confiáveis e usando tecnologias Spark, AWS e Snowflake. Como engenheiro de dados treinado e especialista em transformação de dados, com experiência em Python, SQL e diversas tecnologias baseadas em nuvem, Jigar entregou e facilitou muitos projetos em todo o ciclo de vida dos dados. Sua experiência no setor e em projetos permite gerenciar iniciativas sofisticadas e capacitar pessoas, colocando você no centro do mundo moderno da engenharia de dados.
