大数据中的职业机会

这个博客代表了大数据领域中存在的职业机会和基本技能要求的高层次观点。这里提到了一些名称和职责。

角色–数据科学家

• 大数据科学家需要熟悉其中的一些语言 python , R , JAVA , 红宝石 , 克罗朱尔 , Matlab , 猪 或 SQL .
• 他们需要了解 Hadoop , 蜂箱 和/或 MapReduce。
• 此外，还需要熟悉以下学科：
  • 自然语言处理：计算机和人类之间的互动；
  • 机器学习：使用计算机改进和开发算法；
  • 概念建模：能够分享和表达建模；
  • 统计分析：了解并解决模型中可能存在的局限性；
  • 预测建模：大多数大数据问题都是为了能够预测未来的结果

角色–大数据工程师/大数据开发人员/大数据架构师

• 一个逐步的方法，是一个软件工程师谁是专家在爪哇/C/C++ + > Hadoop（API，MR编码，生态系统和管理）= HIV/GOP/IMPALA/ML= > OoZi+Plus监控。
• 从头开始设计、设计和开发基于大数据的软件/升级/维护。
• 对于精通ORACLE/PL/SQL/MS SQL/TERRADATA/DATA WAREHOUSING=>HADOOP（API、MR编码、生态系统和管理）=>HIVE/PIG/IMPALA/ML=>OOZIE Plus监控工具的软件工程师，采用循序渐进的方法。
• 架构师、设计和开发基于大数据的数据仓库

角色–大数据DBA

• 数据建模的设计和开发。
• Hadoop生态系统的安装和配置
• 灾难恢复/群集到灌肠器–数据库备份和恢复。
• 数据库连接和安全性。
• 性能监控和调整；基于配置
• 磁盘空间管理。
• Unix和Hadoop的软件补丁和升级

角色–大数据管理员/Hadoop管理员

• 良好的Linux和shell脚本背景
• 熟悉Hadoop生态系统和技术。
• 了解Hadoop设计原则和影响分布式系统性能的因素，包括硬件和网络方面的考虑。
• 提供基础设施建议、容量规划和开发公用设施以更好地监控集群的经验
• 管理具有海量数据的大型集群的经验
• 具有集群维护任务的经验，如创建和删除节点、集群监控和故障排除。管理和查看Hadoop日志文件？
• 有安装和实施Hadoop集群安全性的经验。

角色：BigData–Hadoop运营/生产支持/运营

• 良好的Linux和shell脚本背景
• 熟悉Hadoop生态系统和技术。
• 集群维护
• 作业管理/作业失败/调查/重新启动
• Autosys/Oozie集成数据分析–数据恢复
• 群集到群集的数据移动
• 升级
• 运营管理。

本文由Sujay Chungath撰稿；Java/J2EE/大数据架构师兼创始人 网络科学。通用域名格式 ，这是一个知识共享平台，由成熟的Java/J2EE架构师和管理专家构建，主要提供大数据（Hadoop、Spark、Scala、Storm）、大数据研讨会、Angular JS、Java脚本、iOS Swift教室和印度及美国的在线模型方面的高科技IT培训。Netscientium是Netscitus公司的一部分。

如果你也想在这里展示你的博客，请参见 吉微博 在Geeksforgek上写客博。