加入收藏 | 设为首页 | 会员中心 | 我要投稿 焦作站长网 (https://www.0391zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

分析:清理数据成数据科学家最大挑战

发布时间:2021-06-11 20:27:59 所属栏目:大数据 来源:互联网
导读:科学家面对的最耗费时间的工作是什么?有什么样的工具能扫除这些障碍? 数据分析师花费一半以上的时间清理和转换数据,而不是从中提取商业智能,这并不稀奇。数

数据分析师花费一半以上的时间清理和转换数据,而不是从中提取商业智能,这并不稀奇。数据储存的规模不断增大,数据类型也在激增。新一代的工具蜂拥而至,并承诺把复杂的工具送到不依赖数据的科学家的手上。

 

技术领域最热门的职位之一是数据科学家,或许只有最新出现的首席高管职位:首席数据科学家能超越他们。显而易见,人们对这种趋势一直存在质疑,来自美国科技网站InfoWorld的 Yves de Montcheuil曾引用过一则笑话,数据学家就是住在加利福尼亚州的商业分析师。

 

每个公司都需要把公司的数据转换为商业智能,这并不是什么有趣的事,这就是数据科学家承担主导责任的时候。但随着数据数量和种类的激增,数据科学家发现,他们大部分的时间都花费在清理和转换数据,而不是分析数据,并把它们告诉给企业经理。

 

最近,IT项目众包公司CrowdFlower的数据科学家进行了一项调查(需要注册可查看)。调查发现,三分之二的分析人员认为清理和组织数据是它们最费时的工作,52%称他们最大的障碍是数据质量差。受访者说出了在它们工作中使用的48种不同的技术,最受欢迎的是Excel(55.6%),其次是开源语言研究(43.1%),和Tableau数据可视化软件(26.1%)。缺乏工具,目标不明确,不注重培训被报告为影响数据科学家效率的主要障碍。

 

承诺将满足大数据分析师需要的新工具

 

在技术领域有一个基本的课题:早期只有少数精英需要理解和使用知识、工具,随着时间的推移,产品日益改进,价格降低,企业适应,技术逐渐成为了主流。新的数据分析工具蜂拥而至,承诺把技术的效益带给非科研人员。

 

2014年8月17日,Steve Lohr在纽约时报上刊登了几种产品的简介。例如,ClearStory Data公司的软件结合多个来源的数据,并转换成图表、地图和其他图形。在数据准备问题上Paxata公司采取了不同方式,他们的软件通过各种可视化工具对数据进行检索、清理,和混合用于分析。

 

这家不以营利为目的的知识开放实验室,号称是一个为“公民骇客、数据管理者,以及对技术和资讯结合的可能性产生兴趣的普通公民”提供的社区。这个组织正在招募“数据管理员”志愿者,来维护核心数据集,例如国内生产总值和ISO代码。空军总司令部的Rufus Pollock于2015年1月3日对该项目进行了描述。

分析:清理数据成数据科学家最大挑战

(编辑:焦作站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读