在盘点有哪些数据分析工具之前,我们先看下数据分析的工作都有哪些?主要体现在几个方面:存储原始数据、按要求提取数据、按要求计算数据、将数据做成图表、解读数据,得出结论。
所以我们选择工具一定是能满足我们日常工作要求的,下面我们详细盘点一下都有哪些常用的数据分析工具。
一.EXCEL
基本介绍
Excel是目前最基础、也是应用最广的数据分析工具,能够解决数据分析中80%的问题。Excel的功能十分强大,它不仅提供了众多的数据处理功能,像Excel函数能够帮助我们做数据整理,数据透视表帮助我们快速、高效的做各种维度分析,形形色色的图表能帮我们形象地展示出数据背后隐藏的规律,同时Excel还有很专业的数据分析工具库,包括描述性统计分析、相关系数分析等。EXCEL个人感觉是本文介绍的所有工具中最重要的,数据分析工具分类可以分为 EXCEL和其他,尤其是对于转行数据分析的小白来说,应该是最友好的。
优点分析
1、入门门槛低,简单易学;
2、只要掌握其中的vlookup、match、indirect、if等几个常用的函数,就可以满足很多日常应用场景;
3、图表绘制很简单, Excel拥有各种丰富的可开发的图表;
4、Excel里有开发工具选项卡,还有分析工具库,可以拓展出大量分析功能;
5、自动汇总功能,Excel更加简便灵活
6、计算公式丰富
学习路线
1、基本操作包括数据的简单处理汇总、图表制作等,属于Excel基础知识,一般大家都能正常使用。
2、熟练掌握常用的函数后,你就可以做简单的数据统计、分析和数据可视化等工作了。
3、为了进一步从不同维度对关心的指标进行上卷、下钻分析,还需要非常熟练地掌握数据透视表,这也是Excel最为强大、使用最为频繁的功能。
4、为了实现复杂的业务分析,解决不同数据源、海量数据的分析问题,我们就需要掌握PowerQuery和PowerPivot,PowerQuery负责整合多种来源数据,并进行数据转换,PowerPivot对整合后的规范化数据进行高效率的透视分析,几百万上千万行数据均不在话下。
同类型工具:VBA、PowerQuery、PowerPivot、Power View、Power Map
二.BI图形化工具
数据最终是要呈现给业务/管理层查看的,因此到进阶阶段,BI工具也是必须要掌握的一个技能。
现在市面上BI工具很多,主流的就是Tableau、FineBI和PowerBI,本土企业很多用FineBI,外企大多数是用PowerBI和Tableau。
1.PowerBI
基本介绍
Microsoft PowerBI同时提供本地和云服务。它最初是作为Excel插件引入的,不久PowerBI凭借其强大的功能开始普及。目前,它被视为商业分析领域的软件领导者。它提供了数据可视化和bi功能,使用户可以轻松地以更低的成本实现快速,明智的决策,用户可协作并共享自定义的仪表板和交互式报告。Power BI能够从各种数据源中抓取数据进行分析,除了支持微软自家产品如Excel,SQL Server等,各类数据库如Oracle,My SQL,IBM DB2等,还支持从R语言脚本,Hdfs文件系统,Spark平台等等地方导数据。
优点分析
1、Power BI有一个免费的基本版本,让用户有机会首先探索它
2、它支持多种方式来整合或导入数据(流数据、云服务、Excel电子表格和第三方连接)
3、它具有实时馈送数据的交互式仪表盘
4、用于将Power BI与应用程序集成的简单API
5、分享报告和仪表板的不同方式
6、多平台支持(Web,桌面,移动)
学习路线 官网
(1)Power BI基础
1.初步认识Power BI
2.Power Query 快速数据集成
3.Power Query 数据清洗
4.Power BI 数据模型
5.可视化报表制作
6.Dax函数和表达式
7.发布与服务介绍
(2)Power BI 进阶
1.数据集成与清洗处理经验总结(37分钟6节)
2.函数相关重点(27分钟6节)
3.模型讲解(需注意的地方)(4分钟1节)
4.图表-可视化部分经验分享(54分钟10节)
5.本地与云端-报表的发布管理与权限控制(13分钟2节)
之前转载过一篇文章 《小目标 | Power BI新人快速上手手册》 ,学习Power BI也可以参考一下。
2.FineBI
基本介绍
国内较为领先的BI软件,定位于自助大数据分析的BI工具,提供数据处理、即时分析、多维度分析、可视化等服务。FineBI目前最新版已迭代到 V5.0,主要面向企业客户(个人用户免费全功能使用,但是限制2个并发用户),在国内各行业有着众多的成功应用案例。
优点分析
1、业务人员自己动手制作仪表板,可以根据业务需求组合图表,以便展示更多信息;
2、选中图表类型,将数据字段快速拖曳,就能够实时分析图表;
3、可视化界面便于分析;
4、可以接入多种数据源。包括常用数据库(Hsql、IBM DB2、Microsoft SQL Server、MySQL、Oracle)数据、Hbase、Hadoop Hive、阿里云AnalyticDB以及华为云DWS;服务器数据集;本地Excel数据集;sql数据集;自助数据集。
学习路线
这个是国内厂商产品,可以在 官网 直接试用即可。
同类型工具:PowerBI、Tableau、Qlikview、SAP BI、Oracel BI、FineBI、Yonghong BI
三.数据库及编程语言相关
1.Python
基本介绍
Python是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰,具有丰富和强大的类库 ,而且是这几年最火爆的数据分析工具,没有之一。
优点分析
1、简单易学
Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身,Python极其容易上手,因为Python有极其简单的说明文档。
2、速度快
Python 的底层是用 C 语言写的,很多标准库和第三方库也都是用 C 写的,运行速度非常快。
3、免费、开源
Python是FLOSS(自由/开放源码软件)之一。使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。
4、可移植性
由于它的开源本质,Python已经被移植在许多平台上。
学习路线
1、Python语言基础
Python语言概述和环境安装丨变量、数据类型和进制丨运算符和分支结构丨循环结构入门丨循环结构的应用
2、常用数据结构和函数
字符串丨列表的应用丨元组和集合丨字典类型的应用丨函数使用入门
函数和面向对象编程
包和模块丨函数的高级用法丨装饰器和生成器丨面向对象编程基础丨面向对象编程进阶
3、Python网络数据采集
爬虫概述和页面抓取丨解析页面的方式丨爬取数据的持久化丨Cookie和商业IP代理丨获取页面动态内容丨Selenium应用详解丨提升爬虫工作效率丨破解验证码丨爬虫框架Scrapy
4、数据分析概述和Excel的应用
数据分析和数据分析师概述丨指标和指标体系建设丨Excel的安装和快速上手丨Excel中的函数和公式计算丨Excel透视表、透视图和商业数据看板
5、关系型数据库和SQL
数据库概述和MySQL的安装使用丨表关系和SQL的应用丨SQL数据查询详解丨窗口函数和业务场景下的数据查询丨Python程序接入MySQL数据库
6、商业智能(BI)工具
MySQL其他相关知识丨从Excel到Power BI丨Power BI中的数据清洗和分析模型丨Power BI中的数据可视化和报表制作丨Power BI项目实操丨认识和使用Tableau丨认识和使用fineBI丨数据思维和分析模型
7、Python数据分析
Python数据分析工具介绍丨使用NumPy实现批量数据处理丨线性代数和NumPy的linalg模块丨使用Pandas进行数据分析
8、机器学习算法
机器学习概述和kNN算法丨回归算法丨逻辑回归丨朴素贝叶斯丨决策树丨支持向量机丨聚类算法和轮廓系数丨集成算法丨特征工程和评价指标丨机器学习项目实战
同类型工具:R、Julia、Scala、Spark、Java、Hadoop
2.MySQL
基本介绍
SQL也是必会的工具,因为我们要利用SQL语句来取数、清洗数据。MySQL 作为互联网中非常热门的数据库,在高并发业务场景下,一条好的 MySQL 语句能为企业节省大量的运作时间和成本,这也是为何互联网大厂面试官最爱考察数据库底层和性能调优的原因。
优点分析
1、速度快
分析型数据库MySQL运用新一代超大规模的MPP+DAG融合引擎,采用行列混存技术、自动索引、智能优化器,在瞬间即可对千亿级别的数据进行即时的多维度分析透视,快速发现数据价值。此外,还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。
2、灵活
分析型数据库MySQL版极度灵活的存储和计算分离架构,您可以随时调整节点数量和动态升降配实例规格。分析型数据库MySQL版同时支持在大存储SATA节点和高性能的SSD节点灵活切换。例如,您可以从8个C4升到12个C8,或从12个C8降到8个C4,企业可以真正做到灵活控制成本。
3、易用
分析型数据库MySQL版作为云端托管的PB级SQL数据仓库,全面兼容MySQL协议和SQL:2003,通过标准SQL和常用BI工具、以及ETL工具平台即可轻松使用分析型数据库MySQL版。分析型数据库MySQL版旨在帮助企业降低实时数据化运营的建设门槛。
4、超大规模
分析型数据库MySQL版是全分布式结构,无任何单点设计,使得数据库实例支持ECU节点动态线性扩容至数千节点。您可以通过横向扩容来大幅度提升查询SQL响应速度、以及增加SQL处理并发。
5、高并发写入
支持您实时化、极速地进行数据写入、更新和高并发查询、交互式分析、ETL一体化。采用RAFT协议,支持超大规模数据写入实时、强一致;对于高并发或大吞吐场景,可按需独立弹性扩展,存储可以从GB级扩展到百PB级,TPS可横向扩展至千万级。
学习路线
MySQL学习这部分,我在上期的内容共创文章 【云驻共创】如何有效率地学习MySQL? 一文中有详细的描述,这里不单独介绍了。
同类型工具:PostgreSQL、Oracle、SQLServer、MongoDB
四.华为云数据分析相关产品
1.IoT数据分析 IoTA
基本介绍
华为云物联网数据分析服务基于物联网资产模型,整合物联网数据集成,清洗,存储,分析,可视化,为物联网数据开发者提供一站式服务,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。
优点分析
1、物联网资产模型感知
华为云物联网数据分析服务是以物联网资产模型为中心的分析服务。不同于公有云上的通用型大数据相关产品,物联网数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率。
2、一站式开发体验
大数据开发技术门槛较高,而华为云物联网数据分析服务整合了大数据分析领域的最佳实践,为开发者打造一站式数据开发体验,并且跟华为云物联网相关服务(比如设备接入)无缝对接,降低开发者开发难度,提升开发效率。
3、针对物联网时序数据优化
针对物联网数据具备的显著时序特征,华为云数据分析服务在数据存储及数据分析上做了大量的优化。比如海量时间线能力,单实例支持10万线,数据存储压缩比20:1,以及多种时间维度的聚合计算能力。
2.云数据仓库 GaussDB(DWS)
基本介绍
新一代、全场景数据仓库,一站式分析,性能、容量无限扩展;守护高价值数据、创享高价值分析,企业数字化转型坚实伙伴
优点分析
1.高并发交互式查询秒级响应,分析师工作效率全面提升
单集群480节点,装机容量20PB,支撑数据分析、集市、BI等各种场景;
通过分布式查询优化,实现高并发点查询秒级/毫秒级响应;
资源融合统一,灵活调配,多层级并行计算,效率最优
2.HTAP混合负载,按需弹性,湖仓一体
混合负载:“一库两用”,支持超过100万QPS、10万TPS高并发混合读写,支持事务强一致;
资源管理:可以根据业务优先级进行资源动态分配,实现“快慢通道”;
按需扩容:弹性按需扩容,灵活应对用户数据及负载潮汐变化;
仓湖一体:DWS可以直接读写OBS对象存储系统的数据,支持数据冷热分级。
3.复杂即席查询,实时数据分析,一站式平台
复杂SQL实时查询,10+表格联合运算,秒级返回结果;
实时入仓批流融合60万/秒/节点,T+0完成数据分析;
多源数据融合,一站式统一平台,助力非传统数仓工程师便捷使用数据。
以上内容分享自华为云社区《【云驻共创】你知道有哪些好用的数据分析工具类软件?》,作者:再见孙悟空_ 。
被EXCEL伤害的人很多!很多先知先觉的人,都在改用新的工具了( 文末送出免费工具。 )做分析做管理,全都能0代码搞定。普通人一样会用。
EXCEL有多少坑?
1.多用户无法协同 2.数据多了慢,错,乱 3.用户权限不能控制,表单样式总是会被篡改4. 没有流程啊 5.……很多吧,有体验的朋友,可以在评论区说说。
今天重点给大家一款可以替代EXCEL来做数据管理,和企业管理。
来看看:云表企业应用平台,大家都称为云表。
多用户协同工作,数据共享有没有?有!工作流程有没有?绝对有!用户权限可以设置吗?当然可以设置了,除此之外,传统软件能搞定的,云表都能做到。
可以做真正的企业管理软件,除了数据统计分析外,像OA|ERP|CRM进销存等软件都能0代码设计。
很多公司都直接用云表来设计管理软件了,代替了传统的软件。
灵活,随时要改随时改,再也不用担心不会编程,导致企业系统无法改动了。
用法很简单:
全部都是通过点击鼠标来画软件界面,设置流程、用户权限、业务管理逻辑了。移动APP也可以0代码设计。很多大公司都在用,传统的那些软件逐步都被淘汰了。现在还有长年免费的软件和培训,通过以下方式可以获取,先到先得哦。免费送啦:
1.点赞+转发+评论
2.点击头像,发私信“云表”
头条系统看到完成以上动作,就会自动发给你。
大家日常工作中接触了很多数据分析工具,如常见的 excel ,如果不想再用Excel了,那么更深入一些的,就是sql语言,当让也可以是编程语言例如python,如果没有基础的情况下学习python 见效会比较麻烦。 那么我们可以从界面化的数据处理平台下手,这里介绍快速上手的界面化配置平台JVS-数据智仓。
数据自动抽取
智仓自动化抽取数据,设置定时任务
可以从多种数据库、多种数据源进行自动同步结构
数据可视化流程+拖拽化加工
可视化流程处理数据,
筛选节点:
汇总节点:
数据衍生:
横向连接
字段设置:
追加合并:
多种数据应用
大屏、图表、报告、API
关于数据智仓的功能介绍,可以点击下方查看了解
JVS-数据智仓部分功能已经开源,JVS开源地址:https://gitee.com/software-minister,在线demo:frame.bctools.cn
tableau ,QlikView,还有大微软的powerbi都可以制作dashboard 可视化报表,个人比较推荐使用微软的power bi 软件,一方面是微软的技术实力比较强,且很重视这款软件,基本每月都会更新新的功能;另一方面是软件对个人是免费的,而且还有手机APP ,可以随时随地查看自己做的报表,含有重要的一点是它有一个很好的社区,里面又很多很漂亮的图表模板,比如KPI 绩效图表、子弹图、桑椹图等等,另外图表配色也超级漂亮。想要编程的话就选择Python 或者R语言。
dashboard用excel最快,excel2016里的插件也不错!