大数据分析过程遇到的13个问题.docVIP

大数据分析过程遇到的13个问题 大数据分析过程遇到的13个问题 大数据分析过程遇到的13个问题 大数据分析过程遇到的13个问题 大数据分析遇到的13个问题 、最早的数据分析可能就报表 当前好多半据分析后的结果，展现的形式好多，有各样图形以及报表，最早的 应当是简单的几条数据，而后搞个web页面，展现一下数据。初期可能数据量 也不大，随意搞个数据库，而后SQL搞一下，数据报表就出来了。可是数据量 大起来怎么分析呢？数据分析完了怎么做传输呢？这么大的数据量怎么做到及时呢？分析的结果数据假如不是很大还行，假如分析的结果数据还是很大改怎么办呢？这些问题在这篇文章中都能找到答案，下边各个击破。 、要做数据分析，第一要有数据 这个标题感觉有点空话，可是要做饭需要食材相同。有些数据时业务累积的，像交易订单的数据，每一笔交易都会有一笔订单，以后再对订单数据作分析。可是有些场景下，数据无法考业务累积，需要依靠于外面，这个时候外面假如 有现成的数据最好了，直接join过来，可是有时是需要自己获取的，比方搞 个爬虫爬取网页的数据，有时单台机器搞爬虫可能还爬不完，这个时候可能就开始考虑单机多线程爬取或许分布式多线程爬取数据，中间波及到一个步骤，就是在线的业务数据，需要每日夜晚导入到离线的系统中，以后才能够进行分析。 、有了数据，咋分析呢？ 先将数据量小的状况下，可能一个复杂的SQL就能够搞出来，以后搞个w