爬虫作为目前用的较多的数据爬取方法已经有很多教程了，但是对于没有代码基础的朋友来说短期上手python还是很难得。

　　因此今天就帆软君分别给大家介绍一下免费的数据源网站和一些零基础小白也可以应用的数据爬取工具～

　　易观智库：199IT导航的母网站，权威的互联网数据平台，涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告

　　艾瑞网：高频率更新互联网前沿的新闻资讯、分析报告，旗下包括艾瑞指数、艾瑞咨询等

　　阿里研究院：阿里旗下/发布研究电商等方向趋势的数据报告，内容多与阿里相关

　　360研究报告：360旗下/移动、PC、网站、企业、诈骗爱游戏app下载官网等安全领域的研究，以及大数据等非安全领域的研究

　　中国互联网信息研究中心：经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告

　　中国互联网数据平台：提供全国各地区互联网发展报告、基础数据及研究分析报告，数据及报告偏向学术性研究

　　清博大数据：提供微信、微博、头条榜单数据，各种研究报告、数据报告爱游戏app下载官网、舆情报告及行业热点

　　腾讯大数据：数据服务平台爱游戏app下载官网，提供爱游戏app下载官网调查研究、移动互联网及特色数据报告，质量较高

　　网站提供12大领域、100+行业、6000+权威数据源，基本覆盖了所有的细分行业。首页就有全面又详细的数据分类，可以直接点击分类查看也可以通过关键词查询。

　　绝大部分数据都可以免费下载行业资讯，每日数据更新，数据的结构性好，既可下载原始数据，也可查看可视化效果。收藏夹安排起来~

　　先分享一些科研机构、企业、政府会开放的一些数据集和一些专业的数据下载网站。这些数据集一般都比较完善、质量相对较高，拿到手数据清洗的工作比较少，适合新手做一些简单基础的分析

　　各种民生相关的统计数据，而且所有数据都是免费，而且这个网站的友情链接里还有很多其他地方的数据以及国外数据。

　　美国政府公开数据的网站，包含了经济、消费、教育、医疗、农业等多个领域的数据

　　世界银行的开放数据。平台还提供了一些工具，比如开放数据目录，世界发展指数，教育指数等。

　　主要包含：生活服务、教育、能源、建筑、交通运输、政府、金融、农业、医疗、卫生等行业的数据，大部分免费，有些需要付费

　　最常见的数据可视化项目就是制作某某地区人均收入区别的信息图，找数据可爱游戏app下载官网视化项目相关的数据集的时候，我们希望数据集尽量“干净”，减少数据清洗的工作，数据要足够有趣，能够支撑起丰富的图表，所以这类的数据可以去上面我的说一些公开数据网站找，另外我也列一些除了政府网站之外的相关网站：

　　这是互动式新闻与体育赛事的网站，网站中会发布许多数据相关的文章，这些文章中会把使用到的数据集发布在github上，除了获取数据集，你还可以参考别人的项目过程

　　Socrata OpenData 网站包含多个清洗后的数据集，可以直接在浏览器中查看，也可以下载到本地进行可视化，大部分数据来源于美国政府。

　　UCI是加州大学欧文分校开放的经典数据集，是机器学习领域最有名的数据存储库。包含各种数据集，比如经典的泰坦尼克号幸存预测到最新的数据（如空气质量和GPS轨迹）。

　　作为国内互联网龙头阿里巴巴旗下的大数据竞赛网站，提供了很多比赛数据集可以练手，说不定还能顺手拿个奖，赚点奖金

　　Kaggle 是一个举办了多项机器学习竞赛的数据科学社区。用户可以自己上传数据集，也可以通过某项竞赛下载数据集，里面有不少别的平台找不到的有趣数据集。

　　这个网站提供了不少数据集可以免费下载，而且还有一些数据项目的比赛，不过整体来说项目的难度比较低，奖金也不是很多，学生参加的比较多，反正单纯用来获取数据集还是很不错的

　　5）Quandl这是一个包含经济与金融数据的仓库。其中的部分信息是免费的，但是大部分数据集需要购买，数据可以用来构建经济指标预测或者股价分析模型等等。

　　有时候你可能只是想找一些大型的数据集来进行分析，分析的结果可能并不重要，重要的只是对于数据的读取与分析过程，练习数据处理能力，这里我也列举几个用的比较多的网站：

　　亚马逊在其 Amazon Web Services 中提供了一些大型数据集可以免费下载，不过你得注册一个aws账户，新用户有免费访问的权限

　　Google提供了一些数据集作为其Big Query工具的一部分。包括 GitHub 公共资料库的数据，Hacker News 的所有故事和评论。

　　Youtube标签视频数据集包括来自4800个可视化实体的800万个YouTube视频ID和相关标签。它具有数十亿帧的预计算的、最先进的视觉功能。

　　没错， Excel可以用来做数据爬取。虽然很多知道Excel可以用来做数据分析，但很少有人知道它还能用来爬数

　　火车头是爬虫界的元老了，是目前使用人数最多的互联网数据抓取软件。它的优势是采集不限网页，不限内容，同时还是分布式采集，效率会高一些。不过它规则和操作设置在我看来有一些死板，对小白用户来说上手也有点困难，需要有一定的网页知识基础

　　使用Google Sheet爬取数据前，要保证三点：使用Chrome浏览器、拥有Google账号、电脑已翻墙。

　　八爪鱼采集器是用过最简单易用的采集器，很适合新手使用爱游戏app下载官网。采集原理类似火车头采集器，用户设定抓取规则，软件执行。八爪鱼的优点是提供了常见抓取网站的模板，如果不会写规则， 就直接用套用模板就好了。

　　它是基于浏览器内核实现可视化抓取数据，所以存在卡顿、采集数据慢的现象。不过整体来说还是不错的，毕竟能基本满足新手在短时间抓取数据的场景，比如翻页查询，Ajax 动态加载数据等。

　　集搜客也是一款容易上手的可视化采集数据工具。同样能抓取动态网页，也支持可以抓取手机网站上的数据，还支持抓取在指数图表上悬浮显示的数据。集搜客是以浏览器插件形式抓取数据。虽然具有前面所述的优点，但缺点也有，无法多线程采集数据，出现浏览器卡顿也在所难免。

　　WebScraper 是一款优秀国外的浏览器插件。同样也是一款适合新手抓取数据的可视化工具。我们通过简单设置一些抓取规则，剩下的就交给浏览器去工作。

　　如果你想抓取国外的网站数据，可以考虑 Scrapinghub。它是一个基于Python 的 Scrapy 框架的云爬虫平台，安装和部署挺简单的，但是操作界面是纯英文的，不太友好，而且性价比不高，它提供的每个工具都是单独收费的。

　　其实任何数据来源，看是一方面，分析也是一方面，如果要有分析的话，那就离不开一些可以自主使用的数据分析工具。

　　如果数据不简单，数据量也很大，还有不少的数据处理工作，甚至你还想要一些酷炫的可视化效果，简单快速上手，不妨用一些在线的图表工具，但是前提是数据要在Excel中处理好，如果数据量大可能实现还要在数据库中处理。

　　或者一蹴而就用BI分析工具，诸如FineBI，分析过程无代码，可以很迅速的出结果，同时自带的可视化图表基本能满足大部分使用需求了，适合企业级的数据分析，如果个人想拿来做做报告什么的也是非常轻松。