数据科学入门20个必备代码.docxVIP

数据科学入门20个必备代码

引言

数据科学是一门融合统计学、编程、领域知识的交叉学科，而代码则是连接理论与实践的桥梁。对于刚入门的学习者来说，掌握高频使用的基础代码，既能快速上手实际项目，又能在操作中深化对数据科学流程的理解。本文围绕数据科学全流程（数据获取-清洗-探索-可视化-建模），精选20个最常用的代码片段，覆盖工具库如pandas、numpy、matplotlib、scikit-learn等，帮助初学者建立“从原始数据到模型输出”的完整认知链路。

一、数据获取与加载：从不同源头读取数据的基石

数据科学的第一步是获取数据。现实中的数据可能存储在CSV、Excel、数据库、JSON文件等多种格式中，掌握这些场景下的读取代码，是后续分析的前提。

（一）读取CSV文件：最常见的结构化数据载体

CSV（逗号分隔值）是数据科学中最常用的文件格式之一，广泛用于公开数据集、业务报表导出等场景。使用pandas库的read_csv函数可轻松读取，核心参数包括sep（分隔符，默认逗号）、na_values（指定哪些字符串识别为缺失值）、nrows（限制读取行数，用于快速预览）。例如：

python

importpandasaspd

data=pd.read_csv(‘data.csv’,sep=‘,’,na_values=[‘N/A’,‘缺失’],nrows=100)

需要注意，若文件编码非UTF-8（如中文常见的GBK），需添加encoding=gbk参数；若列名包含特殊符号，可通过names参数自定义列名。

（二）读取Excel文件：办公场景的高频需求

Excel文件（.xlsx或.xls）在企业中广泛使用，pandas的read_excel函数支持读取不同工作表（sheet）。例如读取第二个工作表（索引从0开始）：

python

excel_data=pd.read_excel(‘report.xlsx’,sheet_name=1,usecols=[‘日期’,‘销售额’])

usecols参数可指定读取的列，减少内存占用；skiprows可跳过前几行（如Excel中的标题或空行）。需注意，读取.xls格式需额外安装xlrd库，.xlsx格式则依赖openpyxl。

（三）读取SQL数据库：连接业务系统的关键

企业数据常存储在MySQL、PostgreSQL等关系型数据库中，使用pandas.read_sql可直接查询并加载数据。需先通过sqlalchemy创建数据库连接：

python

fromsqlalchemyimportcreate_engine

engine=create_engine(‘mysql+pymysql://用户名:密码@主机:端口/数据库名’)

query=“SELECT日期,销售额FROM销售表WHERE年份=2023”

sql_data=pd.read_sql(query,engine)

此代码的优势在于避免了手动导出数据的繁琐，直接从生产库获取实时数据。需注意关闭数据库连接（engine.dispose()）以释放资源。

（四）读取JSON文件：非结构化数据的处理基础

JSON（JavaScript对象表示法）常用于API接口返回数据或半结构化日志，pandas的read_json可将其转换为DataFrame。例如读取嵌套JSON：

python

json_data=pd.read_json(‘log.json’,orient=‘records’)

orient参数指定JSON结构类型

若JSON存在嵌套字段（如{“用户”:{“姓名”:“张三”,“年龄”:25}}），可配合json_normalize函数展开：

python

frompandasimportjson_normalize

nested_data=json.load(open(‘nested.json’))

normalized_data=json_normalize(nested_data,record_path=[‘用户’],meta=[‘日志时间’])

（五）读取文本文件：非结构化数据的初步处理

文本文件（.txt）可能包含按固定分隔符（如制表符、竖线）排列的数据，可通过pd.read_csv配合sep参数读取。例如以竖线分隔的日志文件：

python

txt_data=pd.read_csv(‘log.txt’,sep=‘|’,header=None,names=[‘时间’,‘操作’,‘用户ID’])

header=None表示文件无列名，需通过names手动指定；若数据存在多行标题，可通过skiprows跳过。

二、数据清洗与