当前位置: 欣欣网 > 码农

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

2024-07-08码农

量化开发期间,每次都获取券商数据,总是一个麻烦事。所以搭建一个本地的数据库进行存储,可以节约很多不必要的性能和资源开销。一般情况下,建议使用clickhouse数据库来当做你的数据库存储。不过本文章为了快速入门,就以postgresql为例来做数据库存储。

本地postgresql我使用的debian系统进行安装。使用debian的原因:debian的shell操作可以兼容更多的Linux系列操作系统,例如Ubuntu系列、华为欧拉系列、麒麟操作系统系列等。

步骤 1: 更新系统

首先,确保你的系统是最新的。打开终端并执行:

sudoapt updatesudoapt upgrade

步骤 2: 安装PostgreSQL

Debian的官方仓库中包含了PostgreSQL。你可以直接安装最新的PostgreSQL版本。运行以下命令来安装:

sudo apt install postgresql

步骤 3: 启动和启用服务

安装完成后,PostgreSQL服务通常会自动启动。你可以检查服务状态:

sudo systemctl status postgresql

如果服务没有运行,你可以启动并设置开机启动:

sudosystemctl start postgresqlsudosystemctl enable postgresql

步骤 4: 创建数据库和用户

安装完毕后,你可以开始创建数据库和用户。首先,切换到postgres用户:

sudo -i -u postgres

然后,你可以进入PostgreSQL命令行界面:

psql

在这里,你可以创建一个新的用户和数据库,并授予用户权限:

CREATEUSER myuser WITH ENCRYPTED PASSWORD'mypassword';CREATEDATABASE mydb;GRANTALLPRIVILEGESONDATABASE mydb TO myuser;

授予public的权限

-- 给予特定用户对schema 的使用权限

GRANTUSAGEONSCHEMA my_schema TO your_user;

-- 给予特定用户对 schema 中所有表的所有权限

GRANTALLONALLTABLESINSCHEMA my_schema TO your_user;

-- 设置默认权限,以确保将来在 schema 中创建的所有新表都将自动给予特定用户相应权限

ALTERDEFAULTPRIVILEGESINSCHEMA my_schema GRANTALLONTABLESTO your_user;

退出psql使用\q,然后回到普通用户使用exit。

步骤 5: 配置远程访问

如果你需要远程连接到你的PostgreSQL数据库,你需要修改postgresql.conf和pg_hba.conf文件。这些文件通常位于/etc/postgresql/版本/main/目录中。

【备注】我当前最新版本是15版本,如果以后你们下载的可能不是15版本,请根据实际版本进行配置。例如配置默认路径里面的15是实际你自己的版本,例如16、17、18等等。

编辑postgresql.conf,设置listen_addresses为'*':

sudo vim /etc/postgresql/15/main/postgresql.conf

在文件中找到listen_addresses并修改它:

listen_addresses = '*'

改变前:

改变后:

编辑pg_hba.conf,添加或修改规则以允许远程连接:

sudo vim /etc/postgresql/15/main/pg_hba.conf

在合适的位置添加:

# TYPE DATABASE USER ADDRESS METHOD

hostallall 0.0.0.0/0 md5

重启PostgreSQL服务使更改生效:

sudo systemctl restart postgresql

然后可以使用一些客户端工具来连接数据库,例如DataGrip、Navicat、Dbeaver等等都可以。

并且里面没有任何表结构等信息。

实现根据表名称自动创建指定的表结构。用于存放所有大A的历史数据。先创建一个实体类,并用来指定表字段名称,用于统一生成所有股票的表结构。

以及预留三个字段,存储DIF、DEA、MACD数据

创建一个简单的帮助类,用于操作数据库使用。并且实例创建以后,默认提供一个获取sqlsugarscope对象的方法,以及获取已有表信息的集合。

最后提供一个创建表结构的方法,用于指定表结构所需要的实体类,以及表名称。表名称此处可以以股票代码为表名称

对之前获取股票清单的地方,做一个创建表的操作。此处为了简单操作,大佬们可以对帮助类做其他拓展,以便于支持依赖注入等。

开始执行,可以看到表结构在持续性创建

展开任意一个表,可以看到字段都被成功创建了。后续这些表就会被用于存储对应表名称的股票代码的所有历史数据。

执行完毕以后,可以看到总共5361个表。

接下来,在数据库操作帮助类里面,新增CRUD有关操作

对获取历史数据的操作,做个改造,获取历史数据以后也计算DIF、DEA、MACD数据,并一起写入数据库:

执行获取历史任务job,可以看到刷刷刷的获取记录信息。

打开数据库表,查看数据,可以看见数据写入成功,并且dif、dea、macd数据也都记录成功。和通达信等app上面的数据也一致(app显示的是四舍五入以后的数据)

等待程序执行完毕,整个历史数据就生成成功了。历史数据可以用来方便计算你的策略的历史模拟战绩,形成你的个人财富。

以上只是抛砖引玉,大家还可以自行保存分钟数据、周数据、每个交易日收盘以后自动新增当天数据等进行维护,此处就不一一列举了。

数据库核心操作帮助类,供参考:

  • public class DatabaseHelper{private DbTableInfo[] _initTables=new DbTableInfo[0];private SqlSugarScope _sqlScope = null;public DatabaseHelper() { _sqlScope = GetDbScope(); GetTableList(_sqlScope); }/// <summary>/// 返回表名称/// </summary>/// <returns></returns>publicstring[] GetStockTableNames() {return _initTables.Select(x => x.Name).ToArray(); }private SqlSugarScope GetDbScope() {var db = new SqlSugarScope(new ConnectionConfig() { ConnectionString = "Host=ip;Port=port;Username=username;Password=pwd;Database=dbname;", DbType = DbType.PostgreSQL, IsAutoCloseConnection = true, InitKeyType = InitKeyType.Attribute });return db; }/// <summary>/// 获取已有的数据库表/// </summary>/// <param name="db"></param>/// <param name="tableName"></param>/// <returns></returns>privatevoid GetTableList(SqlSugarScope db) { _initTables = db.DbMaintenance.GetTableInfoList(false).ToArray(); }publicvoid CreateTableWithCustomName<T>(string tableName) {try {if (!_initTables.Any(x => x.Name == tableName)) { _sqlScope.MappingTables.Add(typeof(T).Name, tableName);// 通过动态指定表名来初始化或迁移表结构 _sqlScope.CodeFirst.InitTables<T>();// 解除映射 _sqlScope.MappingTables.Remove(new MappingTable() { EntityName = typeof(T).Name }); }else { Debug.WriteLine($"Table '{tableName}' already exists."); } }catch(Exception ex) { Debug.WriteLine(ex.Message); } }/// <summary>/// 映射表/// </summary>/// <typeparam name="T"></typeparam>/// <param name="tableName"></param>privatevoid UseTable<T>(string tableName) { _sqlScope.MappingTables.Add(typeof(T).Name, tableName); }/// <summary>/// 插入数据/// </summary>/// <typeparam name="T"></typeparam>/// <param name="tableName"></param>/// <param name="data"></param>publicvoid InsertData<T>(string tableName, List<T> data) where T : class, new() { UseTable<T>(tableName); _sqlScope.Insertable(data).ExecuteCommand(); _sqlScope.MappingTables.Clear(); // 清理映射以防止后续操作错误 }/// <summary>/// 查询/// </summary>/// <typeparam name="T"></typeparam>/// <param name="tableName"></param>/// <returns></returns>public List<T> QueryData<T>(string tableName) where T : class, new() { UseTable<T>(tableName);var result = _sqlScope.Queryable<T>().ToList(); _sqlScope.MappingTables.Clear();return result; }/// <summary>/// 更新/// </summary>/// <typeparam name="T"></typeparam>/// <param name="tableName"></param>/// <param name="data"></param>publicvoid UpdateData<T>(string tableName, List<T> data) where T : class, new() { UseTable<T>(tableName); _sqlScope.Updateable(data).ExecuteCommand(); _sqlScope.MappingTables.Clear(); }/// <summary>/// 删除数据/// </summary>/// <typeparam name="T"></typeparam>/// <param name="tableName"></param>/// <param name="data"></param>publicvoid DeleteData<T>(string tableName,List<T> data) where T : class, new() { UseTable<T>(tableName); _sqlScope.Deleteable(data).ExecuteCommand(); _sqlScope.MappingTables.Clear(); }/// <summary>/// 删除指定的表/// </summary>/// <param name="tableName"></param>publicvoid DropTableIfExists(string tableName) {if (_sqlScope.DbMaintenance.IsAnyTable(tableName, false)) { _sqlScope.DbMaintenance.DropTable(tableName); }else { Debug.WriteLine($"Table {tableName} does not exist."); } }}

    谷市有风险,量化需谨慎~大佬们且量且珍惜~

    如果觉得有帮助,欢迎点赞+转发+收藏+关注【Dotnet Dancer】~谢谢大佬们,祝大佬们早日财富自由~