量化开发期间,每次都获取券商数据,总是一个麻烦事。所以搭建一个本地的数据库进行存储,可以节约很多不必要的性能和资源开销。一般情况下,建议使用clickhouse数据库来当做你的数据库存储。不过本文章为了快速入门,就以postgresql为例来做数据库存储。
本地postgresql我使用的debian系统进行安装。使用debian的原因:debian的shell操作可以兼容更多的Linux系列操作系统,例如Ubuntu系列、华为欧拉系列、麒麟操作系统系列等。
步骤 1: 更新系统
首先,确保你的系统是最新的。打开终端并执行:
sudoapt update
sudoapt upgrade
步骤 2: 安装PostgreSQL
Debian的官方仓库中包含了PostgreSQL。你可以直接安装最新的PostgreSQL版本。运行以下命令来安装:
sudo apt install postgresql
步骤 3: 启动和启用服务
安装完成后,PostgreSQL服务通常会自动启动。你可以检查服务状态:
sudo systemctl status postgresql
如果服务没有运行,你可以启动并设置开机启动:
sudosystemctl start postgresql
sudosystemctl enable postgresql
步骤 4: 创建数据库和用户
安装完毕后,你可以开始创建数据库和用户。首先,切换到postgres用户:
sudo -i -u postgres
然后,你可以进入PostgreSQL命令行界面:
psql
在这里,你可以创建一个新的用户和数据库,并授予用户权限:
CREATEUSER myuser WITH ENCRYPTED PASSWORD'mypassword';
CREATEDATABASE mydb;
GRANTALLPRIVILEGESONDATABASE mydb TO myuser;
授予public的权限
-- 给予特定用户对schema 的使用权限
GRANTUSAGEONSCHEMA my_schema TO your_user;
-- 给予特定用户对 schema 中所有表的所有权限
GRANTALLONALLTABLESINSCHEMA my_schema TO your_user;
-- 设置默认权限,以确保将来在 schema 中创建的所有新表都将自动给予特定用户相应权限
ALTERDEFAULTPRIVILEGESINSCHEMA my_schema GRANTALLONTABLESTO your_user;
退出psql使用\q,然后回到普通用户使用exit。
步骤 5: 配置远程访问
如果你需要远程连接到你的PostgreSQL数据库,你需要修改postgresql.conf和pg_hba.conf文件。这些文件通常位于/etc/postgresql/版本/main/目录中。
【备注】我当前最新版本是15版本,如果以后你们下载的可能不是15版本,请根据实际版本进行配置。例如配置默认路径里面的15是实际你自己的版本,例如16、17、18等等。
编辑postgresql.conf,设置listen_addresses为'*':
sudo vim /etc/postgresql/15/main/postgresql.conf
在文件中找到listen_addresses并修改它:
listen_addresses = '*'
改变前:
改变后:
编辑pg_hba.conf,添加或修改规则以允许远程连接:
sudo vim /etc/postgresql/15/main/pg_hba.conf
在合适的位置添加:
# TYPE DATABASE USER ADDRESS METHOD
hostallall 0.0.0.0/0 md5
重启PostgreSQL服务使更改生效:
sudo systemctl restart postgresql
然后可以使用一些客户端工具来连接数据库,例如DataGrip、Navicat、Dbeaver等等都可以。
并且里面没有任何表结构等信息。
实现根据表名称自动创建指定的表结构。用于存放所有大A的历史数据。先创建一个实体类,并用来指定表字段名称,用于统一生成所有股票的表结构。
以及预留三个字段,存储DIF、DEA、MACD数据
创建一个简单的帮助类,用于操作数据库使用。并且实例创建以后,默认提供一个获取sqlsugarscope对象的方法,以及获取已有表信息的集合。
最后提供一个创建表结构的方法,用于指定表结构所需要的实体类,以及表名称。表名称此处可以以股票代码为表名称
对之前获取股票清单的地方,做一个创建表的操作。此处为了简单操作,大佬们可以对帮助类做其他拓展,以便于支持依赖注入等。
开始执行,可以看到表结构在持续性创建
展开任意一个表,可以看到字段都被成功创建了。后续这些表就会被用于存储对应表名称的股票代码的所有历史数据。
执行完毕以后,可以看到总共5361个表。
接下来,在数据库操作帮助类里面,新增CRUD有关操作
对获取历史数据的操作,做个改造,获取历史数据以后也计算DIF、DEA、MACD数据,并一起写入数据库:
执行获取历史任务job,可以看到刷刷刷的获取记录信息。
打开数据库表,查看数据,可以看见数据写入成功,并且dif、dea、macd数据也都记录成功。和通达信等app上面的数据也一致(app显示的是四舍五入以后的数据)
等待程序执行完毕,整个历史数据就生成成功了。历史数据可以用来方便计算你的策略的历史模拟战绩,形成你的个人财富。
以上只是抛砖引玉,大家还可以自行保存分钟数据、周数据、每个交易日收盘以后自动新增当天数据等进行维护,此处就不一一列举了。
数据库核心操作帮助类,供参考:
public class DatabaseHelper
{
private DbTableInfo[] _initTables=new DbTableInfo[0];
private SqlSugarScope _sqlScope = null;
public DatabaseHelper()
{
_sqlScope = GetDbScope();
GetTableList(_sqlScope);
}
/// <summary>
/// 返回表名称
/// </summary>
/// <returns></returns>
publicstring[] GetStockTableNames()
{
return _initTables.Select(x => x.Name).ToArray();
}
private SqlSugarScope GetDbScope()
{
var db = new SqlSugarScope(new ConnectionConfig()
{
ConnectionString = "Host=ip;Port=port;Username=username;Password=pwd;Database=dbname;",
DbType = DbType.PostgreSQL,
IsAutoCloseConnection = true,
InitKeyType = InitKeyType.Attribute
});
return db;
}
/// <summary>
/// 获取已有的数据库表
/// </summary>
/// <param name="db"></param>
/// <param name="tableName"></param>
/// <returns></returns>
privatevoid GetTableList(SqlSugarScope db)
{
_initTables = db.DbMaintenance.GetTableInfoList(false).ToArray();
}
publicvoid CreateTableWithCustomName<T>(string tableName)
{
try
{
if (!_initTables.Any(x => x.Name == tableName))
{
_sqlScope.MappingTables.Add(typeof(T).Name, tableName);
// 通过动态指定表名来初始化或迁移表结构
_sqlScope.CodeFirst.InitTables<T>();
// 解除映射
_sqlScope.MappingTables.Remove(new MappingTable() { EntityName = typeof(T).Name });
}
else
{
Debug.WriteLine($"Table '{tableName}' already exists.");
}
}catch(Exception ex)
{
Debug.WriteLine(ex.Message);
}
}
/// <summary>
/// 映射表
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
privatevoid UseTable<T>(string tableName)
{
_sqlScope.MappingTables.Add(typeof(T).Name, tableName);
}
/// <summary>
/// 插入数据
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
publicvoid InsertData<T>(string tableName, List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Insertable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear(); // 清理映射以防止后续操作错误
}
/// <summary>
/// 查询
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <returns></returns>
public List<T> QueryData<T>(string tableName) where T : class, new()
{
UseTable<T>(tableName);
var result = _sqlScope.Queryable<T>().ToList();
_sqlScope.MappingTables.Clear();
return result;
}
/// <summary>
/// 更新
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
publicvoid UpdateData<T>(string tableName, List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Updateable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear();
}
/// <summary>
/// 删除数据
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
publicvoid DeleteData<T>(string tableName,List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Deleteable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear();
}
/// <summary>
/// 删除指定的表
/// </summary>
/// <param name="tableName"></param>
publicvoid DropTableIfExists(string tableName)
{
if (_sqlScope.DbMaintenance.IsAnyTable(tableName, false))
{
_sqlScope.DbMaintenance.DropTable(tableName);
}
else
{
Debug.WriteLine($"Table {tableName} does not exist.");
}
}
}
谷市有风险,量化需谨慎~大佬们且量且珍惜~
如果觉得有帮助,欢迎点赞+转发+收藏+关注【Dotnet Dancer】~谢谢大佬们,祝大佬们早日财富自由~