This repository has been archived on 2024-06-23. You can view files and clone it, but cannot push or open issues or pull requests.
mathdeptv2/工具/批量添加题库字段数据.ipynb

347 lines
20 KiB
Plaintext

{
"cells": [
{
"cell_type": "code",
"execution_count": 3,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"题号: 003327 , 字段: objs 中已添加数据: K0501001B\n",
"题号: 003327 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 003327 , 字段: objs 中已添加数据: K0501006B\n",
"题号: 000139 , 字段: objs 中已添加数据: K0501001B\n",
"题号: 000139 , 字段: objs 中已有该数据: K0501003B\n",
"题号: 000139 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 000139 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001851 , 字段: objs 中已添加数据: K0501001B\n",
"题号: 001851 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 001851 , 字段: objs 中已添加数据: K0501006B\n",
"题号: 001848 , 字段: objs 中已添加数据: K0501001B\n",
"题号: 003352 , 字段: objs 中已添加数据: K0501003B\n",
"题号: 003352 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 000138 , 字段: objs 中已有该数据: K0501003B\n",
"题号: 000515 , 字段: objs 中已添加数据: K0501003B\n",
"题号: 000515 , 字段: objs 中已添加数据: K0502007B\n",
"题号: 001847 , 字段: objs 中已添加数据: K0501003B\n",
"题号: 001847 , 字段: objs 中已添加数据: K0501006B\n",
"题号: 001854 , 字段: objs 中已添加数据: K0501003B\n",
"题号: 003346 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 003346 , 字段: objs 中已添加数据: K0503001B\n",
"题号: 001871 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 001915 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 000140 , 字段: objs 中已有该数据: K0501004B\n",
"题号: 000140 , 字段: objs 中已添加数据: K0503001B\n",
"题号: 001846 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 001856 , 字段: objs 中已有该数据: K0501004B\n",
"题号: 001856 , 字段: objs 中已添加数据: K0502004B\n",
"题号: 001856 , 字段: objs 中已添加数据: K0502007B\n",
"题号: 001856 , 字段: objs 中已添加数据: K0503001B\n",
"题号: 001857 , 字段: objs 中已添加数据: K0501004B\n",
"题号: 001857 , 字段: objs 中已添加数据: K0501005B\n",
"题号: 001857 , 字段: objs 中已添加数据: K0503002B\n",
"题号: 000919 , 字段: objs 中已添加数据: K0502001B\n",
"题号: 000919 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 000919 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003326 , 字段: objs 中已添加数据: K0502002B\n",
"题号: 003326 , 字段: objs 中已添加数据: K0502007B\n",
"题号: 003331 , 字段: objs 中已添加数据: K0502002B\n",
"题号: 003332 , 字段: objs 中已添加数据: K0502002B\n",
"题号: 001850 , 字段: objs 中已添加数据: K0502004B\n",
"题号: 001852 , 字段: objs 中已添加数据: K0502004B\n",
"题号: 001852 , 字段: objs 中已添加数据: K0502006B\n",
"题号: 003343 , 字段: objs 中已添加数据: K0502007B\n",
"题号: 003343 , 字段: objs 中已添加数据: K0503002B\n",
"题号: 003343 , 字段: objs 中已添加数据: K0507007B\n",
"题号: 003328 , 字段: objs 中已添加数据: K0503001B\n",
"题号: 003328 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 000883 , 字段: objs 中已添加数据: K0503001B\n",
"题号: 003347 , 字段: objs 中已添加数据: K0503002B\n",
"题号: 003347 , 字段: objs 中已添加数据: K0504003B\n",
"题号: 003347 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001888 , 字段: objs 中已添加数据: K0503002B\n",
"题号: 001888 , 字段: objs 中已添加数据: K0507007B\n",
"题号: 001889 , 字段: objs 中已添加数据: K0503002B\n",
"题号: 001889 , 字段: objs 中已添加数据: K0507007B\n",
"题号: 001889 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 003329 , 字段: objs 中已添加数据: K0503003B\n",
"题号: 001858 , 字段: objs 中已添加数据: K0503003B\n",
"题号: 001869 , 字段: objs 中已添加数据: K0503005B\n",
"题号: 001873 , 字段: objs 中已添加数据: K0503005B\n",
"题号: 001861 , 字段: objs 中已添加数据: K0506001B\n",
"题号: 001870 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001868 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 003355 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 003361 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001867 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001904 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001910 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 003333 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 003337 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 000145 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 000535 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 000785 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 000930 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001860 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 001866 , 字段: objs 中已添加数据: K0506003B\n",
"题号: 000143 , 字段: objs 中已有该数据: K0507007B\n",
"题号: 000143 , 字段: objs 中已有该数据: K0507009B\n",
"题号: 000143 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 000144 , 字段: objs 中已有该数据: K0507007B\n",
"题号: 000144 , 字段: objs 中已有该数据: K0507009B\n",
"题号: 000144 , 字段: objs 中已有该数据: K0508003B\n",
"题号: 000146 , 字段: objs 中已有该数据: K0507007B\n",
"题号: 000155 , 字段: objs 中已添加数据: K0507007B\n",
"题号: 000155 , 字段: objs 中已有该数据: K0509001B\n",
"题号: 000156 , 字段: objs 中已添加数据: K0507007B\n",
"题号: 000156 , 字段: objs 中已有该数据: K0508003B\n",
"题号: 003351 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 001894 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 001907 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 000150 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 001865 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 001874 , 字段: objs 中已添加数据: K0509001B\n",
"题号: 003344 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 003353 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 003358 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 003358 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001895 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 000148 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 000151 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 001859 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 001864 , 字段: objs 中已添加数据: K0509002B\n",
"题号: 003348 , 字段: objs 中已添加数据: K0509003B\n",
"题号: 003336 , 字段: objs 中已添加数据: K0509003B\n",
"题号: 001862 , 字段: objs 中已添加数据: K0509003B\n",
"题号: 001863 , 字段: objs 中已添加数据: K0509003B\n",
"题号: 001872 , 字段: objs 中已添加数据: K0509003B\n",
"题号: 000481 , 字段: objs 中已添加数据: K0504002B\n",
"题号: 000481 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 000894 , 字段: objs 中已添加数据: K0504002B\n",
"题号: 000894 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 001912 , 字段: objs 中已添加数据: K0504003B\n",
"题号: 003334 , 字段: objs 中已添加数据: K0504003B\n",
"题号: 003334 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003339 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 001878 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 001878 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 001897 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 001897 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001914 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 001917 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 003330 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 003330 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 000973 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 000947 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 000947 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 000153 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 000154 , 字段: objs 中已有该数据: K0504006B\n",
"题号: 000154 , 字段: objs 中已添加数据: K0505004B\n",
"题号: 000871 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 001877 , 字段: objs 中已添加数据: K0504006B\n",
"题号: 003356 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 001901 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 000414 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 000760 , 字段: objs 中已添加数据: K0504007B\n",
"题号: 001882 , 字段: objs 中已添加数据: K0505001B\n",
"题号: 001883 , 字段: objs 中已添加数据: K0505001B\n",
"题号: 000792 , 字段: objs 中已添加数据: K0505001B\n",
"题号: 000792 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 000819 , 字段: objs 中已添加数据: K0505001B\n",
"题号: 000819 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001849 , 字段: objs 中已添加数据: K0505001B\n",
"题号: 001849 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001885 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 000141 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 000141 , 字段: objs 中已有该数据: K0508003B\n",
"题号: 000142 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 000142 , 字段: objs 中已有该数据: K0505005B\n",
"题号: 000936 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 000936 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001853 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 001853 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001880 , 字段: objs 中已添加数据: K0505003B\n",
"题号: 003338 , 字段: objs 中已添加数据: K0505004B\n",
"题号: 001900 , 字段: objs 中已添加数据: K0505004B\n",
"题号: 001900 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001879 , 字段: objs 中已添加数据: K0505004B\n",
"题号: 003340 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003340 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 003341 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003342 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003349 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 003349 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 003354 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001884 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 001906 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 000152 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 000152 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 000152 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 000699 , 字段: objs 中已添加数据: K0505005B\n",
"题号: 000699 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 003335 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001890 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001892 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001893 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001896 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001899 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001908 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 001913 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 000855 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 000554 , 字段: objs 中已添加数据: K0508003B\n",
"题号: 003360 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 003360 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 001916 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001916 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 001886 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001891 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001898 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 001898 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 001903 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 000147 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 000147 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 000157 , 字段: objs 中已添加数据: K0508004B\n",
"题号: 003345 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 003350 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 003357 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 001887 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 000149 , 字段: objs 中已添加数据: K0508005B\n",
"题号: 003359 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001881 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001905 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001909 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001911 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001875 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 000158 , 字段: objs 中已有该数据: K0509004B\n",
"题号: 000160 , 字段: objs 中已有该数据: K0509004B\n",
"题号: 000161 , 字段: objs 中已有该数据: K0509004B\n",
"题号: 000955 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001876 , 字段: objs 中已添加数据: K0509004B\n",
"题号: 001902 , 字段: objs 中已添加数据: K0510001B\n",
"题号: 000159 , 字段: objs 中已有该数据: K0510003B\n"
]
}
],
"source": [
"import os,re,json\n",
"\n",
"\"\"\"---明确数据文件位置---\"\"\"\n",
"datafile = \"临时文件/字段数据.txt\"\n",
"# 双回车分隔,记录内单回车分隔列表,首行为字段名\n",
"\"\"\"---文件位置结束---\"\"\"\n",
"\n",
"def trim(string):\n",
" string = re.sub(r\"^[ \\t\\n]*\",\"\",string)\n",
" string = re.sub(r\"[ \\t\\n]*$\",\"\",string)\n",
" return string\n",
"def FloatToInt(string):\n",
" f = float(string)\n",
" if abs(f-round(f))<0.01:\n",
" f = round(f)\n",
" return f\n",
"\n",
"with open(datafile,\"r\",encoding=\"utf8\") as f:\n",
" data = f.read()\n",
"pos = data.index(\"\\n\")\n",
"field = data[:pos].strip()\n",
"appending_data = data[pos:]\n",
"\n",
"with open(r\"../题库0.3/Problems.json\",\"r\",encoding = \"utf8\") as f:\n",
" database = f.read()\n",
"pro_dict = json.loads(database)\n",
"with open(r\"../题库0.3/LessonObj.json\",\"r\",encoding = \"utf8\") as f:\n",
" database = f.read()\n",
"obj_dict = json.loads(database)\n",
"\n",
"#该字段列表可能需要更新\n",
"fields = [\"content\",\"objs\",\"tags\",\"genre\",\"ans\",\"solution\",\"duration\",\"usages\",\"origin\",\"edit\",\"same\",\"related\",\"remark\",\"space\"]\n",
"\n",
"if field in fields:\n",
" field_type = type(pro_dict[\"000001\"][field])\n",
" datalist = [record.strip() for record in appending_data.split(\"\\n\\n\") if len(trim(record)) > 0]\n",
" for record in datalist:\n",
" id = re.findall(r\"^[\\d]{1,}\",record)[0]\n",
" data = record[len(id):].strip()\n",
" id = id.zfill(6)\n",
" if not id in pro_dict:\n",
" print(\"题号:\",id,\"不在数据库中.\")\n",
" break\n",
" \n",
" #字符串类型字段添加数据\n",
" elif field_type == str and data in pro_dict[id][field]:\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",data)\n",
" elif field_type == str and not data in pro_dict[id][field] and not field == \"ans\" and not field == \"space\":\n",
" origin_data = pro_dict[id][field]\n",
" new_data = trim(origin_data + \"\\n\" + data)\n",
" pro_dict[id][field] = new_data\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",data)\n",
" elif field_type == str and not data in pro_dict[id][field] and field == \"ans\" or field == \"space\":\n",
" pro_dict[id][field] = data\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",data)\n",
" \n",
" #数值类型字段添加数据\n",
" elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])<0.01:\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",FloatToInt(data))\n",
" elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])>=0.01:\n",
" pro_dict[id][field] = FloatToInt(data)\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",FloatToInt(data))\n",
" \n",
" #列表类型字段添加数据\n",
" elif field_type == list:\n",
" cell_data_list = [d.strip() for d in data.split(\"\\n\")]\n",
" for cell_data in cell_data_list:\n",
" if cell_data in pro_dict[id][field]:\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",cell_data)\n",
" elif not field == \"objs\":\n",
" pro_dict[id][field].append(cell_data)\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data)\n",
" else:\n",
" if not cell_data in obj_dict and not cell_data.upper() == \"KNONE\":\n",
" print(\"题号:\",id,\", 字段:\",field,\"目标编号有误:\",cell_data)\n",
" else:\n",
" pro_dict[id][field].append(cell_data.upper())\n",
" print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data.upper())\n",
"\n",
"with open(r\"../题库0.3/Problems.json\",\"w\",encoding = \"utf8\") as f:\n",
" f.write(json.dumps(pro_dict,indent=4,ensure_ascii=False))"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3.9.7 ('base')",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.7"
},
"orig_nbformat": 4,
"vscode": {
"interpreter": {
"hash": "e4cce46d6be9934fbd27f9ca0432556941ea5bdf741d4f4d64c6cd7f8dfa8fba"
}
}
},
"nbformat": 4,
"nbformat_minor": 2
}