{ "cells": [ { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t1.000\t0.943\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t1.000\t0.886\t0.886\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.686\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.800\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.714\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.886\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.886\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.914\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.314\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.429\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.771\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.943\t0.714\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.514\t0.714\t0.314\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三10班\t0.857\t0.829\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t1.000\t0.700\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t1.000\t0.950\t0.850\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.650\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.800\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.600\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.900\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.950\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t1.000\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.350\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.250\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.850\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t1.000\t0.900\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.700\t0.850\t0.150\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三11班\t0.800\t0.550\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t1.000\t1.000\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t1.000\t0.857\t0.857\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.857\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.667\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.571\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.952\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.905\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.905\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.429\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.667\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.714\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t1.000\t0.762\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.809\t0.762\t0.286\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三12班\t0.809\t0.809\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t1.000\t1.000\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t1.000\t0.964\t1.000\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.964\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.929\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.857\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.964\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t1.000\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t1.000\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.643\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.821\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.964\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.964\t0.893\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.679\t0.964\t0.536\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三01班\t0.893\t0.929\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t1.000\t0.781\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t1.000\t0.938\t0.906\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.719\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.906\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.844\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.750\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.969\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.906\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.438\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.812\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.875\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t1.000\t0.219\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.500\t0.812\t0.500\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三02班\t0.656\t0.562\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t1.000\t1.000\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.917\t0.917\t0.917\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.750\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.708\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.792\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.792\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.958\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t1.000\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.500\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.792\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t1.000\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.958\t0.708\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.417\t0.917\t0.375\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三03班\t0.833\t0.958\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t1.000\t0.880\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.960\t0.880\t0.920\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.760\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.880\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.680\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.600\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.960\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.880\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.400\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.680\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.760\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.920\t0.440\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.360\t0.520\t0.320\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三04班\t0.800\t0.400\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t1.000\t0.944\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.972\t0.917\t0.917\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.861\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.889\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.806\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.889\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.972\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.972\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.472\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.583\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.833\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.917\t0.861\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.583\t0.778\t0.389\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三05班\t0.944\t0.861\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.971\t0.943\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.943\t0.800\t0.914\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.771\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.914\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.886\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.943\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t1.000\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.971\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.543\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.829\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.886\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t1.000\t0.943\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.400\t0.943\t0.229\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三06班\t0.886\t0.914\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.964\t0.821\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t1.000\t0.893\t0.893\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.571\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.607\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.679\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.857\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.893\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t1.000\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.321\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.464\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.714\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.929\t0.714\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.714\t0.714\t0.179\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三07班\t0.964\t0.250\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.962\t0.962\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t1.000\t0.885\t0.846\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.808\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.769\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.692\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.769\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.962\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.885\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.462\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.538\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.769\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t1.000\t0.615\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.269\t0.692\t0.231\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三08班\t0.808\t0.269\n", "题号: 014532 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.893\t0.857\n", "题号: 014533 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.964\t0.786\t0.786\n", "题号: 012920 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.786\n", "题号: 014534 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.714\n", "题号: 013926 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.643\n", "题号: 013921 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.786\n", "题号: 012967 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.893\n", "题号: 012968 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.857\n", "题号: 012933 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.286\n", "题号: 013923 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.321\n", "题号: 014546 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.714\n", "题号: 014540 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.929\t0.786\n", "题号: 013007 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.679\t0.571\t0.214\n", "题号: 014538 , 字段: usages 中已添加数据: 20230321\t2023届高三09班\t0.893\t0.607\n" ] } ], "source": [ "import os,re,json\n", "\n", "\"\"\"---明确数据文件位置---\"\"\"\n", "datafile = \"文本文件/metadata.txt\"\n", "# 双回车分隔,记录内单回车分隔列表,首行为字段名\n", "\"\"\"---文件位置结束---\"\"\"\n", "\n", "def trim(string):\n", " string = re.sub(r\"^[ \\t\\n]*\",\"\",string)\n", " string = re.sub(r\"[ \\t\\n]*$\",\"\",string)\n", " return string\n", "def FloatToInt(string):\n", " f = float(string)\n", " if abs(f-round(f))<0.01:\n", " f = round(f)\n", " return f\n", "\n", "with open(datafile,\"r\",encoding=\"utf8\") as f:\n", " data = f.read().strip()\n", "pos = data.index(\"\\n\")\n", "field = data[:pos].strip()\n", "appending_data = data[pos:]\n", "\n", "with open(r\"../题库0.3/Problems.json\",\"r\",encoding = \"utf8\") as f:\n", " database = f.read()\n", "pro_dict = json.loads(database)\n", "with open(r\"../题库0.3/LessonObj.json\",\"r\",encoding = \"utf8\") as f:\n", " database = f.read()\n", "obj_dict = json.loads(database)\n", "\n", "#该字段列表可能需要更新\n", "fields = [\"content\",\"objs\",\"tags\",\"genre\",\"ans\",\"solution\",\"duration\",\"usages\",\"origin\",\"edit\",\"same\",\"related\",\"remark\",\"space\"]\n", "\n", "if field in fields:\n", " field_type = type(pro_dict[\"000001\"][field])\n", " datalist = [record.strip() for record in appending_data.split(\"\\n\\n\") if len(trim(record)) > 0]\n", " for record in datalist:\n", " id = re.findall(r\"^[\\d]{1,}\",record)[0]\n", " data = record[len(id):].strip()\n", " id = id.zfill(6)\n", " if not id in pro_dict:\n", " print(\"题号:\",id,\"不在数据库中.\")\n", " break\n", " \n", " #字符串类型字段添加数据\n", " elif field_type == str and data in pro_dict[id][field]:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",data)\n", " elif field_type == str and not data in pro_dict[id][field] and not field == \"ans\" and not field == \"space\":\n", " origin_data = pro_dict[id][field]\n", " new_data = trim(origin_data + \"\\n\" + data)\n", " pro_dict[id][field] = new_data\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",data)\n", " elif field_type == str and not data in pro_dict[id][field] and field == \"ans\" or field == \"space\":\n", " pro_dict[id][field] = data\n", " print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",data)\n", " \n", " #数值类型字段添加数据\n", " elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])<0.01:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",FloatToInt(data))\n", " elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])>=0.01:\n", " pro_dict[id][field] = FloatToInt(data)\n", " print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",FloatToInt(data))\n", " \n", " #列表类型字段添加数据\n", " elif field_type == list:\n", " cell_data_list = [d.strip() for d in data.split(\"\\n\")]\n", " for cell_data in cell_data_list:\n", " if cell_data in pro_dict[id][field]:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",cell_data)\n", " elif not field == \"objs\":\n", " pro_dict[id][field].append(cell_data)\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data)\n", " else:\n", " if not cell_data in obj_dict and not cell_data.upper() == \"KNONE\":\n", " print(\"题号:\",id,\", 字段:\",field,\"目标编号有误:\",cell_data)\n", " else:\n", " pro_dict[id][field].append(cell_data.upper())\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data.upper())\n", "\n", "with open(r\"../题库0.3/Problems.json\",\"w\",encoding = \"utf8\") as f:\n", " f.write(json.dumps(pro_dict,indent=4,ensure_ascii=False))" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "pythontest", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.15" }, "orig_nbformat": 4, "vscode": { "interpreter": { "hash": "91219a98e0e9be72efb992f647fe78b593124968b75db0b865552d6787c8db93" } } }, "nbformat": 4, "nbformat_minor": 2 }