{ "cells": [ { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "题号: 030290 , 字段: objs 中已添加数据: K0227001X\n", "题号: 030305 , 字段: objs 中已添加数据: K0227001X\n", "题号: 030388 , 字段: objs 中已添加数据: K0227001X\n", "题号: 030390 , 字段: objs 中已添加数据: K0227001X\n", "题号: 030291 , 字段: objs 中已添加数据: K0227002X\n", "题号: 030290 , 字段: objs 中已添加数据: K0227002X\n", "题号: 030298 , 字段: objs 中已添加数据: K0227002X\n", "题号: 030303 , 字段: objs 中已添加数据: K0227002X\n", "题号: 030305 , 字段: objs 中已添加数据: K0227002X\n", "题号: 030309 , 字段: objs 中已添加数据: K0227003X\n", "题号: 030310 , 字段: objs 中已添加数据: K0227003X\n", "题号: 030326 , 字段: objs 中已添加数据: K0227003X\n", "题号: 030339 , 字段: objs 中已添加数据: K0227003X\n", "题号: 030388 , 字段: objs 中已添加数据: K0227003X\n", "题号: 030380 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030390 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030295 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030302 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030304 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030306 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030312 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030315 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030322 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030338 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030342 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030373 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030374 , 字段: objs 中已添加数据: K0227004X\n", "题号: 030294 , 字段: objs 中已添加数据: K0227005X\n", "题号: 030297 , 字段: objs 中已添加数据: K0227005X\n", "题号: 030292 , 字段: objs 中已添加数据: K0228001X\n", "题号: 030307 , 字段: objs 中已添加数据: K0228001X\n", "题号: 030341 , 字段: objs 中已添加数据: K0228001X\n", "题号: 030292 , 字段: objs 中已添加数据: K0228002X\n", "题号: 030340 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030381 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030391 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030392 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030401 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030404 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030370 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030405 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030412 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030294 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030299 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030300 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030318 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030319 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030324 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030329 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030333 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030334 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030336 , 字段: objs 中已添加数据: K0228003X\n", "题号: 030293 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030299 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030301 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030308 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030310 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030311 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030313 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030370 , 字段: objs 中已添加数据: K0228004X\n", "题号: 030389 , 字段: objs 中已添加数据: K0228004X\n", "题号: 010827 , 字段: objs 中已添加数据: K0228005X\n", "题号: 009912 , 字段: objs 中已有该数据: K0228005X\n", "题号: 030317 , 字段: objs 中已添加数据: K0229001X\n", "题号: 030318 , 字段: objs 中已添加数据: K0229001X\n", "题号: 030319 , 字段: objs 中已添加数据: K0229001X\n", "题号: 030328 , 字段: objs 中已添加数据: K0229001X\n", "题号: 030324 , 字段: objs 中已添加数据: K0229002X\n", "题号: 030394 , 字段: objs 中已添加数据: K0229002X\n", "题号: 030327 , 字段: objs 中已添加数据: K0229003X\n", "题号: 030337 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030338 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030339 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030340 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030342 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030381 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030396 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030398 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030399 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030327 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030328 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030329 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030330 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030331 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030332 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030333 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030334 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030335 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030336 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030314 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030316 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030317 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030318 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030319 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030320 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030321 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030321 , 字段: objs 中已有该数据: K0229004X\n", "题号: 030323 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030325 , 字段: objs 中已添加数据: K0229004X\n", "题号: 030326 , 字段: objs 中已添加数据: K0229004X\n", "题号: 009912 , 字段: objs 中已添加数据: K0229005X\n", "题号: 010827 , 字段: objs 中已有该数据: K0229005X\n", "题号: 030320 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030323 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030324 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030332 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030335 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030336 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030337 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030339 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030342 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030381 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030394 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030396 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030398 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030399 , 字段: objs 中已添加数据: K0230001X\n", "题号: 030321 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030321 , 字段: objs 中已有该数据: K0230002X\n", "题号: 030322 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030323 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030333 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030334 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030393 , 字段: objs 中已添加数据: K0230002X\n", "题号: 030314 , 字段: objs 中已添加数据: K0230003X\n", "题号: 030316 , 字段: objs 中已添加数据: K0230003X\n", "题号: 030323 , 字段: objs 中已添加数据: K0230003X\n", "题号: 030342 , 字段: objs 中已添加数据: K0230003X\n", "题号: 030327 , 字段: objs 中已添加数据: K0230004X\n", "题号: 030330 , 字段: objs 中已添加数据: K0230004X\n", "题号: 030331 , 字段: objs 中已添加数据: K0230004X\n", "题号: 030325 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030326 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030330 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030331 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030402 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030403 , 字段: objs 中已添加数据: K0231002X\n", "题号: 030331 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030330 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030327 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030325 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030323 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030371 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030395 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030400 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030406 , 字段: objs 中已添加数据: K0231003X\n", "题号: 030315 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030316 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030320 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030323 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030327 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030328 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030329 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030330 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030331 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030338 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030340 , 字段: objs 中已添加数据: K0231004X\n", "题号: 030407 , 字段: objs 中已添加数据: K0232001X\n", "题号: 030344 , 字段: objs 中已添加数据: K0232001X\n", "题号: 030374 , 字段: objs 中已添加数据: K0232001X\n", "题号: 030408 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030409 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030410 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030411 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030415 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030416 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030422 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030423 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030425 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030343 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030345 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030347 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030348 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030349 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030356 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030360 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030361 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030375 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030380 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030385 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030387 , 字段: objs 中已添加数据: K0232002X\n", "题号: 030415 , 字段: objs 中已添加数据: K0232003X\n", "题号: 030372 , 字段: objs 中已添加数据: K0232004X\n", "题号: 030379 , 字段: objs 中已添加数据: K0232004X\n", "题号: 009922 , 字段: objs 中已有该数据: K0233001X\n", "题号: 010821 , 字段: objs 中已有该数据: K0233001X\n", "题号: 030377 , 字段: objs 中已添加数据: K0233001X\n", "题号: 010827 , 字段: objs 中已添加数据: K0233002X\n", "题号: 010821 , 字段: objs 中已添加数据: K0233002X\n", "题号: 030377 , 字段: objs 中已添加数据: K0233002X\n", "题号: 030411 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030412 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030414 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030417 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030425 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030350 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030351 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030362 , 字段: objs 中已添加数据: K0233003X\n", "题号: 030413 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030418 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030419 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030420 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030424 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030426 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030352 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030354 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030363 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030378 , 字段: objs 中已添加数据: K0234003X\n", "题号: 030346 , 字段: objs 中已添加数据: K0234004X\n", "题号: 030376 , 字段: objs 中已添加数据: K0234004X\n", "题号: 030414 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030421 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030423 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030353 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030355 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030358 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030369 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030386 , 字段: objs 中已添加数据: K0234005X\n", "题号: 030357 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030359 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030364 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030365 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030366 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030367 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030368 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030380 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030382 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030383 , 字段: objs 中已添加数据: K0235001X\n", "题号: 030384 , 字段: objs 中已添加数据: K0235001X\n" ] } ], "source": [ "import os,re,json\n", "\n", "\"\"\"---明确数据文件位置---\"\"\"\n", "datafile = \"文本文件/metadata.txt\"\n", "# 双回车分隔,记录内单回车分隔列表,首行为字段名\n", "\"\"\"---文件位置结束---\"\"\"\n", "\n", "def trim(string):\n", " string = re.sub(r\"^[ \\t\\n]*\",\"\",string)\n", " string = re.sub(r\"[ \\t\\n]*$\",\"\",string)\n", " return string\n", "def FloatToInt(string):\n", " f = float(string)\n", " if abs(f-round(f))<0.01:\n", " f = round(f)\n", " return f\n", "\n", "with open(datafile,\"r\",encoding=\"utf8\") as f:\n", " data = f.read()\n", "pos = data.index(\"\\n\")\n", "field = data[:pos].strip()\n", "appending_data = data[pos:]\n", "\n", "with open(r\"../题库0.3/Problems.json\",\"r\",encoding = \"utf8\") as f:\n", " database = f.read()\n", "pro_dict = json.loads(database)\n", "with open(r\"../题库0.3/LessonObj.json\",\"r\",encoding = \"utf8\") as f:\n", " database = f.read()\n", "obj_dict = json.loads(database)\n", "\n", "#该字段列表可能需要更新\n", "fields = [\"content\",\"objs\",\"tags\",\"genre\",\"ans\",\"solution\",\"duration\",\"usages\",\"origin\",\"edit\",\"same\",\"related\",\"remark\",\"space\"]\n", "\n", "if field in fields:\n", " field_type = type(pro_dict[\"000001\"][field])\n", " datalist = [record.strip() for record in appending_data.split(\"\\n\\n\") if len(trim(record)) > 0]\n", " for record in datalist:\n", " id = re.findall(r\"^[\\d]{1,}\",record)[0]\n", " data = record[len(id):].strip()\n", " id = id.zfill(6)\n", " if not id in pro_dict:\n", " print(\"题号:\",id,\"不在数据库中.\")\n", " break\n", " \n", " #字符串类型字段添加数据\n", " elif field_type == str and data in pro_dict[id][field]:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",data)\n", " elif field_type == str and not data in pro_dict[id][field] and not field == \"ans\" and not field == \"space\":\n", " origin_data = pro_dict[id][field]\n", " new_data = trim(origin_data + \"\\n\" + data)\n", " pro_dict[id][field] = new_data\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",data)\n", " elif field_type == str and not data in pro_dict[id][field] and field == \"ans\" or field == \"space\":\n", " pro_dict[id][field] = data\n", " print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",data)\n", " \n", " #数值类型字段添加数据\n", " elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])<0.01:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",FloatToInt(data))\n", " elif (field_type == int or field_type == float) and abs(float(data) - pro_dict[id][field])>=0.01:\n", " pro_dict[id][field] = FloatToInt(data)\n", " print(\"题号:\",id,\", 字段:\",field,\"中已修改数据:\",FloatToInt(data))\n", " \n", " #列表类型字段添加数据\n", " elif field_type == list:\n", " cell_data_list = [d.strip() for d in data.split(\"\\n\")]\n", " for cell_data in cell_data_list:\n", " if cell_data in pro_dict[id][field]:\n", " print(\"题号:\",id,\", 字段:\",field,\"中已有该数据:\",cell_data)\n", " elif not field == \"objs\":\n", " pro_dict[id][field].append(cell_data)\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data)\n", " else:\n", " if not cell_data in obj_dict and not cell_data.upper() == \"KNONE\":\n", " print(\"题号:\",id,\", 字段:\",field,\"目标编号有误:\",cell_data)\n", " else:\n", " pro_dict[id][field].append(cell_data.upper())\n", " print(\"题号:\",id,\", 字段:\",field,\"中已添加数据:\",cell_data.upper())\n", "\n", "with open(r\"../题库0.3/Problems.json\",\"w\",encoding = \"utf8\") as f:\n", " f.write(json.dumps(pro_dict,indent=4,ensure_ascii=False))" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python 3.9.7 ('base')", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.7" }, "orig_nbformat": 4, "vscode": { "interpreter": { "hash": "e4cce46d6be9934fbd27f9ca0432556941ea5bdf741d4f4d64c6cd7f8dfa8fba" } } }, "nbformat": 4, "nbformat_minor": 2 }