upload new model

config.py

@@ -14,10 +14,11 @@ SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
 SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
 STANDARD_NAME_MAP_DATA_FILE = os.path.join(DATA_DIR, "standardData.csv")
 # Model Names
-MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-nss-v0_9_13"
+MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-nss-v0_9_17"
 SENTENCE_EMBEDDING_FILE = os.path.join(
     DATA_DIR,
-    "anchor_name_sentence_embeddings_cl-nagoya-sup-simcse-ja-nss-v0_9_13_.pkl",
+    "anchor_name_sentence_embeddings_cl-nagoya-sup-simcse-ja-nss-v0_9_17.pkl",
 )
+# SENTENCE_EMBEDDING_FILE = None
 MODEL_TYPE = "openvino"
 DEVICE_TYPE = "cpu"

data/anchor_name_sentence_embeddings_cl-nagoya-sup-simcse-ja-nss-v0_9_17.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5f85c06560ba2ef62732029fad69df45df332cd556dde301f53a6fece0d68e51
+size 16349348

data/subjectData.csv

@@ -1,146 +1,201 @@
-科目,標準科目,不要,新規
-ＥＶ,昇降機,必要,新規
-ＬＰガス設備,グラウンド散水設備,不要,
-ＰＣ緊張,鉄筋,必要,
-ＰＣ合成床板,ＰＣ,,
-エレベーター設備,昇降機,必要,新規
-カーテンウォール,カーテンウォール,,新規
-グラウンド散水設備,グラウンド散水設備,不要,
-コンクリート,コンクリート,,
-コンクリート工事,コンクリート,,
-サイン,ユニット及びその他,,
-その他工作物,その他工作物,,新規
-その他工事,ユニット及びその他,,
-タイル,タイル,,
-タイル工事,タイル,,
-テレビ共同受信設備,テレビ共同受信設備,不要,
-とりこわし,とりこわし,不要,
-ユニット及びその他,ユニット及びその他,,
-ユニット及びその他工事,ユニット及びその他,,
-囲障,囲障,,新規
-囲障工事,囲障,,新規
-映像・音響設備,映像・音響設備,不要,
-衛生器具設備,衛生器具設備,不要,
-屋外排水,屋外排水,不要,
-屋外排水設備,屋外排水,不要,
-屋根及びとい,屋根及びとい,,
-屋根及びとい工事,屋根及びとい,,
-屋根及び樋,屋根及びとい,,
-屋上緑化,ユニット及びその他,必要,
-下請諸経費,下請諸経費,不要,
-仮設駐輪場・仮設ロータリー整備,仮設駐輪場・仮設ロータリー整備,不要,
-火災報知設備,火災報知設備,不要,
-解体,解体,不要,
-解体工事,解体,不要,
-改修,改修,不要,
-外構,構内舗装,,
-外構解体,外構解体,不要,
-外構撤去,外構撤去,不要,
-外装改修,外装改修,不要,
-外壁改修,外壁改修,不要,
-拡声設備,拡声設備,不要,
-換気設備,換気設備,不要,
-監視カメラ装置,監視カメラ装置,不要,
-既製コンクリート,既製コンクリート,,
-既製コンクリート工事,既製コンクリート,,
-既存杭引抜工事,既存杭引抜,不要,
-既存杭撤去,既存杭撤去,不要,
-既存撤去,既存撤去,不要,
-機械設備,機械設備,不要,
-給水設備,給水設備,不要,
-給湯設備,給湯設備,不要,
-給油施設,給油施設,不要,
-旧議会庁舎基礎,旧議会庁舎基礎,不要,
-旧別館基礎,旧別館基礎,不要,
-共通仮設費,共通仮設費,,
-金属,金属,,
-金属工事,金属,,
-区画工事,区画工事,,
-躯体改修,躯体改修,不要,
-空気調和設備,空気調和設備,不要,
-型枠,型枠,,
-型枠工事,型枠,,
-建具,建具,,
-建具改修,建具改修,不要,
-建具工事,建具,,
-建設副産物処理費,建設副産物処理費,不要,
-建築,鉄筋,,
-工作物,工作物,,
-構内交換設備,構内交換設備,不要,
-構内情報通信網設備,構内情報通信網設備,不要,
-構内通信線路,構内通信線路,不要,
-構内配電線路,構内配電線路,不要,
-構内舗装,構内舗装,,
-左官,左官,,
-左官工事,左官,,
-自動制御設備,自動制御設備,不要,
-芝張り,植栽工事,必要,
-車両出入口部水路,車両出入口部水路,不要,
-受変電設備,受変電設備,不要,
-樹木,植栽,必要,
-樹木撤去工事,樹木撤去,不要,
-小荷物搬送用昇降機,昇降機,必要,新規
-床輻射空調設備,床輻射空調設備,不要,
-昇降機,昇降機,必要,新規
-昇降機設備,昇降機,必要,新規
-昇降機設備工事,昇降機,必要,新規
-消火設備,消火設備,不要,
-上屋工事,附属棟,,
-情報表示設備,情報表示設備,不要,
-浄化槽設備,浄化槽設備,不要,
-植栽,植栽,,
-植栽工事,植栽,,
-厨房機器,ユニット及びその他,必要,
-石,石,,
-石工事,石,,
-設備工事解体工事と連絡通路など,設備工事解体工事と連絡通路など,不要,
-大口径気送管設備,大口径気送管設備,不要,
-地業,地業,,
-地業工事,地業,,
-直接仮設,直接仮設,,
-直接仮設・仕上,直接仮設・仕上,不要,
-直接仮設工事,直接仮設,,
-撤去,撤去,不要,
-撤去工事,撤去工事,不要,
-鉄筋,鉄筋,,
-鉄筋工事,鉄筋,,
-鉄骨,鉄骨,,
-鉄骨工事,鉄骨,,
-電機設備,電機設備,不要,
-電気設備,電気設備,不要,
-電灯設備,電灯設備,不要,
-電熱設備,電熱設備,不要,
-塗装,塗装,,
-塗装改修,塗装改修,不要,
-塗装工事,塗装,,
-土工,土工,,
-土工事,土工,,
-動力設備,動力設備,不要,
-道路切り下げ,道路切り下げ,,
-内外装,内外装,,
-内外装工事,内外装,,
-内装改修,内装改修,不要,
-熱中症対策設備,熱中症対策設備,不要,
-排水,屋外排水,,
-排水工事,屋外排水,,
-排水設備,屋外排水,,
-発生材,発生材,不要,
-発生材処分,発生材処理,必要,新規
-発生材処分費,発生材処理,必要,新規
-発生材処理,発生材処理,必要,新規
-発生材積込み運搬費,発生材処理,必要,新規
-発電設備,発電設備,不要,
-舗装,構内舗装,必要,
-舗装工事,構内舗装,,
-防水,防水,,
-防水改修,防水改修,不要,
-防水工事,防��,,
-防犯・入退室管理設備,防犯・入退室管理設備,不要,
-免震装置,免震,,
-木,木工,,
-木工,木工,,
-木工事,木工,,
-門,囲障,必要,新規
-誘導支援設備,誘導支援設備,不要,
-擁壁工,擁壁工,必要,新規
-擁壁,擁壁工,必要,新規
+科目,標準科目,不要,新規,,,,,,,,,,,,,,,,,,,,,,
+ＰＣ,ＰＣ,,,,,,,,,,,,,,,,,,,,,,,,
+ＰＣ合成床板,ＰＣ,,,,,,,,,,,,,,,,,,,,,,,,
+カーテンウォール,カーテンウォール,,新規,,,,,,,,,,,,,,,,,,,,,,
+ＬＰガス設備,グラウンド散水設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+グラウンド散水設備,グラウンド散水設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+コンクリート,コンクリート,,,,,,,,,,,,,,,,,,,,,,,,
+コンクリート工事,コンクリート,,,,,,,,,,,,,,,,,,,,,,,,
+その他工作物,その他工作物,,,,,,,,,,,,,,,,,,,,,,,,
+タイル,タイル,,,,,,,,,,,,,,,,,,,,,,,,
+タイル工事,タイル,,,,,,,,,,,,,,,,,,,,,,,,
+テレビ共同受信設備,テレビ共同受信設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+アスベスト調査、処分費,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+とりこわし,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+解体,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+解体工事,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+外構解体,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+幹線設備,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+管理室解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+既存公会堂地下躯体解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+既存杭撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+旧議会庁舎基礎,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+旧別館基礎,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+躯体解体,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+建設副産物処理費,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+仕上撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+樹木撤去工事,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+設備工事解体工事と連絡通路など,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+駐輪場解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+撤去工事,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+発生剤処理,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+発生材,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+発電設備解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+尾道市役所解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+便所解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+舗装他解体撤去,とりこわし,,,,,,,,,,,,,,,,,,,,,,,,
+サイン,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+その他工事,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+ユニット及びその他,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+ユニット及びその他工事,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+ユニット及びとい,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+屋上緑化,ユニット及びその他,必要,,,,,,,,,,,,,,,,,,,,,,,
+厨房機器,ユニット及びその他,必要,,,,,,,,,,,,,,,,,,,,,,,
+追加反映事項,ユニット及びその他,,,,,,,,,,,,,,,,,,,,,,,,
+囲障,囲障,,新規,,,,,,,,,,,,,,,,,,,,,,
+囲障工事,囲障,,新規,,,,,,,,,,,,,,,,,,,,,,
+門,囲障,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+映像・音響設備,映像・音響設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+衛生器具設備,衛生器具設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+屋外,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+屋外排水,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+屋外排水設備,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+排水,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+排水工事,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+排水設備,屋外排水,,,,,,,,,,,,,,,,,,,,,,,,
+屋根及びとい,屋根及びとい,,,,,,,,,,,,,,,,,,,,,,,,
+屋根及びとい工事,屋根及びとい,,,,,,,,,,,,,,,,,,,,,,,,
+屋根及び樋,屋根及びとい,,,,,,,,,,,,,,,,,,,,,,,,
+下請諸経費,下請諸経費,不要,,,,,,,,,,,,,,,,,,,,,,,
+仮設駐輪場・仮設ロータリー整備,仮設駐輪場・仮設ロータリー整備,不要,,,,,,,,,,,,,,,,,,,,,,,
+火災報知設備,火災報知設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+解体,解体,不要,,,,,,,,,,,,,,,,,,,,,,,
+解体工事,解体,不要,,,,,,,,,,,,,,,,,,,,,,,
+解体撤去,解体撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+改修,改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+外壁改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+躯体改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+建具改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+塗装改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+内装改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+防水改修,改修,,,,,,,,,,,,,,,,,,,,,,,,
+外構解体,外構解体,不要,,,,,,,,,,,,,,,,,,,,,,,
+外構撤去,外構撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+外装改修,外装改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+外壁改修,外壁改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+拡声設備,拡声設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+換気設備,換気設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+監視カメラ装置,監視カメラ装置,不要,,,,,,,,,,,,,,,,,,,,,,,
+既製ｺﾝｸﾘｰﾄ,��製コンクリート,,,,,,,,,,,,,,,,,,,,,,,,
+既製コンクリート,既製コンクリート,,,,,,,,,,,,,,,,,,,,,,,,
+既製コンクリート工事,既製コンクリート,,,,,,,,,,,,,,,,,,,,,,,,
+既存杭引抜,既存杭引抜,不要,,,,,,,,,,,,,,,,,,,,,,,
+既存杭引抜工事,既存杭引抜,不要,,,,,,,,,,,,,,,,,,,,,,,
+既存杭撤去,既存杭撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+既存撤去,既存撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+機械設備,機械設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+機器、器具設備,機械設備,,,,,,,,,,,,,,,,,,,,,,,,
+大口径気送管設備,機械設備,,,,,,,,,,,,,,,,,,,,,,,,
+配管設備,機械設備,,,,,,,,,,,,,,,,,,,,,,,,
+給水設備,給水設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+給湯設備,給湯設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+給油施設,給油施設,不要,,,,,,,,,,,,,,,,,,,,,,,
+旧議会庁舎基礎,旧議会庁舎基礎,不要,,,,,,,,,,,,,,,,,,,,,,,
+旧別館基礎,旧別館基礎,不要,,,,,,,,,,,,,,,,,,,,,,,
+共通仮設費,共通仮設費,,,,,,,,,,,,,,,,,,,,,,,,
+金属,金属,,,,,,,,,,,,,,,,,,,,,,,,
+金属工事,金属,,,,,,,,,,,,,,,,,,,,,,,,
+区画工事,区画工事,,,,,,,,,,,,,,,,,,,,,,,,
+躯体改修,躯体改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+空気調和設備,空気調和設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+型枠,型枠,,,,,,,,,,,,,,,,,,,,,,,,
+型枠工事,型枠,,,,,,,,,,,,,,,,,,,,,,,,
+ガラス,建具,,,,,,,,,,,,,,,,,,,,,,,,
+金属製建具,建具,,,,,,,,,,,,,,,,,,,,,,,,
+建具,建具,,,,,,,,,,,,,,,,,,,,,,,,
+建具工事,建具,,,,,,,,,,,,,,,,,,,,,,,,
+木製建具,建具,,,,,,,,,,,,,,,,,,,,,,,,
+建具改修,建具改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+建設副産物処理費,建設副産物処理費,不要,,,,,,,,,,,,,,,,,,,,,,,
+工作物,工作物,,,,,,,,,,,,,,,,,,,,,,,,
+構内交換設備,構内交換設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+構内情報通信網設備,構内情報通信網設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+構内通信線路,構内通信線路,不要,,,,,,,,,,,,,,,,,,,,,,,
+構内配電線路,構内配電線路,不要,,,,,,,,,,,,,,,,,,,,,,,
+外構,構内舗装,,,,,,,,,,,,,,,,,,,,,,,,
+構内舗装,構内舗装,,,,,,,,,,,,,,,,,,,,,,,,
+舗装,構内舗装,必要,,,,,,,,,,,,,,,,,,,,,,,
+舗装工事,構内舗装,,,,,,,,,,,,,,,,,,,,,,,,
+歩道切り下げ,構内舗装,,,,,,,,,,,,,,,,,,,,,,,,
+歩道部撤去改修,構内舗装,,,,,,,,,,,,,,,,,,,,,,,,
+左官,左官,,,,,,,,,,,,,,,,,,,,,,,,
+左官工事,左官,,,,,,,,,,,,,,,,,,,,,,,,
+自動制御設備,自動制御設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+車両出入口部水路,車両出入口部水路,不要,,,,,,,,,,,,,,,,,,,,,,,
+受変電設備,受変電設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+樹木撤去,樹木撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+樹木撤去工事,樹木撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+下請諸経費,諸経費,,,,,,,,,,,,,,,,,,,,,,,,
+床輻射空調設備,床輻射空調設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+ＥＶ,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+エレベーター設備,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+小荷物搬送用昇降機,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+昇降機,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+昇降機設備,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+昇降機設備工事,昇降機,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+新本庁舎昇降機工事,昇降機,必要,,,,,,,,,,,,,,,,,,,,,,,
+消火設備,消火設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+情報表示設備,情報表示設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+浄化槽設備,浄化槽設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+樹木,植栽,必要,,,,,,,,,,,,,,,,,,,,,,,
+植栽,植栽,,,,,,,,,,,,,,,,,,,,,,,,
+植栽工事,植栽,,,,,,,,,,,,,,,,,,,,,,,,
+芝張り,植栽工事,必要,,,,,,,,,,,,,,,,,,,,,,,
+石,石,,,,,,,,,,,,,,,,,,,,,,,,
+石工事,石,,,,,,,,,,,,,,,,,,,,,,,,
+設備工事解体工事と連絡通路など,設備工事解体工事と連絡通路など,不要,,,,,,,,,,,,,,,,,,,,,,,
+大口径気送管設備,大口径気送管設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+地業,地業,,,,,,,,,,,,,,,,,,,,,,,,
+地業工事,地業,,,,,,,,,,,,,,,,,,,,,,,,
+直接仮設,直接仮設,,,,,,,,,,,,,,,,,,,,,,,,
+直接仮設工事,直接仮設,,,,,,,,,,,,,,,,,,,,,,,,
+直接仮設・仕上,直接仮設・仕上,不要,,,,,,,,,,,,,,,,,,,,,,,
+撤去,撤去,不要,,,,,,,,,,,,,,,,,,,,,,,
+撤去改修,撤去改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+撤去工事,撤去工事,不要,,,,,,,,,,,,,,,,,,,,,,,
+ＰＣ緊張,鉄筋,必要,,,,,,,,,,,,,,,,,,,,,,,
+建築,鉄筋,,,,,,,,,,,,,,,,,,,,,,,,
+建築工事,鉄筋,,,,,,,,,,,,,,,,,,,,,,,,
+鉄筋,鉄筋,,,,,,,,,,,,,,,,,,,,,,,,
+鉄筋工事,鉄筋,,,,,,,,,,,,,,,,,,,,,,,,
+鉄骨,鉄骨,,,,,,,,,,,,,,,,,,,,,,,,
+鉄骨工事,鉄骨,,,,,,,,,,,,,,,,,,,,,,,,
+電機設備,電機設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+電気設備,電気設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+電気設備工事,電気設備,,,,,,,,,,,,,,,,,,,,,,,,
+電灯設備,電灯設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+電熱設備,電熱設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+塗装,塗装,,,,,,,,,,,,,,,,,,,,,,,,
+塗装��事,塗装,,,,,,,,,,,,,,,,,,,,,,,,
+塗装改修,塗装改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+土工,土工,,,,,,,,,,,,,,,,,,,,,,,,
+土工事,土工,,,,,,,,,,,,,,,,,,,,,,,,
+動力設備,動力設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+道路切り下げ,道路切り下げ,,,,,,,,,,,,,,,,,,,,,,,,
+内外装,内外装,,,,,,,,,,,,,,,,,,,,,,,,
+内外装工事,内外装,,,,,,,,,,,,,,,,,,,,,,,,
+内装改修,内装改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+熱中症対策設備,熱中症対策設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+発生材,発生材,不要,,,,,,,,,,,,,,,,,,,,,,,
+発生材処分,発生材処理,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+発生材処分費,発生材処理,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+発生材処理,発生材処理,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+発生材積込み運搬費,発生材処理,必要,新規,,,,,,,,,,,,,,,,,,,,,,
+発電設備,発電設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+思いやり駐車場庇,附属棟,必要,,,,,,,,,,,,,,,,,,,,,,,
+車寄せ庇,附属棟,,,,,,,,,,,,,,,,,,,,,,,,
+上屋工事,附属棟,,,,,,,,,,,,,,,,,,,,,,,,
+附属棟,附属棟,,,,,,,,,,,,,,,,,,,,,,,,
+防水,防水,,,,,,,,,,,,,,,,,,,,,,,,
+防水工事,防水,,,,,,,,,,,,,,,,,,,,,,,,
+防水改修,防水改修,不要,,,,,,,,,,,,,,,,,,,,,,,
+防犯・入退室管理設備,防犯・入退室管理設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+免震,免震,,,,,,,,,,,,,,,,,,,,,,,,
+免震装置,免震,,,,,,,,,,,,,,,,,,,,,,,,
+木,木工,,,,,,,,,,,,,,,,,,,,,,,,
+木工,木工,,,,,,,,,,,,,,,,,,,,,,,,
+木工事,木工,,,,,,,,,,,,,,,,,,,,,,,,
+誘導支援設備,誘導支援設備,不要,,,,,,,,,,,,,,,,,,,,,,,
+擁壁,擁壁工,必要,,,,,,,,,,,,,,,,,,,,,,,
+擁壁工,擁壁工,必要,,,,,,,,,,,,,,,,,,,,,,,

routes/predict.py

@@ -19,6 +19,7 @@ from models import (
     PredictResult,
 )
 import pandas as pd
+import traceback
 
 router = APIRouter()
 
@@ -52,15 +53,23 @@ async def predict(
             inputData = InputNameData()
             inputData.load_data_from_csv(input_file_path)
         except Exception as e:
-            print(f"Error processing input data: {e}")
+            print(f"Error processing load data: {e}")
             raise HTTPException(status_code=500, detail=str(e))
         try:
-            subject_mapper = SubjectMapper(sentence_service.sentenceTransformerHelper, sentence_service.dic_standard_subject)
+            subject_mapper = SubjectMapper(
+                sentence_transformer_helper=sentence_service.sentenceTransformerHelper, 
+                dic_subject_map=sentence_service.dic_standard_subject,
+                similarity_threshold=0.9,
+            )
             dic_subject_map = subject_mapper.map_standard_subjects(inputData.dataframe)
+        except Exception as e:
+            print(f"Error processing SubjectMapper: {e}")
+            raise HTTPException(status_code=500, detail=str(e))
+        try:
             inputData.dic_standard_subject = dic_subject_map
             inputData.process_data()
         except Exception as e:
-            print(f"Error processing input data: {e}")
+            print(f"Error processing inputData process_data: {e}")
             raise HTTPException(status_code=500, detail=str(e))
         # Map standard names
         try:
@@ -72,11 +81,12 @@ async def predict(
             df_predicted = nameMapper.predict(inputData)
         except Exception as e:
             print(f"Error mapping standard names: {e}")
+            traceback.print_exc()
             raise HTTPException(status_code=500, detail=str(e))
 
         # Create output dataframe and save to CSV
         # column_to_keep = ['ファイル名', 'シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
-        column_to_keep = ['シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
+        column_to_keep = ['シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考', '確定']
         output_df = inputData.dataframe[column_to_keep].copy()
         output_df.reset_index(drop=False, inplace=True)
         output_df.loc[:, "出力_科目"] = df_predicted["標準科目"]

services/sentence_transformer_service.py

@@ -18,11 +18,12 @@ warnings.filterwarnings(
 from config import (
     MODEL_NAME, MODEL_TYPE, DEVICE_TYPE,
     SENTENCE_EMBEDDING_FILE,  
-    STANDARD_NAME_MAP_DATA_FILE, SUBJECT_DATA_FILE
+    STANDARD_NAME_MAP_DATA_FILE, SUBJECT_DATA_FILE, DATA_DIR
 )
 from sentence_transformer_lib.sentence_transformer_helper import SentenceTransformerHelper
 from data_lib.subject_data import SubjectData
 from data_lib.standard_name_map_data import StandardNameMapData
+import os
 
 
 class SentenceTransformerService:
@@ -46,16 +47,26 @@ class SentenceTransformerService:
         # Load standard subject dictionary
         self.dic_standard_subject = SubjectData.create_standard_subject_dic_from_file(SUBJECT_DATA_FILE)
 
-        # Load pre-computed embeddings and similarities
-        with open(SENTENCE_EMBEDDING_FILE, "rb") as f:
-            self.anchor_name_sentence_embeddings = pickle.load(f)
-
         # Load and process sample data
         self.standardNameMapData = StandardNameMapData(self.anchor_name_sentence_embeddings)
         self.standardNameMapData.load_data_from_csv(STANDARD_NAME_MAP_DATA_FILE)
         self.standardNameMapData.process_data()
 
+        # Load pre-computed embeddings and similarities
+        if SENTENCE_EMBEDDING_FILE is not None:
+            with open(SENTENCE_EMBEDDING_FILE, "rb") as f:
+                self.anchor_name_sentence_embeddings = pickle.load(f)
+            print(f"Loaded anchor name sentence embeddings shape: {self.anchor_name_sentence_embeddings.shape}")
+        else:
+            list_anchor_name_sentence = self.standardNameMapData.processed_data["anchor_name_sentences"]
+            anchor_name_sentence_embeddings = self.sentenceTransformerHelper.create_embeddings(list_anchor_name_sentence)
+            self.anchor_name_sentence_embeddings = anchor_name_sentence_embeddings
+            sentence_embedding_file_path = os.path.join(DATA_DIR, "anchor_name_sentence_embeddings_" + MODEL_NAME.rsplit("/", maxsplit=1)[-1] + ".pkl")
+            with open(sentence_embedding_file_path, "wb") as f:
+                pickle.dump(self.anchor_name_sentence_embeddings, f)
+            print(f"Saved anchor name sentence embeddings to {sentence_embedding_file_path}")
+
         print("Models and data loaded successfully")
 
 # Global instance (singleton)
-sentence_transformer_service = SentenceTransformerService()
+sentence_transformer_service = SentenceTransformerService()