PDA

View Full Version : При импорте большого количества рук в бол



Stanislav
02-19-2011, 09:01 AM
Покупаю дата-майнинг, каждый день приходят новые истории рук. Сейчас база 3 млн рук. Есть проблема: при импорте "Import From Folder" в базу 100 тыс. рук HM 10-15% из них помечает, как Import Errors. Причем помечает обычно последние файлы, т.е. как будто на каком-то файле ему становится "не по себе" и он отказывается загружать остальные. Если переименовать папку с руками(чтобы HM принял эти файлы за новые) и заново запустить Import From Folder, то остаток в 10-15% отлично импортируется в базу (а остальные идут как Duplicate Hands, это понятно).

Что делать? Как понять, что именно HM не нравится? Вот раньше у меня был PT3 и он писал на все ошибки четкие репорты, а в HM кроме Import Errors никакой информации.

База: PostgreSQL 9.0 (последняя с EnterpriseDb.com), установлена на отдельном жестком диске с 7200 оборотов.
HM: последний 1.11.06а.

Sarek
02-19-2011, 04:36 PM
После импорта такого большого количества (100 тысяч) стоило бы проводить техобслуживание базы данных - реиндекс и вакуум через PGadmin.
И стараться все-таки импортировать меньшими по объему блоками - тысяч 20 хотя бы.
Кроме того, настоятельно рекомендую регулярно делать бекап базы - если она сломается, хоть будет точка, на которую можно вернуться.
А практика показывает, что при таких объемах импорта майнинга база ломается часто.