යන්ත්‍ර ඉගෙනීම සහ ව්‍යවසාය තාක්ෂණය සඳහා දත්ත භාවිතා කිරීමට පෙර, නිරවද්‍යතාවය සහ කාර්යක්ෂමතාව සහතික කිරීම සඳහා එය පෙර සැකසුම් වලට භාජනය විය යුතුය. මෙම විස්තීර්ණ මාර්ගෝපදේශය දත්ත පෙර සැකසුම් වල වැදගත්කම, එහි ශිල්පීය ක්‍රම සහ සැබෑ-ලෝක යෙදුම් ගවේෂණය කරයි, සාර්ථක යන්ත්‍ර ඉගෙනීම සහ ව්‍යවසාය විසඳුම් මෙහෙයවීම සඳහා එහි වැදගත් කාර්යභාරය පිළිබඳව ආලෝකය විහිදුවයි.
දත්ත පෙර සැකසුම් වල වැදගත්කම
දත්ත පෙර සැකසුම් යනු ඕනෑම යන්ත්‍ර ඉගෙනීමේ හෝ ව්‍යවසාය තාක්‍ෂණ ව්‍යාපෘතියක අනිවාර්ය අංගයකි. අමු දත්ත පහසුවෙන් විශ්ලේෂණය කර භාවිතා කළ හැකි පිරිසිදු, තේරුම් ගත හැකි ආකෘතියක් බවට පරිවර්තනය කිරීම එයට ඇතුළත් වේ. දත්තවල නිරවද්‍යතාවය සහ විශ්වසනීයත්වය සහතික කිරීම සඳහා මෙම ක්‍රියාවලිය අත්‍යවශ්‍ය වන අතර එය යන්ත්‍ර ඉගෙනුම් ආකෘති සහ ව්‍යවසාය විසඳුම්වල සාර්ථකත්වය සඳහා ඉතා වැදගත් වේ.
දත්ත පෙර සැකසුම් සම්බන්ධ පියවර
දත්ත පෙර සැකසුම් සාමාන්යයෙන් ප්රධාන පියවර කිහිපයක් ඇතුළත් වේ:
- දත්ත පිරිසිදු කිරීම: අදාළ නොවන හෝ වැරදි දත්ත ලක්ෂ්‍ය ඉවත් කිරීම, නැතිවූ අගයන් හැසිරවීම සහ දත්ත කට්ටලය තුළ ඇති නොගැලපීම් නිවැරදි කිරීම.
- දත්ත පරිවර්තනය: දත්ත සාමාන්‍යකරණය කිරීම හෝ ප්‍රමිතිකරණය කිරීම, වර්ගීකරණ විචල්‍ය කේතනය කිරීම සහ ඒකාකාරිත්වය සහ සංසන්දනාත්මක බව සහතික කිරීම සඳහා පරිමාණ කිරීමේ විශේෂාංග.
- විශේෂාංග තේරීම: විශ්ලේෂණය සඳහා වඩාත්ම අදාළ ලක්ෂණ හඳුනා ගැනීම, මානය අඩු කිරීමට සහ ආකෘති කාර්ය සාධනය වැඩි කිරීමට උපකාරී වේ.
- Dimensionality Reduction: තීරනාත්මක තොරතුරු අහිමි නොවී ආදාන විචල්‍ය සංඛ්‍යාව අඩු කිරීම සඳහා ප්රධාන සංරචක විශ්ලේෂණය (PCA) හෝ විශේෂාංග නිස්සාරණය වැනි ශිල්පීය ක්‍රම භාවිතා කළ හැක.
දත්ත පෙර සැකසුම් තාක්ෂණය
දත්තවල ගුණාත්මක භාවය සහ උපයෝගීතාව වැඩි දියුණු කිරීම සඳහා දත්ත පෙර සැකසීමේදී විවිධ ශිල්පීය ක්‍රම භාවිතා කරනු ලැබේ:
- නැතිවූ දත්ත හැසිරවීම: දත්ත කට්ටලය සම්පූර්ණ සහ භාවිත කළ හැකි බව සහතික කරමින්, නැතිවූ අගයන් පිරවීමට මධ්‍යන්‍ය, මධ්‍ය, හෝ අනාවැකි ආකෘතිකරණය වැනි ආරෝපණ ක්‍රම භාවිතා කළ හැක.
- සාමාන්‍යකරණය සහ ප්‍රමිතිකරණය: z-ස්කෝර් සාමාන්‍යකරණය හෝ min-max පරිමාණය වැනි පොදු පරිමාණයකට සංඛ්‍යාත්මක ලක්ෂණ පරිමාණය කිරීම, විවිධ ලක්ෂණ හරහා විශාලත්වයේ විශාල වෙනස්කම් වැළැක්වීමට උපකාරී වේ.
- ප්‍රවර්ග දත්ත කේතනය කිරීම: වර්ගීකරණ විචල්‍යයන් යන්ත්‍ර ඉගෙනීමේ ඇල්ගොරිතම සඳහා සුදුසු ආකෘතියක් බවට පරිවර්තනය කිරීම සඳහා එක්-උණුසුම් කේතනය හෝ ලේබල් කේතනය වැනි තාක්ෂණික ක්‍රම භාවිතා කරනු ලැබේ.
- පිටස්තරයන් ඉවත් කිරීම: යන්ත්‍ර ඉගෙනුම් ආකෘතිවල ක්‍රියාකාරීත්වයට බාහිරින් සැලකිය යුතු බලපෑමක් ඇති කළ හැකි බැවින් ඒවා හඳුනා ගැනීම සහ ඒවා හැසිරවීම දත්ත පෙර සැකසීමේ අත්‍යවශ්‍ය පියවරකි.
දත්ත පෙර සැකසීමේ සැබෑ ලෝක යෙදුම්
විවිධ තථ්‍ය-ලෝක අවස්ථා වලදී දත්ත පෙර සැකසුම් තීරණාත්මක කාර්යභාරයක් ඉටු කරයි:
- මූල්‍ය විශ්ලේෂණය: කොටස් මිල සහ ආර්ථික දර්ශක වැනි මූල්‍ය දත්ත පූර්ව සැකසීම, මූල්‍ය අංශයේ නිවැරදි පුරෝකථනය සහ තීරණ ගැනීම සඳහා අත්‍යවශ්‍ය වේ.
- සෞඛ්‍ය ආරක්ෂණ විශ්ලේෂණ: පුරෝකථන ආකෘති සහ රෝගියාගේ ප්‍රතිඵල විශ්ලේෂණය සංවර්ධනය කිරීම සඳහා පූර්ව සැකසුම් හරහා වෛද්‍ය දත්තවල ගුණාත්මකභාවය සහ අඛණ්ඩතාව සහතික කිරීම අත්‍යවශ්‍ය වේ.
- පාරිභෝගික සම්බන්ධතා කළමනාකරණය: ඛණ්ඩනය, පැතිකඩකරණය සහ පුද්ගලීකරණය කළ අලෙවිකරණ උත්සාහයන් සඳහා පාරිභෝගික දත්ත පෙර සැකසීම වටිනා තීක්ෂ්ණ බුද්ධිය ලබා ගැනීමට සහ පාරිභෝගික නියැලීම උපරිම කිරීමට ප්රධාන වේ.
- සැපයුම් දාම ප්‍රශස්තකරණය: සැපයුම් දාම දත්ත පූර්ව සැකසීම මඟින් ඉල්ලුම පුරෝකථනය කිරීම, ඉන්වෙන්ටරි කළමනාකරණය සහ සැපයුම් ප්‍රශස්තකරණය සඳහා පහසුකම් සපයන අතර, මෙහෙයුම් කාර්යක්ෂමතාව ඉහළ නැංවීමට මග පාදයි.