آموزش متن کاوی با پایتون

به دلیل کاربرد زیاد و رشد کلان داده های غیرساختاریافته متنی، نیاز به تحلیل و پردازش متون به شدت احساس می شود . حوزه NLP پردازش زبان طبیعی یکی از جذاب ترین و پرکاربردترین حوزه های علم داده به شمار می آید که در تشخیص احساسات ، نظر کاوی در بهینه سازی کسب و کار، دسته بندی متون ، بهینه سازی موتور جست و جو و سیستم های پیشنهاد دهنده مورد استفاده قرار می گیرد.

هم چنین در این دوره پردازش متن زبان برنامه نویسی پایتون را انتخاب کردیم: از یک جهت به دلیل ساده بودن ساختار دستوری و زبانی و از جهت دیگر به دلیل وجود کتابخانه و ماژول های آماده پردازش متن و یادگیری ماشین که فرصت بیشتری جهت تحلیل به کارشناسان علم داده می دهد.

توضیحاتی مختصر در مورد سرفصل ها و زیر فصل های دوره متن کاوی با پایتون:
فصل نصب ابزارها:
در این فصل طریقه نصب پایتون و آناکوندا، توضیحات خط فرمان و دستورات conda و pip ، طریقه نصب کتابخانه پانداس، numpy، پردازش متن nltk، نصب داده های nltk به روش دستی و از طریق خط فرمان، بررسی خطاهای احتمالی نصب گفته خواهد شد.

زیر فصل متن نظرات هر کاربر:
در این بخش مراحل ایمپورت فایل متنی از صفحات وب، متن یک صفحه وب با ساختار html، یک فایل متنی از درایو و یک فایل اکسل حاوی متن نظرات را با روشهای مختلف به محیط کدنویسی پایتون آموزش شده است.

زیر فصل حذف کلمات اضافه و جداسازی کلمات:
در این بخش به جداسازی کلمات و جداسازی جملات در یک فایل متنی از کتابخانه nltk با ذکر مثال هایی می پردازیم. و یکی از کاربردهای جداسازی کلمات در حذف حروف اضافه را در زبان انگلیسی گزارش می دهیم. سپس به معرفی و نمایش حروف اضافه در زبان های مختلف می پردازیم.

زیر فصل معرفی کرپس های متنی:
در این بخش به تعریف پیکره های متنی، کاربرد و انواع آن در زبان فارسی و انگلسیی می پردازیم. سپس در محیط کدنویسی کرپس های nltk را فراخوانی و معرفی می کنیم. در ادامه با wortdNet، مفهومش و کاربردش در پردازش متن می پردازیم.