دست به کد: جمع آوری و تحلیل داده‌های توئیتر فارسی در چند دقیقه

1. سلام. برای ساخت اکانت مایکروسافت هم باید شماره تلفن رو وارد کنیم تا کد تایید برای ارسال بشه. شماره رو وارد کردم اما کد تایید ارسال نمیشه.

   پاسخ

   1. سلام. من الان مجددا تست کردم. کافیه به جای شماره تلفن، ایمیلی از خودتون را وارد کنید تا کد فعالسازی به شما ایمیل زده بشه.
      اگر هم نشد، می تونید توی سایت اوتلوک یک اکانت برای خودتون ایجاد کنید و بعد اینجا با همون ایمیل و پسورد لاگین کنید.

      پاسخ

      1. خیلی ممنون که جواب دادید.
         من میخواهم ۲۰۰۰۰ توییت با حس شادی، ۲۰۰۰۰ توییت با حس غم، ۲۰۰۰۰ توییت با حس خشم و …. جمع آوری کنم میشه لطفا راهنمایی کنید که دقیقا چکار باید بکنم. تاریخ توییت ها هم مهم نیست.
         خیلی ممنون میشم که لطف کنید بازهم جواب بدید

         پاسخ

         1. سلام. متاسفانه در زمینه تحلیل احساسات فارسی کار نکرده ام. با توجه به حجم بیست هزارتایی مورد نیاز شما، بهتر است از بین دویست هزار توییتی که در آدرس این پروژه در آژور مایکروسافت در پوشه tweets ذخیره شده است به صورت دستی و با صرف وقت نه چندان زیاد (حدود چهار پنج ساعت)، داده ها را سه برچسب غم، شادی و خشم بزنید (مثلا در آنها را در اکسل ایمپورت کنید و سه ستون غم و شادی و خشم اضافه کنید و اگر توییتی یک یا چند تا از این احساسات را داشت آن ستون را برای آن توییت مقدار یک بدهید). با این کار بخش آموزش شبکه عصبی شما آماده است (به عنوان یک راه حل دم دستی) و می توانید با آموزش یک شبکه عصبی، بقیه توییت ها را به طور خودکار تحلیل احساس کنید.

            پاسخ

            1. یعنی این امکان وجود نداره که یکی از این برنامه ها رو به نحوی تغییر بدم که به صورت خودکار برام توییت ها با احساس خاص یا حداقل حاوی یک سری کلمات کلیدی مرتبط با یک احساس خاص برام جمع آوری کنه؟

            2. کافیست در خط آخر برنامه به جای ایست واژه های «از ، به ، را» کلمات نشان دهنده یک احساس خاص یا حتی کد مربوط به یک ایموجی را بنویسید

2. سلام ببخشید من کلی با این برنامه ور رفتم اما بلد نیستم باهاش کار کنم ، مثلا من میخوام یه هشتگ خاص رو استخراج کنم بعد فایلش رو ببرم به گفی و گرافش رو ترسیم کنم اما متاسفانه نمیتونم ، میشه یه راهنمایی جامع به بنده ارائه بدید . ممنون 

   پاسخ

   1. سلام. برای کار با این برنامه که فقط کافیست از سلول اول شروع کنید و دکمه اجرا یا Run‌ را بزنید و اگر قصد فیلتر کردن بر اساس هشتگ یا کلمه خاصی دارید در سلول آخر به جای کلمات از به را و … این کلمات را (هشتگ ها را با علامت #‌ قرار دهید) جایگزین کنید. برای خواندن توئیت های گذشته با هشتگ خاص فایل twitter-filter-by-special-hashtag را به مخزن کد اصلی اضافه کرده ام که آنرا درون پوشه پروژه خودتان کپی کنید و هشتگ سرچ شده در آن و تاریخ را تغییر دهید (خروجی در قالب یک فایل csv در پوشه tweets-hashtags ریخته میشود) اما تا جایی که بررسی کرده ام تنها توئیت های یکی دو ماه اخیر را با آن هشتگ مورد نظر بر می گرداند و خواندن تمام توئیت ها با هشتگ خاص شاید با این کتابخانه امکان پذیر نباشد.
      برای تغییر در برنامه و نوشتن کدهای اختصاصی خودتان نیاز به دانستن کمی پایتون خواهید داشت.موفق باشید .

      پاسخ

3. NameError: name ‘api’ is not definedسلام مجدد با این پیغام که رو به رو میشم چطور باید api رو به برنامه معرفی کنم ؟بازم ممنون از صبر و حوصله و راهنمایی شما

   پاسخ

   1. کدهای فعلی بدون خطا هستند چون خودم بارها همین کتابچه ها را اجرا کرده‌ام
      احتمال زیاد از سلول اول شروع به اجرا نکرده‌اید کافیست بر روی اولین سلول کد کلیک کنید و دکمه اجرا را بزنید و سلول به سلول به همین ترتیب حرکت کنید
      بعد از اجرای همه سلول های اولیه که متغیرها را مقداردهی می‌کنند می‌توانید هر سلول دلخواه را تغییر داده و همان سلول یا سلول های بعد از آنرا اجرا کنید
      اگر مشکل حل نشد بفرمایید که مجددا بررسی کنم

      پاسخ

4. با عرض سلام
   آیا این امکان وجود دارد که توییت های سالها و ماههای قبل رو جمع آوری کنیم؟

   پاسخ

   1. با این کتابخانه تویی‌پای که در این پروژه استفاده شده، امکان محدودی وجود داره . اما دو تا مثال جدید برای همین منظور به پروژه اضافه کرده ام که با نام twitter-filter-by می تونید اونها را پیدا و اجرا کنید

      پاسخ

5. سلام 
   ببخشید من با دولوپر کردن اکانت تویتترم مشکل دارم و با اموزشی که شما قرار دادید هماهنگ نیست خود سایت توییتر ، گویا تغییراتی اعمال شده ، لطفا راهنمایی بفرمایید 

   پاسخ

   1. بنده هم انتهای مقاله این موضوع را یادآور شده ام که اخیراً تغییراتی در سیاستهای امنیتی توئیتر داده شده . فعلاً و برای مقاصد آکادمیک از مشخصات بنده استفاده بفرمایید تا مراحل ساخت اکانت شما و تایید اون انجام بشه.
      همین پروژه را توی آژور کلون بفرمایید و اجرا کنید. بدون اشکال در حال حاضر داره کار می کنه.

      پاسخ

6. سلام وقت شما بخیر در گام شماره ۰ با این ارور مواجهه میشم میشه لطفا راهنمایی کنید ؟ —————————————————————————
   NameError Traceback (most recent call last)
   <ipython-input-1-21556e21fa55> in <module>
   —-> 1 twitter_stream = Stream(auth, TweetListener())
   ۲ twitter_stream.filter(languages=[‘fa’], track=[‘چهارشنبه’])

   NameError: name ‘Stream’ is not defined

   پاسخ

   1. سلام . حتما از سلول اول شروع کنید به اجرا که این کتابخانه ها ایمپورت شوند. یا از منوی run‌ گزینه اجرای همه سلول ها را انتخاب کنید که به طور خودکار از ابتدای کتابچه شروع به اجرا کند و این مشکل برطرف شود.( پروژه کلون شده شما را نگاه کردم و مشکلتون همین بود. کتابخانه Stream‌ توی سلول دوم اگه دقت کنید import‌ شده و حتما باید این سلول در ابتدای کار اجرا بشه و بقیه هم به همین ترتیب تا برسه به سلول آخر)

      پاسخ

7. سلام
   من چندصد مقاله فارسی دارم و میخوام موضوع کار، روش کار پژوهشی، جامعه آماری و نتیجه تایید شدن یا نشدن فرضیات را استخراج کنم.
   ممنون میشم راهنمایی بفرمایید.

   پاسخ

8. کارتون عالی هست، بسیار متشکر
   یه شروع خوب بود واسم

   پاسخ

9. سلام وقت شما بخیر ،
   ممنون از پاسخگوییتون 
   توییت هایی که در قسمت twitter-step-1-Get-Tweet قرار بر استخراج هست به جای از با به در هشتگ استفاده میکنیم جوابگو نیست و سوال بعدی اینکه همین توییت های که استخراج میشود توسط {از با به در} کدان قسمت ذخیره میشه یعنی اگع بخواییم به صورت csv یا در EXEL از ان استفاده کنیم باید چه کار کنیم ، چون مثلا میخوام همه این ها بیارم توی GEPHI 
    

   پاسخ

   1. تو این خط ،‌تعیین می کنیم که توی کدوم پوشه،‌ توئیت های ما ذخیره شوند :
      “` Tweet_File_Name = ‘tweets/’+datetime.now().strftime(“%Y-%m-%d”)+”.txt”“`
      پوشه tweets و داخل اون هم به ازای هر روز،‌یک فایل txt

      پاسخ

10. سلام وقت شما بخیر 
    ببخشید من میخوام از طریق api توییتر داده بگیرم . درخواست ساختن app منو توییتر ریجکت کرد الان چکار باید کنم؟

    پاسخ

    1. قبلا هم دوستان به این نکته اشاره کردن که توئیتر سیاستهای امنیتی اش را سختگیرانه تر کرده است. فعلا از مشخصات کلیدهایی که بنده گذاشته ام و توی کدهای فوق، موجوده استفاده کنید.

       پاسخ

       1. تشکر.ببخشید من از مشخصات کلید شما در کد خودم استفاده کردم اما به من ارور داد .

          پاسخ

          1. من الان مجددا پروژه را روی آژور طبق راهنمای مقاله،‌ اجرا کردم و شروع کرد به گرفتن توئیت ها.

             پاسخ

11. سلام. من میخوام داده های توییتر رو استخراج کنم تو یه بازه زمانی مثلا یک ماه. داده های که استخراج می کنم هم بر اساس یک سری کلید واژه هستند مثلا هشتگ ها. حدود ۲۰ هشتگ رو انتخاب کردم و میخوام طبق اونها داده استخراج کنم. باید چیکار کنم؟ طبق این روشی که گفتید میشه انجام داد؟ ممنون میشم اگه پاسخ بدید. تشکر

    پاسخ

    1. با روش گفته شده فقط جریانهای توئیت را می توانید استخراج کنید (آن هم حدود ده درصد از آنها را ) و برای مشاهده توئیت های گذشته، با کتابخانه tweepy‌ تنها در حد یک یا دو هفته اخیر، قادر به بررسی توئيت ها خواهید بود. احتمالا با سلنیوم که رفتار کاربر را روی یک صفحه وب شبیه سازی می کند،‌بتوانید مشکلتون را حل کنید . این مثال را ببینید.

       پاسخ

12. سلام. من قصد دارم توئیت های دوسال گذشته سایت(شبکه اجتماعی) سهامیاب را دانلود کنم، این توئیت ها امکان فیلتر بر اساس تاریخ را ندارند، آیا راهکاری برای دانلود کامل این اطلاعات وجود داره؟
    با توجه به اینکه بنده محدودیت زمانی دارم، ممنون میشم سریعتر پاسخ بنده را بدید( در صورت امکان پاسخ را ایمیل کنید.)

    پاسخ

    1. اگر قصد بازیابی توئیت‌های یک یوزر خاص را دارید، می توانید از تابع تایم لاین کتابخانه tweepy استفاده کنید. کافی است از کد زیر برای بازیابی ماکزیمم توئیت‌هایی که توئیتر به شما بر می گرداند استفاده کنید (اطلاعات اتصال به توئیتر در کدهای مقاله اصلی آمده است و می توانید از آنها استفاده کنید):
       
import tweepy

       # Consumer keys and access tokens, used for OAuth
       consumer_key = ''
       consumer_secret = ''
       access_token = ''
       access_token_secret = ''

       # OAuth process, using the keys and tokens
       auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
       auth.set_access_token(access_token, access_token_secret)

       # Creation of the actual interface, using authentication
       api = tweepy.API(auth)

       for pages in tweepy.Cursor(api.user_timeline, id='id', count=200).pages():
print(pages)

       پاسخ

13. سلام ممنونم از این امکان عالی که فراهم کردید. برای استخراج توییت به زبان انگلیسی چه تغییرات باید در کد اعمال کنم؟

    پاسخ

    1. ممنونم. تنها در قسمت انتهای کد که بر اساس کلمات فارسی جستجو می کند شما بر اساس کلمات پرتکرار انگلیسی یا موضوعی که به دنبال آن هستید سرچ کنید.

       پاسخ

14. متاسفانه در همون ابتدا خطای ۴۲۰ میدهد که به معنی rate limiting است. بعد از اتپ کردن برنامه و گذشت ۱۲ ساعت هنوز با اولین اجرا با همان خطا مواجه میشوم.بنظرتون مشکل از کجاست و چه باید کرد؟
    نمیدونم محدودیت بر اساس پروژه هست یا اکانت کاربر؟گیر پایان نامه هستم و برام حکم مرگ و زندگی داره؟

    پاسخ

15. سلام
    ممنونم بابت اموزشهاتون
    خروجی که دریافت کردم ۴۰۱ هست که ورود غیر مجاز هست. باید چه کاری انجام بدم
    با تشکر

    پاسخ

    1. متاسفانه بابت استفاده زیاد و نامناسب از اکانت بنده ، مجبور شدم کلیدهای رمز ارتباطی با توئیتر را تغییر دهم.

       پاسخ

16. با سلام و تشکر از بابت اطلاعاتی که در اختیار همه قرار می دهید
    میشه در مورد دسته بندی اکانت اسپم و غیر اسپم چطوری از دیتاست شما استفاده کنم به شدت دنبال دیتاستی هستم که هم متن های توییت در اون باشه و هم تعداد ری توییت ها ، تعداد دوستان، تعداد فالورهاو ….
    ممنون میشم با توجه به تجربه ای که دارید راهنمایی بفرمایید.

    پاسخ

    1. درود. دیتاستی که آدرس را از گیت‌هاب در مقاله گذاشته ام، حاوی داده‌های ماه‌های گذشته توئیتر فارسی است (البته درصد کمی از آنها اما تعداد کل توئیت ها به بالای چند میلیون عدد میرسد) که دقیقا این خصوصیاتی که برشمرده اید را داراست اما اینکه چگونه آنها را به اسپم و غیر اسپم تقسیم کنید احتمالا نیاز به دسته بندی دستی و یا روش های هیورستیک خواهید داشت که اگر پایان نامه یا تحقیق تان در این مورد است احتمالا روشهایی برای این منظور به ذهنتان رسیده است.

       پاسخ

17. با سلام و تشکر از مطالب ارزنده تان
    بنده میخواهم موضوعات جالب را از هشتگ های موجود توئیتر استخراج کنم و خوشه بندی انجام دهم
    به چه صورت این موضوع امکان پذیره؟

    پاسخ

    1. اگر با پایتون آشنایی کافی دارید، این مقاله می تواند به شما در این موضوع کمک کند. هر چند تعریف موضوعات جالب را باید مشخص کنید که از لحاظ عملیاتی به چه موضوعی، موضوع جالب اطلاق می شود (تعداد تکرار در روز یا میزان لایک یا … )

       پاسخ

18. سلام؛ مقاله جالبی بود. من چندماه پیش درخواست دادم به توئیتر و ریجکت شدم؛ چه اهدافی رو باید عنوان کنیم تا بهمون اجازه استفاده از API رو بده؟ امکانش هست کمک کنید که یک درخواست قابل قبول به چه شکل هست؟ من بیشتر به منظور یادگیری و انجام یکسری کارهای روتین میخواستم از API استفاده کنم.

    پاسخ

    1. سیاستهای توئیتر روز به روز سختگیرانه تر شده است و احتمالاً اگر با ایمیل دانشگاهی بتوانید درخواست بدهید و اهداف آموزشی (متن‌کاوی، داده کاوی، سنجش احساسات ) را دلیل اصلی درخواست خود قرار دهید، با شانس بیشتری روبرو خواهید بود.

       پاسخ

19. سلام درحال حاضر امکان دسترسی به این پروژه وجود داره؟
    من به آدرسی که اعلام شده رفتم میزنه The Azure Notebooks preview has ended.
    راهی دیگه برای دسترسی به این پروژه وجود داره؟ ممنون

    پاسخ

    1. بخش نوت‌بوک‌های آژور در حال حاضر غیرفعال شده است. آدرس پروژه در گیت‌هاب در انتهای مقاله آمده است و می‌توانید از آن استفاده کنید .

       پاسخ

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.