|
查看: 4378|回复: 17
|
关于Data Science / Machine Learning
[复制链接]
|
|
|
请问这里有人做着data scientist 或 machine learning的工作吗？
目前是web programmer，但是对data science这方面有兴趣，龟速自学python和关于这领域的知识。
在Malaysia这领域的工作多吗？还有各位都是自学还是在大学学的呢？自己自学感觉很难。。。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 30-9-2017 04:44 AM
|
显示全部楼层
ML 在外国都是大学课程， 因为ML 首先运用大量的数学定律，函数微积分。。
这位童鞋， 你的中五微积分的学习还好吗？
如果不好的话， 是可以努力从基本在补习一年半载， 然后再进入 ML 会比较容易。
MOOC 有网上课程， 如果你那些高阶数学不好的话，会很痛苦的（而且浪费时间， 因为根本就看不懂）。 |
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 2-10-2017 11:40 PM
|
显示全部楼层
moot 发表于 30-9-2017 04:44 AM
ML 在外国都是大学课程， 因为ML 首先运用大量的数学定律，函数微积分。。
这位童鞋， 你的中五微积分的学习还好吗？
如果不好的话， 是可以努力从基本在补习一年半载， 然后再进入 ML 会比较容易。
MOOC 有 ...
其实已经大学毕业现在在职场做着web developer。
但是想转换跑道先当data analyst/scientist。只是不知道哪里有工作机会能让我增加经验和学习。
高级数学再温习一下还是能理解的
|
|
|
|
|
|
|
|
|
|
|
|
发表于 4-10-2017 03:00 AM
|
显示全部楼层
这个在马来西亚难度很高。 就算有这样的工作，你必须和在大学学过Machine learning 和有做过 ML thesis 的人竞争。
还有， 使用 ML 的公司都是有大数据库的，而且投入了不下于半百万的机器学习电脑系统， 要立即可以投入团体交流， 是没有时间去“教导” 的， 除非你是实习生，而且还幸运到公司会给实习生干点 ML的活。
我不指望马来西亚的公司企业达到舍得花那种钱的程度。 如果你只是想尝试别的， 我建议可以试试学习云端服务建立框架的和相关自动化程序化。
|
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 4-10-2017 11:55 PM
|
显示全部楼层
moot 发表于 4-10-2017 03:00 AM
这个在马来西亚难度很高。 就算有这样的工作，你必须和在大学学过Machine learning 和有做过 ML thesis 的人竞争。
还有， 使用 ML 的公司都是有大数据库的，而且投入了不下于半百万的机器学习电脑系统， 要立即 ...
看来Malaysia这领域还是很小。。。
|
|
|
|
|
|
|
|
|
|
|
|
发表于 6-10-2017 08:08 PM
|
显示全部楼层
機會是比較難找，不過機會來臨之前可以先準備好自己
https://www.kaggle.com/ 這裡有data，也有平台，也有很多人分享的scripts，最近被google收購之後更是整體infra都升級了
可以先在這個網站學習，然後再找機會
當然這裡的data都是已經整理好了的，好讓你可以專注在algorithm, prediction之類，比較偏向data scientist的主要工作
實際工作上可能會有data engineer幫你弄好，也很大可能是要自己整理
如果你要參加competitions而你自己電腦比較快的話，可以自己安裝R Studio(用R)或者Jupyter Notebook(用python)，或者你喜歡用Spark,H2O都好...然後把你的result upload上去，就可以看到自己的成績
|
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 6-10-2017 08:17 PM
|
显示全部楼层
nsda 发表于 6-10-2017 08:08 PM
機會是比較難找，不過機會來臨之前可以先準備好自己
https://www.kaggle.com/ 這裡有data，也有平台，也有很多人分享的scripts，最近被google收購之後更是整體infra都升級了
可以先在這個網站學習，然後再找機會 ...
哇！谢谢你的建议。你也是从事这个领域的吗？
|
|
|
|
|
|
|
|
|
|
|
|
发表于 6-10-2017 09:07 PM
|
显示全部楼层
不是，工作上比較接近Data Engineer
不過個人對Data Science也是有興趣，之前花了很多時間在學習，也在Coursera拿了很多courses，去年Mdec有給獎勵如果拿到Coursera的certs
平時就Kaggle上玩玩，在那邊學習一下Feature Engineering，還有Data Visualization
但是興趣歸興趣，我身邊有許多有PhD的Data Scientist，看到他們的工作之後我還是覺得Engineering比較好玩，也沒那麼大的壓力
|
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 11-10-2017 06:51 PM
|
显示全部楼层
nsda 发表于 6-10-2017 09:07 PM
不是，工作上比較接近Data Engineer
不過個人對Data Science也是有興趣，之前花了很多時間在學習，也在Coursera拿了很多courses，去年Mdec有給獎勵如果拿到Coursera的certs
平時就Kaggle上玩玩，在那邊學習一 ...
其实Data Engineer和Data Scientist的工作性质有什么差别？ 我还以为只是名称不一样罢了
|
|
|
|
|
|
|
|
|
|
|
|
发表于 11-10-2017 08:38 PM
|
显示全部楼层
我公司的Data Scientist分為2種
一種是比較接近delivery team的，就是參與developers一起開發data products之類的，比如一個team已經有data然後要用到機器學習來解決一些問題，可以叫這些data scientist來暫時幫忙， 通常這些是Master或PhD的
另一種最低要求是PhD的，屬於那種在lab完全R&D，負責研究一些新的演算法之類來幫助公司，或者跟其他公司（google, facebook那些）合作開發新idea的
Data Engineer就相對來說比較容易，也分很多種，大致上要會的就是NoSql (Cassandra, Elasticsearch, HBase)之類，Distributed Systems (Kafka, Hadoop, Spark)之類，主要工作比如setup Data Pipeline，確保每秒收到幾百萬個requests時也不會弄丟data
另一種Data Engineer也可以叫Machine Learning Engineer，有時候Data Scientist只是用Matlab, R, Python把演算法prototype出來，但是在Production由於data多很多倍，需要distributed architecture的支撐，這時就需要Data Engineer把它們轉為JVM applications （比如用Java, Scala），或者其他languages
不過這些名稱在每間公司都可能不一樣，一些公司的Data Scientist也是一腳踢的
|
|
|
|
|
|
|
|
|
|
|
|
发表于 22-10-2017 07:40 PM
|
显示全部楼层
nsda 发表于 11-10-2017 08:38 PM
我公司的Data Scientist分為2種
一種是比較接近delivery team的，就是參與developers一起開發data products之類的，比如一個team已經有data然後要用到機器學習來解決一些問題，可以叫這些data scientist來暫時幫 ...
很有趣下， 方便透露你公司的名字？
|
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 22-10-2017 08:13 PM
来自手机
|
显示全部楼层
nsda 发表于 11-10-2017 08:38 PM
我公司的Data Scientist分為2種
一種是比較接近delivery team的，就是參與developers一起開發data products之類的，比如一個team已經有data然後要用到機器學習來解決一些問題，可以叫這些data scientist來暫時幫 ...
谢谢你的解说，请问贵公司的data engineer需要至少master degree qualification吗？还是说degree就可以了。看到很多公司在这方面的职位都需要最少master以上，还在考虑是不是要进修master degree |
|
|
|
|
|
|
|
|
|
|
|
发表于 23-10-2017 09:13 PM
|
显示全部楼层
|
|
|
|
|
|
|
|
|
|
|
发表于 23-10-2017 09:15 PM
|
显示全部楼层
whaha 发表于 22-10-2017 08:13 PM
谢谢你的解说，请问贵公司的data engineer需要至少master degree qualification吗？还是说degree就可以了。看到很多公司在这方面的职位都需要最少master以上，还在考虑是不是要进修master degree
data engineer 經驗跟coding skills比較重要，master不是一定要，有會比較好
|
|
|
|
|
|
|
|
|
|
|
|
楼主 |
发表于 23-10-2017 09:43 PM
|
显示全部楼层
有coding skill，可是没有data engineer方面的经验和"coding skill" 
感觉在也很难累计data engineer的经验啊
看了很多招聘都要最少两年的相关经验的。。。新手何去何从啊
|
|
|
|
|
|
|
|
|
|
|
|
发表于 24-10-2017 05:06 PM
|
显示全部楼层
一些公司雖然沒有標榜著Big Data的字眼，不過有機會的話還是接觸到的，找公司時盡量找些願意讓程式員進步的公司吧 |
|
|
|
|
|
|
|
|
|
|
|
发表于 26-10-2017 06:23 PM
来自手机
|
显示全部楼层
|
这种工越来越普遍了，很多大公司都在请人，尤其银行，毕竟银行运用大量的数据来做分析，或者可以找那些IT Consulting firm, vendor之类的。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 31-10-2017 01:17 PM
|
显示全部楼层
|
|
|
|
|
|
|
|
|
| |
 本周最热论坛帖子
|
变色卡
千斤顶
3510 
71
