Please enable JavaScript.

Coggle requires JavaScript to display documents.

人工智能 (数据分析软件 (SAS分析软件 (SAS分析软件, SAS 英文全称是Statistical Analysis System,…

- - - - 数学式的，有限步的算法
      - 能停机
      - 数字化信息
- - - - 网页三大特征
        
        网页都有自己唯一的URL（统一资源定位符）来进行定位
        
        -2. 网页都使用HTML （超文本标记语言）来描述页面信息。
        
        -3. 网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。
    - - 首先确定需要爬取的网页URL地址。
      - -2. 通过HTTP/HTTP协议来获取对应的HTML页面。
      - -3. 提取HTML页面里有用的数据：
        
        a. 如果是需要的数据，就保存起来。
        
        b. 如果是页面里的其他URL，那就继续执行第二步。
      - 为什么选择Python做爬虫？
        
        可以做爬虫的语言有很多，如 PHP、Java、C/C++、Python等等...
        
        PHP 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。
        
        Java 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。
        
        C/C++ 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢。能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。
        
        Python 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。
        
        还有强大的爬虫Scrapy，以及成熟高效的 scrapy-redis分布式策略。
        
        而且，调用其他借口也非常方便（胶水语言）
    - - -1. Python的基本语法知识（已经搞定）
      - -2. 如何抓取HTML页面：
        
        a,HTTP请求的处理，urllib、urllib2、requests
        
        b,处理后的请求可以模拟浏览器发送请求，获取服务器响应的文件
      - -3. 解析服务器响应的内容
        
        a, re、xpath、BeautifulSoup4（bs4）、jsonpath、pyquery等
        
        b,使用某种描述性一样来给我们需要提取的数据定义一个匹配规则，符合这个规则的数据就会被匹配。
      - -4. 如何采集动态HTML、验证码的处理
        
        a,通用的动态页面采集：Selenium + PhantomJS(无界面)：模拟真实浏览器加载js、ajax等非静态页面数据
        
        b,Tesseract：机器学习库，机器图像识别系统，可以处理简单的验证码，复杂的验证码可以通过手动输入/专门的打码平台
      - -5 Scrapy框架：（Scrapy，Pyspider）
        
        a,高定制性高性能（异步网络框架twisted），所以数据下载速度非常快，
        
        b,提供了数据存储、数据下载、提取规则等组件。
      - -6 分布式策略 scrapy-reids：
        
        a,scrapy-redis，在Scrapy的基础上添加了一套以 Redis 数据库为核心的组件。
        
        b,让Scrapy框架支持分布式的功能，主要在Redis里做请求指纹去重、请求分配、数据临时存储。
      - -7 爬虫 - 反爬虫 - 反反爬虫之间的斗争：
        
        a,其实爬虫做到最后，最头疼的不是复杂的页面，也是晦涩的数据，而是网站另一边的反爬虫人员。
        
        b,User-Agent、代理、验证码、动态数据加载、加密数据。
        
        c,数据价值，是否值的去费劲做反爬虫。
        
        机器成本 + 人力成本 > 数据价值，就不反了，一般做到封IP就结束了。
        
        面子的战争....
        
        d,爬虫和反爬虫之间的斗争，最后一定是爬虫获胜！为什么？只要是真实用户可以浏览的网页数据，爬虫就一定能爬下来！
    - - 通用爬虫
        
        1.通用爬虫：搜索引擎用的爬虫系统。
        
        -1目标：就是尽可能把互联网上所有的网页下载下来，放到本地服务器里形成备份，
        
        再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口。
        
        -2抓取流程：
        
        a) 首选选取一部分已有的URL，把这些URL放到待爬取队列。
        
        b) 从队列里取出这些URL，然后解析DNS得到主机IP，然后去这个IP对应的服务器里下载HTML页面，保存到搜索引擎的本地服务器。之后把这个爬过的URL放入已爬取队列
        
        c) 分析这些网页内容，找出网页里其他的URL连接，继续执行第二步，直到爬取条件结束。
        
        -3 搜索引擎如何获取一个新网站的URL：
        
        主动向搜索引擎提交网址：http://zhanzhang.baidu.com/linksubmit/url
        
        在其他网站里设置网站的外链。
        
        搜索引擎会和DNS服务商进行合作，可以快速收录新的网站。
        
        DNS：就是把域名解析成IP的一种技术。
        
        -4 通用爬虫并不是万物皆可爬，它也需要遵守规则：
        
        a Robots协议：协议会指明通用爬虫可以爬取网页的权限。
        
        b Robots.txt 只是一个建议。并不是所有爬虫都遵守，一般只有大型的搜索引擎爬虫才会遵守。
        
        c 咱们个人写的爬虫，就不管了。
        
        -5 通用爬虫工作流程：爬取网页 - 存储数据 - 内容处理 - 提供检索/排名服务
        
        -6 搜索引擎排名：
        
        PageRank值：根据网站的流量（点击量/浏览量/人气）统计，流量越高，网站也越值钱，排名越靠前。
        
        竞价排名：谁给钱多，谁排名就高。
        
        -7 通用爬虫的缺点：
        
        只能提供和文本相关的内容（HTML、Word、PDF）等等，但是不能提供多媒体文件（音乐、图片、视频）和二进制文件（程序、脚本）等等。
        
        提供的结果千篇一律，不能针对不同背景领域的人提供不同的搜索结果。
        
        不能理解人类语义上的检索。
      - 聚焦爬虫
        
        为了解决通用爬虫的缺点，聚焦爬虫出现了：
        
        聚焦爬虫：爬虫程序员写的针对某种内容的爬虫。
        
        面向主题爬虫，面向需求爬虫：会针对某种特定的内容去爬取信息，
        
        而且会保证信息和需求尽可能相关。
- - - - 改进卷积神经网络
      - 1947年生，现年72岁，谷歌的副总裁和工程师，也是AI研究机构Vector Institute的首席科学顾问和多伦多大学的名誉教授
      - 玻尔兹曼机（Boltzmann Machines）
      - 反向传播（Backpropagation）
    - - 2016年年末，Bengio 启动了一个名为 Element AI 的创业孵化器，为企业提供 AI 解决方案。2017年，腾讯曾投资这家公司。
      - 生成对抗网络（GAN
      - Yoshua Bengio，1964年生，55岁，现在是蒙特利尔大学计算机科学与运筹学系教授
      - 高维词汇嵌入和注意机制
      - 序列的概率模型
    - - Yann LeCun，1960年生，58岁，13年-现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父
      - 拓展了神经网络的视野
      - 卷积神经网络 (CNN)
  - - - Google
      - Tencent
      - Facebook
      - Alibaba
      - Amazon
      - Baidu
      - Microsoft
    - - IBM
      - 英伟达
      - 寒武纪
      - 华为
    - - 特斯拉
      - 鸿海精密-富士康
    - - 基因泰克
      - 圣杯公司
      - 人类长寿公司
    - - 文艺复兴公司
  - - - 人工智能行业公共资源
        
        Kaggle是一个数据建模和数据分析竞赛平台。企业和研究者可在其上发布数据，统计学者和数据挖掘专家可在其上进行竞赛以产生最好的模型。
        
        人和企业成功所需的技能正在发生变化。无论您在职业生涯的哪个阶段或在哪个领域工作，您都需要了解数据的语言。使用DataCamp
        
        子主题 3
        
        子主题 4
        
        子主题 5
  - - - ImageNet项目的创始人，ImageNet是一个计算机视觉系统识别项目
      - 斯坦福大学教授、斯坦福大学人工智能实验室与视觉实验室负责人、谷歌云人工智能和机器学习首席科学家,201611-201809
    - - 曾担任百度公司首席科学家，同时也曾创建谷歌深度学习研究团队Google Brain以及在线学习教育平台Coursera
      - 斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任
      - 吴恩达担任Woebot公司新任董事长
    - - 瑞士卢加诺人工智能实验室IDSIA的联席主任
      - 智能手机语音识别
    - - 美国国家科学院、美国国家工程院、美国艺术与科学院三院院士
      - 普及了贝叶斯网络在机器学习应用中的使用
      - 2017年5月，他受邀成为蚂蚁金服科学智囊团主席、蚂蚁金服首位技术顾问
    - - 主要凭借在机器人技术领域的研究成果而闻名,谷歌无人车之父
    - - 主要研究兴趣集中在机器学习和统计学习方法论及理论的发展，和大规模计算系统和架构的开发
      - 卡耐基梅隆大学教授,创办了Petuum 公司
    - - 《生命3.0》MIT物理学家
    - - Deep Mind,AlphaGo
      - 2014年，DeepMind被谷歌收购。目前，哈萨比斯担任负责谷歌人工智能项目的工程副总裁。
    - - 《连线》创始主编
    - - 《终极算法》美国人工智能协会院士
- - - - 种植
      - 养殖
      - 太阳-电
    - - 机器
    - - 潮汐能源
        
        水
        
        风能
      - 地热
    - - 核裂变
      - 核聚变
  - - - 带宽：150人限制
      - 经济政治文化宗教：地缘&虚拟
        
        日本：低欲望社会
        
        中国：务实改革开放
        
        印度：
        
        欧洲
        
        美国
        
        其他国家地区
    - - 人
        
        生产信息
        
        传递信息
        
        处理信息
      - AI
        
        生产信息：IOT
        
        传递信息：5G
        
        处理信息：算法
- - - - 监督学习
      - 无监督学习
      - 半监督学习
    - - 贝叶斯分类
      - 决策树
      - 线性回归
      - 随机森林
      - 主成分分析
      - 流行学习
      - k-means聚类
      - 高斯混合模型
  - - - 视觉识别
      - 语音识别
      - 自然语言处理NLP
    - - 深度学习依然对数据很饥渴
      - 深度学习还很肤浅，迁移能力有限
      - 深度学习还不能自然处理层级结构
      - 要用深度学习搞定开放式推理，仍需努力
      - 深度学习还不够透明
      - 深度学习还未与先验知识结合
        
        逻辑推理的知识，先验知识
        
        经验知识
      - 深度学习还不能区分因果和相关关系
      - 深度学习假定世界大体稳定，但实际上并不是这样
      - 深度学习只是一种近似，不能完全相信其答案
      - 仍然缺乏渐进性、透明性和可调式性，深度学习难以工程化
  - - - 状态
      - 行为
      - 环境奖励
- - - - React
      - https://d3js.org/
      - Canvas https://developer.mozilla.org/pt-BR/docs/Web/Guide/HTML/Canvas_tutorial
      - https://hacks.mozilla.org/2017/02/a-crash-course-in-just-in-time-jit-compilers/
    - - https://developers.google.com/web/progressive-web-apps/
  - - - https://www.admithub.com/
      - https://chatbotsmagazine.com/chatbots-and-the-future-of-education-6c08db8f4c62
      - Platforms
        
        25 Chatbot Platforms: A Comparative Table -
        https://chatbotsjournal.com/25-chatbot-platforms-a-comparative-table-aeefc932eaff
        
        BLIiP - blip.ai
- - - - http://webscraper.io/
      - Getting data from the web - http://datajournalismhandbook.org/1.0/en/getting_data_3.html
      - Web mining - https://en.wikipedia.org/wiki/Web_mining#Web_content_mining
      - https://www.wrapidity.com/ (Extract structured data from millions of websites - automatically)
      - https://en.wikipedia.org/wiki/Web_scraping
      - https://imasters.com.br/desenvolvimento/aprendendo-sobre-web-scraping-em-python-utilizando-beautifulsoup/?trace=1519021197&source=single
      - https://www.octoparse.com
    - - Web Engineering
        
        Architecture
        
        Models, standards and languages
        
        URL, URN, URI and IRI
        
        HTML and XML
        
        XPath and XLink
        
        Database perspective
        
        Querying and XQuery
        
        Web platform and applications
        
        Web for mobiles
        
        Web services
        
        Web of Things
        
        Linked Data - https://upload.wikimedia.org/wikipedia/commons/a/a9/LOD_Cloud_2014-08.svg
        
        Data spaces and data integration
        
        Semantic Web
        
        Architecture
        
        Models, standards and languages
        
        RDF and OWL
        
        Web of data and metadata
        
        Querying and SPARQL
        
        Rules, reasoning and SWRL
        
        Ontologies
        
        Knowledge representation
        
        Ontology spectrum
        
        Taxonomies
        
        Thesaurus
        
        Controlled vocabularies
        
        Semantic Web Services
      - Web Social Science
        
        Folksonomies and emergent social structures
        
        Crowdsourcing
        
        Content, Behavioral and Graph analysis
        
        Link and tag analysis
        
        Link prediction
        
        Sentiment analysis
      - Data Science
        
        Fourth Paradigm
        
        Web Observatory
        
        “Digging” the Web
        #
        
        Information extraction
        
        Mining
        
        Searching
        
        Matching
        
        Entity resolution
        
        Deep Web
      - Articles
        
        Web Science: A Provocative
        Invitation to Computer Science - http://cvs.cs.umd.edu/~ben/ShneidermanCACM6-2007.pdf
        
        Web Science: An Interdisciplinary Approach to Understanding the Web - https://pdfs.semanticscholar.org/25b1/eda9c9911990185a20c6842a1a49cf3e7bc2.pdfhendler.pdf
      - Network Science
        
        Complex Networks
        
        Scale-Free Property
        
        Small-world Netowork
        
        Graph topology and Metrics
  - - - How do you feel about your life today?
      - Are you living every day in excitement?
      - Are you looking forward to what’s coming up next?
      - Are you excited every single moment?
      - Do you love what you’re doing?
      - Are you living your best life?
  - - - Understand People Questions
        
        http://www.maluuba.com
        
        https://arxiv.org/abs/1705.02012
        
        Natural language processing
        
        https://blog.algorithmia.com/introduction-natural-language-processing-nlp/
        
        https://www.coursera.org/learn/natural-language-processing
        
        Speech Technologies
        
        Automatic speech recognition (ASR)
        
        Text-to-speech synthesis (TTS)
        
        Dialog systems
        
        Language processing technologies
        
        Question Answering #
        
        Machine Translation
        
        Web search engines
        
        Text classification
        
        Spam filtering
        
        https://api.ai/
      - Know What Suggest Next Interaction
        
        http://www.gravity.com
        
        Give Answers Possibilities
        
        Decisions making
      - Learn who you are
        
        Work
        
        Your dreams
        
        Your skills
        
        Yout talents
        
        Personal life
        
        Education
        
        https://replika.ai/
        
        http://www.ikigaijourney.com/
    - - https://woebot.io/ - is a chat-bot, which was created by a team of Stanford psychologists and AI experts. It's a fully commercial AI therapist, which uses brief daily chat conversations, mood tracking, curated videos and word games, in order to help people manage mental health - for $39 a month.
        
        Delivering Cognitive Behavior Therapy to Young Adults With
        Symptoms of Depression and Anxiety Using a Fully Automated
        Conversational Agent (Woebot) - https://mental.jmir.org/article/viewFile/mental_v4i2e19/2
- - - - Escolar inovadoras (Portuguese)
        http://www.moderna.com.br/lumis/portal/file/fileDownload.jsp?fileId=8A808A82569F88700156D71DB78437F5
      - Tendências para educação no século XXI (Portuguese) http://documents.scribd.com.s3.amazonaws.com/docs/9qh975j98g5qi963.pdf
      - Escola do século XXI (Portuguese) - http://fundacaotelefonica.org.br/wp-content/uploads/pdfs/04-11-16-viagem-a-escola-do-seculo-xxi2.pdf
      - Experiencce Learning (Portuguese) - http://www.perestroika.com.br/experiencelearning/
      - Os sete saberes necessários a educação do futuro (Portuguese) -
        Edgar Morin - https://www.teoriadacomplexidade.com.br/wp-content/uploads/2016/09/SeteSaberes-EdgarMorin.pdf
    - - Obrigue-se a aprender sem guias ou ajuda - Fracasso Produtivo
      - Espalhe o aprendizado ao longo do tempo - Assim, em vez de tentar aprender uma habilidade tendo aulas de uma hora de duração cada noite, reserva um tempo maior no geral, mas em pequenos pedaços ao longo do dia. Até mesmo 15 minutos por dia já é o suficiente para muitos de nós.
      - De acordo com um estudo publicado na revista “PLoS One”, aprendemos melhor quando o fazemos antes de dormir.
      - Aplique suas habilidades todos os dias
  - - - https://www.kaggle.com/
      - Learning Algorithms https://www.microsoft.com/en-us/research/project/program/
      - open source Machine Learning Server http://predictionio.incubator.apache.org/index.html
      - An open-source software library for Machine Intelligence https://www.tensorflow.org/
      - Nano Degree https://github.com/mikesprague/udacity-nanodegrees#machine-learning-engineer-nanodegree
      - Google Developers https://www.youtube.com/playlist?list=PLOU2XLYxmsIIuiBfYad6rFYQU_jL2ryal
      - Learn Anything map -https://my.mindnode.com/k954FWFNztnkphWmNqqHz2dqQW41LeP1SLqkqqjs#686.1,-2121.4,2
      - ML.js - https://github.com/mljs/ml
      - Awesome Machine Learning - https://github.com/josephmisiti/awesome-machine-learning
      - Deep Learning
      - Hello world for ML - https://medium.com/botsupply/machine-learning-the-conjuring-code-episode-1-c8145d9d67e4
    - - A Framework for Searching for General Artificial Intelligence https://arxiv.org/abs/1611.00685
      - DEEPCODER: LEARNING TO WRITE PROGRAMS
        https://openreview.net/pdf?id=ByldLrqlx
      - When Will AI Exceed Human Performance?
        Evidence from AI Experts https://arxiv.org/pdf/1705.08807.pdf
      - Awesome Artificial Intelligence https://github.com/owainlewis/awesome-artificial-intelligence
      - Artificial Intelligence Engineer (Nanodegree) -
        https://br.udacity.com/course/artificial-intelligence-nanodegree--nd889/
      - Introduction to Artificial Intelligence -
        https://classroom.udacity.com/courses/cs271
      - The magic that makes Spotify’s Discover Weekly playlists so damn good https://qz.com/571007/the-magic-that-makes-spotifys-discover-weekly-playlists-so-damn-good/
      - Learn to learn http://bair.berkeley.edu/blog/2017/07/18/learning-to-learn/
      - Outline http://www.wikiwand.com/en/Outline_of_artificial_intelligence
      - A roadmap to becoming an ai engineer https://www.paysa.com/blog/2017/05/17/a-roadmap-to-becoming-an-ai-engineer/
      - https://www.appliedaicourse.com/
    - - Linear Algebra https://br.udacity.com/course/linear-algebra-refresher-course--ud953/
      - Python Programming Foundations
        https://br.udacity.com/course/programming-foundations-with-python--ud036/
      - Introduction to Statistics - https://br.udacity.com/course/intro-to-statistics--st101/
    - - Fundamentos da Inteligência Artificial - João Luíz Garcia Rosa (Portuguese) :star: :
      - Artificial intelligence - Peter Norvig, Stuart J. Russell (The highest reference of postgraduate courses)